[혼공 데이터분석 2] 데이터 정제하기, loc, iloc 차이점, groupby

 

# NaN의 값의 의미

누락된 값, 비어 있는 값이라는 뜻이다

 

NaN 없애러 가즈아.

 

 

# loc 사용시 주의할 점

 

df1.loc [ 숫자, 컬럼명 ]

숫자, 컬럼명 모두 포함

 

df1.iloc [ 숫자, 숫자 ]

숫자부분 마지막부분 포함하지 않는다

 

df1['Pclass']와

df1[ : , 'Pclass'] 는 동일하다

 

 

# ns_df.loc[ : , 조건 ]

모든 행을 선택하고 (확정)

그 후 조건에 해당하는 열을 선택한다

 

 

# ns_df.loc[ 조건 ]

조건에 해당하는 행을 선택한다

먼저 모든 행을 선택하는 것이 아니다

 

[ 조건식 예 ]

ns_df.loc[ns_df['발행년도'] >= '2000']

 

[ 결과 ]

 

 

현재 ns_book이란

root = "/content/drive/MyDrive/혼공 데이터분석"
file_address = root + "/남산도서관 장서 대출목록 (2021년 04월).csv"

import pandas as pd
df = pd.read_csv(file_address, encoding='EUC-KR', low_memory=False)

cond1 = df.columns != 'Unnamed: 13'
ns_book = df.loc[:, cond1]
ns_book.head()

 

 

 

# drop 메서드

첫 번째 매개변수에 삭제하려는 열 이름을 전달하고 axis 매개변수를 1로 지정합니다

ns_book = ns_df.drop('Unnamed: 13', axis=1)
ns_book.head()

 

 

[ 결과 ]

 

 

행 여러개 제거 가능

ns_book = ns_df.drop(['부가기호', 'Unnamed: 13'], axis=1)
ns_book.head()

 

 

새로운 변수 ns_book 에 담지 않고 그대로 변수를 사용할 때 

inplace = True를 붙여준다

ns_book.drop('주제분류번호', axis=1, inplace=True)
ns_book.head()

 

 

 

# dropna() 메서드

판다스는 비어있는 값을 NaN으로 표시한다

dropna()메서드는 기본적으로 NaN이 하나 이상 포함된 행이나 열을 삭제한다

 

axis가 0인경우 행에 대해서, axis가 1인경우 열에 대해서 결측치 제거가 수행됩니다.

기본적으로 how 는 'any'이며 이 경우 한 값이라도 NA를 가진다면 해당 레이블을 제거합니다. (기준은 행입니다)

how를 'all'로 할 경우 모든값이 NA인 레이블만 삭제됩니다.

 

 

 

[ 예시 1 ]

col  = ['col1','col2','col3','col4','col5']
row  = ['row1','row2','row3','row4']
data = [[1,2,3,pd.NA,5],[6,pd.NA,8,pd.NA,10],[11,12,13,14,15],[pd.NA,pd.NA,pd.NA,pd.NA,pd.NA]]
df = pd.DataFrame(data,row,col)
print(df)
>>
      col1  col2  col3  col4  col5
row1     1     2     3  <NA>     5
row2     6  <NA>     8  <NA>    10
row3    11    12    13    14    15
row4  <NA>  <NA>  <NA>  <NA>  <NA>

 

[ 코드1 ]

print(df.dropna(axis=0))
>>
     col1 col2 col3 col4 col5
row3   11   12   13   14   15

 

print(df.dropna(axis=1))
>>
Empty DataFrame
Columns: []
Index: [row1, row2, row3, row4]

 

print(df.dropna(how='any'))
>>
     col1 col2 col3 col4 col5
row3   11   12   13   14   15

 

print(df.dropna(how='all'))
>>
     col1  col2 col3  col4 col5
row1    1     2    3  <NA>    5
row2    6  <NA>    8  <NA>   10
row3   11    12   13    14   15

 

 

[ 코드 ]

ns_book = ns_df.dropna(axis=1)
ns_book.head()

 

[ 결과 ]

 

 

 

 

# duplicated() 메서드

중복된 행 찾기

중복된 행 중에서 처음 행을 제외한 나머지 행은 True로, 그 외에 중복되지 않은 나머지 모든 행은 False로 표시한 불리언 배열을 반환한다

 

 

기본 사용법
df.duplicated(subset=None, keep='first')
subset : 특정 열만을 대상으로 할 수 있습니다. list의 사용도 가능합니다.
keep : {first : 위부터 검사 / last : 아래부터 검사} 검사 순서를 정합니다. first일 경우 위부터 확인해서 중복행이 나오면 True를 반환하며, last일 경우 아래부터 확인합니다.

 

파이썬의 sum()함수를 사용하면 True를 1로 인식하기 때문에 중복된 행의 개수를 셀 수 있다

 

[ 코드 1 ]

그냥 duplicated()는 데이터프레임에 있는 모든 열을 기준으로 중복값을 찾는다

sum(ns_book.duplicated())

 

[ 결과 1 ]

0

 

 

[ 코드 2 ]

일부 열을 기준으로 중복값을 찾을 시 subset 매개변수에 기준열을 나열한다

sum(ns_book.duplicated(subset=['도서명', '저자', 'ISBN']))

 

[ 결과 2 ]

6610

 

 

 

# 그룹별로 모으기 - groupby()

[ 예시 ]

idx=['A','A','B','B','B','C','C','C','D','D','D','D','E','E','E']
col=['col1','col2','col3']
data = np.random.randint(0,9,(15,3))
df = pd.DataFrame(data=data, index=idx, columns=col).reset_index()
print(df)
>>
   index  col1  col2  col3
0      A     5     0     7
1      A     2     6     2
2      B     1     1     8
3      B     1     6     6
4      B     3     2     3
5      C     1     0     8
6      C     8     4     1
7      C     1     5     5
8      D     3     3     7
9      D     5     7     7
10     D     1     6     5
11     D     4     0     0
12     E     0     5     6
13     E     2     7     7
14     E     0     7     0

 

 

[ 예시 ]

groupby 지정하기

print(df.groupby('index')) # index 컬럼에 대해서 groupby 수행

 

 

[ 결과 ]

print(df.groupby('index').mean())
>>
           col1      col2      col3
index                              
A      3.500000  3.000000  4.500000
B      1.666667  3.000000  5.666667
C      3.333333  3.000000  4.666667
D      3.250000  4.000000  4.750000
E      0.666667  6.333333  4.333333

 

 

 

# 테이블 중 컬럼 여러개만 일부 추출하기

count_df = ns_book[['도서명', '저자', 'ISBN', '권', '대출건수']]

 

 

 

 

# Reference

https://wikidocs.net/160081

02-11. 그룹화 계산 (groupby)