[혼공 데이터분석 3] 잘못된 데이터 수정하기

 

< 누락된 값 처리하기 >

 

# isna() 메서드

누락된 값 개수 확인하기

 

[ 코드 ]

ns_book.isna().sum()

 

[ 결과 ]

번호              0
도서명           403
저자            201
출판사          4795
발행년도           17
ISBN            0
세트 ISBN    339811
부가기호        76648
권          333415
도서권수            0
대출건수            0
등록일자            0
dtype: int64

 

 

 

# 누락된 값으로 표시하기 : None과 np.nan

 

import numpy as np
ns_book.loc[0, '부가기호'] = np.nan
ns_book.head(2)

 

 

 

 

 

# 다수의 열의 dtype 변경

다수의 열의 변경도 딕셔너리 형식을 이용하면 됩니다.

df1 = df.astype({'col1':'int32', 'col3':'int64'})
print(df1.dtypes)
>>
col1     int32
col2    object
col3     int64
col4      bool
dtype: object

 

 

 

# fillna() 메서드

누락된 값 바꾸기

 

[ 코드 ]

col  = ['col1','col2','col3','col4','col5']
row  = ['row1','row2','row3','row4','row5']
na = np.nan
data = [[na, 2,na, 4,na],
        [ 6, 7,na, 9,na],
        [11,na,na,14,15],
        [na,17,na,na,20],
        [na,22,na,na,25]]
df = pd.DataFrame(data,row,col)
print(df)

 

[ 결과 ]

      col1  col2  col3  col4  col5
row1   NaN   2.0   NaN   4.0   NaN
row2   6.0   7.0   NaN   9.0   NaN
row3  11.0   NaN   NaN  14.0  15.0
row4   NaN  17.0   NaN   NaN  20.0
row5   NaN  22.0   NaN   NaN  25.0

 

 

value의 형식에 따른 사용
value가 숫자나 문자일 경우 그대로 결측값을 대체하게 됩니다. 여기서는 A로 바꿔보겠습니다.

print(df.fillna('A'))
>>
      col1  col2 col3  col4  col5
row1     A   2.0    A   4.0     A
row2   6.0   7.0    A   9.0     A
row3  11.0     A    A  14.0  15.0
row4     A  17.0    A     A  20.0
row5     A  22.0    A     A  25.0

 

 

dict형태로 입력할 경우 각각 레이블값에 대해 원하는 값으로의 변경이 가능합니다.

dict = {'col1':'A','col2':'B','col3':'C','col4':'D','col5':'E'}
print(df.fillna(value=dict))
>>
      col1  col2 col3  col4  col5
row1     A   2.0    C   4.0     E
row2   6.0   7.0    C   9.0     E
row3  11.0     B    C  14.0  15.0
row4     A  17.0    C     D  20.0
row5     A  22.0    C     D  25.0

 

 

 

# replace() 메서드

NaN은 물론 어떤 값도 바꿀 수 있는 편리한 메서드이다

 

[ 예제 1 ] 

1을 99로 바꾸기

print(df.replace(to_replace=1,value=99))
>>
     col1 col2  col3   col4
row1    A    w    99  alpha
row2    B    x     2   beta
row3    C    y     3  gamma
row4    D    z     4  delta

 

- 형식

replace( 원래 값, 새로운 값 )

ns_book.replace(np.nan, '없음')

 

[ 결과 ]

 

 

 

[ 예제 2 ]

to_replace값이 list형태이고 value값이 단일값이면 전체가 동일하게 변경됩니다.
A, B, y, z를 -로 변경해보겠습니다.

print(df.replace(to_replace=['A','B','y','z'],value='-'))
>>
     col1 col2  col3   col4
row1    -    w     1  alpha
row2    -    x     2   beta
row3    C    -     3  gamma
row4    D    -     4  delta

 

- 형식

replace( [ 원래 값1, 원래 값2], [새로운 값1, 새로운 값2] )

 

ns_book.replace([np.nan, '2021'], ['없음','21'])

 

[ 결과 ]

 

 

 

[ 예제 3 ]

to_replace값과 value값이 모두 같은 길이의 list형태일 경우 각각 같은 순서의 값으로 변경됩니다.
A, B, y, z를 각각 a, b, Y, Z로 변경해보겠습니다.

print(df.replace(to_replace=['A','B','y','z'],value=['a','b','Y','Z']))
>>
     col1 col2  col3   col4
row1    a    w     1  alpha
row2    b    x     2   beta
row3    C    Y     3  gamma
row4    D    Z     4  delta

 

 

- 형식

replace ( { 열 이름 : { 원래 값 : 새로운 값 },

                  열 이름2 : { 원래 값2 : 새로운 값2 } } )

 

ns_book.replace({'부가기호' : {np.nan : '없음'},
                 '발행년도' : {'2021' : '21'}}).head()

 

 

 

# Reference

https://wikidocs.net/154287

09-13. 값 변경 (replace)