[데이터 전처리&시각화 3] 불리언 인덱싱, 데이터 병합

 

< 불리언 인덱싱 >

 

# 데이터 불러오기

df = pd.read_csv("tips_data.csv")
df

 

 

# 불리언 인덱싱

 

가로 축으로 불리언 인덱싱을 적용한다

 

[ 예제 1 ]

selected = df['sex'] == 'Male'
df[selected]

 

[ 예제 2 ]

여러가지 조건을 & 연산자로 이어주기

형식은 ( ) & ( )

반드시 괄호를 넣어줄것!!

 

selected = (df['sex'] == 'Male') & (df['smoker'] == 'Yes')
df[selected]

 

 

[ 예제 3 ]

조금 더 간편하게 나타내기

불리언 조건을 나타내는 변수에 담아서 나타내기

selected = (df['sex'] == 'Male') | (df['smoker'] == 'Yes')
df[selected]

 

 

[ 예제 4 ]

조금 더 간편하게 나타내기

조건끼리 묶을수도 있다

cond1 = df['size'] >= 3
cond2 = df['tip'] < 2
df[cond1 & cond2]

 

 

[ 예제 5 ]

여러가지 조건을 \를 사용하여 묶어주기

cond = (df['sex'] == 'Male') \
     & (df['tip'] > 3) \
     & (df['smoker'] == 'Yes') \
     & (df['total_bill'] < 20) \
     & (df['size'] == 4)
df[cond]

 

 

# isin()을 이용한 필터링

 

Series(시리즈)나 DataFrame(데이터프레임)의 값들 중에서 특정 값이나 리스트 안에 포함된 값들을 찾아내는 메소드. 

원하는 조건에 해당하는 데이터를 빠르게 필터링하거나 선택할 수 있음

 

isin() 의 [ ] 리스트 안에 값을 넣는다

 

1) 단일 값 포함 여부 확인

# Series나 DataFrame의 특정 열에서 단일 값이 포함되어 있는지 여부를 확인합니다.

import pandas as pd

data = {'A': [1, 2, 3, 4, 5],
        'B': ['apple', 'banana', 'orange', 'grape', 'melon']}

df = pd.DataFrame(data)
df

# 'B' 열에서 'banana' 값이 있는지 확인
result = df['B'].isin(['banana'])
print(result)

 

 

2) 여러 값 포함 여부 확인

df[df['day'].isin(['Sun', 'Thur'])]

 

 

3) 데이터프레임 전체에서의 사용

 

딕셔너리 형태로 사용한다

result = df.isin({'A': [1, 3], 'B': ['apple', 'orange']})
print(result)

 

 

# 컬럼 추가하기 - 단순값

df['created_at'] = '2024-01-01'

 

# 데이터형 확인하기

df['created_at'].dtype

# 결과
dtype('O')

 

※ dtype('O')의 뜻이란

Object 형이라는 뜻이다!

 

df.info()

 

# 날짜 형식으로 바꾸기

df['created_at'] = pd.to_datetime(df['created_at'])
df.info()

 

 

# 컬럼 추가하기 - 연산으로 추가하기

df['revenue'] = df['total_bill'] + df['tip']

 

 

# 백분율 퍼센트 추가하기

df['tip_percentage'] = df['tip'] / df['revenue'] * 100

 

 

< 데이터 병합 >

 

# 데이터 병합 예제 데이터

# 데이터 병합
df1 = pd.DataFrame({
    'A' : ['A0', 'A1', 'A2', 'A3'],
    'B' : ['B0', 'B1', 'B2', 'B3'],
    'C' : ['C0', 'C1', 'C2', 'C3'],
    'D' : ['D0', 'D1', 'D2', 'D3'],
})

df2 = pd.DataFrame({
    'A' : ['A4', 'A5', 'A6', 'A7'],
    'B' : ['B4', 'B5', 'B6', 'B7'],
    'C' : ['C4', 'C5', 'C6', 'C7'],
    'D' : ['D4', 'D5', 'D6', 'D7'],
})

df3 = pd.DataFrame({
    'A' : ['A8', 'A9', 'A10', 'A11'],
    'B' : ['B8', 'B9', 'B10', 'B11'],
    'C' : ['C8', 'C9', 'C10', 'C11'],
    'D' : ['D8', 'D9', 'D10', 'D11'],
})

 

 

< 1. concat >

 

concat 함수는 데이터프레임을 위아래 혹은 좌우로 합칠 수 있다

 

- axis

연결하고자 하는 축(방향)을 지정합니다. 
기본값은 0으로, 위아래로 연결하는 경우에 해당합니다. 1로 설정하면 좌우로 연결합니다.

 

- ignore_index

기본값은 False이며, 연결된 결과 데이터프레임의 인덱스를 유지합니다. True로 설정하면 새로운 인덱스를 생성합니다. (True → 기존 인덱스를 무시하고 새롭게 인덱스를 설정)

 

 

 

 

# 샘플 데이터

# 데이터 병합
df1 = pd.DataFrame({
    'A' : ['A0', 'A1', 'A2', 'A3'],
    'B' : ['B0', 'B1', 'B2', 'B3'],
    'C' : ['C0', 'C1', 'C2', 'C3'],
    'D' : ['D0', 'D1', 'D2', 'D3'],
})

df2 = pd.DataFrame({
    'A' : ['A4', 'A5', 'A6', 'A7'],
    'B' : ['B4', 'B5', 'B6', 'B7'],
    'C' : ['C4', 'C5', 'C6', 'C7'],
    'D' : ['D4', 'D5', 'D6', 'D7'],
})

df3 = pd.DataFrame({
    'A' : ['A8', 'A9', 'A10', 'A11'],
    'B' : ['B8', 'B9', 'B10', 'B11'],
    'C' : ['C8', 'C9', 'C10', 'C11'],
    'D' : ['D8', 'D9', 'D10', 'D11'],
})

 

 

# concat으로 합치기

pd.concat([df1, df2, df3])

 

 

pd.concat([df1, df2, df3]).reset_index(drop=True)

 

# axis = 0 인 위아래가 기본값이다

# 기본값은 위아래인 axis = 0
pd.concat([df1, df2, df3], axis=0).reset_index(drop=True)

 

 

 

# 데이터 샘플

# 데이터 가져오기
df1 = pd.DataFrame({
    'A' : ['A0', 'A1', 'A2', 'A3'],
    'B' : ['B0', 'B1', 'B2', 'B3'],
    'C' : ['C0', 'C1', 'C2', 'C3'],
    'D' : ['D0', 'D1', 'D2', 'D3'],
})

df2 = pd.DataFrame({
    'A' : ['A4', 'A5', 'A6', 'A7'],
    'B' : ['B4', 'B5', 'B6', 'B7'],
    'C' : ['C4', 'C5', 'C6', 'C7'],
    'D' : ['D4', 'D5', 'D6', 'D7'],
})

 

 

# concat에서 axis = 1 가로세로 해보기

 

df = pd.concat([df1, df2], axis=1)
df

 

 

# 만약 위아래 붙일때 다르다면

# 만약 위아래 붙일때 다르다면
# 데이터 병합
df1 = pd.DataFrame({
    'A' : ['A0', 'A1', 'A2', 'A3'],
    'B' : ['B0', 'B1', 'B2', 'B3'],
    'C' : ['C0', 'C1', 'C2', 'C3'],
    'D' : ['D0', 'D1', 'D2', 'D3'],
})

df2 = pd.DataFrame({
    'A' : ['A4', 'A5', 'A6', 'A7'],
    'B' : ['B4', 'B5', 'B6', 'B7'],
    'C' : ['C4', 'C5', 'C6', 'C7'],
    'D' : ['D4', 'D5', 'D6', 'D7'],
})

df3 = pd.DataFrame({
    'A' : ['A8', 'A9', 'A10', 'A11'],
    'B' : ['B8', 'B9', 'B10', 'B11'],
    'C' : ['C8', 'C9', 'C10', 'C11'],
    'D' : ['D8', 'D9', 'D10', 'D11'],
    'E' : ['E8', 'E9', 'E10', 'E11']
})

df = pd.concat([df1, df2, df3], axis=0).reset_index(drop=True)
df

 

 

# 만약 가로세로 붙일때 다르다면

 

# 만약 가로세로 붙일때 다르다면
# 데이터 병합
df1 = pd.DataFrame({
    'A' : ['A0', 'A1', 'A2', 'A3'],
    'B' : ['B0', 'B1', 'B2', 'B3'],
    'C' : ['C0', 'C1', 'C2', 'C3'],
    'D' : ['D0', 'D1', 'D2', 'D3'],
})

df2 = pd.DataFrame({
    'A' : ['A4', 'A5', 'A6', 'A7','A8'],
    'B' : ['B4', 'B5', 'B6', 'B7','B8'],
    'C' : ['C4', 'C5', 'C6', 'C7','C8'],
    'D' : ['D4', 'D5', 'D6', 'D7','D8'],
})

df = pd.concat([df1, df2], axis=1)
df

 

 

< 2. merge >

 

데이터를 좌우로 합치기

SQL의 JOIN 연산과 유사한 방식으로 데이터프레임을 합칠 수 있습니다.

주로 두 개 이상의 데이터프레임에서 공통된 열이나 인덱스를 기준으로 데이터를 병합할 때 활용됩니다.

 

# how

병합 방법을 나타내는 매개변수로, 'inner', 'outer', 'left', 'right' 등의 옵션이 있습니다.

 

1) inner

공통된 키(열)를 기준으로 교집합을 만듭니다.

 

2) outer

공통된 키를 기준으로 합집합을 만듭니다.

 

3) left

왼쪽 데이터프레임의 모든 행을 포함하고 오른쪽 데이터프레임은 공통된 키에 해당하는 행만 포함합니다.

 

4) right

오른쪽 데이터프레임의 모든 행을 포함하고 왼쪽 데이터프레임은 공통된 키에 해당하는 행만 포함합니다.

 

 

# 데이터프레임 예제

# 5-2. merge
df1 = pd.DataFrame({
    'key' : ['A', 'B', 'C', 'D'],
    'value' : [1,2,3,4]
})

df2 = pd.DataFrame({
    'key' : ['B', 'D', 'D', 'E'],
    'value' : [5,6,7,8]
})

 

 

# inner

# 기본값은 inner
pd.merge(df1, df2, on='key', how='inner')

 

# outer

pd.merge(df1, df2, on='key', how='outer')

 

# left

pd.merge(df1, df2, on='key', how='left')