[통계야 놀자 2] A/B 테스트, 유의수준, p-value

< 분석기법 선택그림 >

 

 

 

< A/B 테스트 >

 

 

# 프로세스

 

 

< 유의수준 >

= 오류 허용 범위

유의수준: 귀무가설이 맞을 때 오류허용 기준(확률)

 

표본을 추출하는 순간 모집단과 100% 일치할 수 없기 때문에, 오류의가능성이 존재한다고 학습하였습니다.

가설 검정에서 결론을 해석하기 위해서는 기준을 세우고, 그 기준을 만족하는지 확인해야 합니다. 여기서 기준이 되는 것이 유의수준입니다.

 

 

 

< 검정통계량과 p-value >

 

검정통계량이란 귀무가설을 채택 또는 기각하기 위해 사용하는 확률변수를 의미합니다.

 

 

 

p-value: 어떠 사건이 우연히 발생할 확률

 

 

< 소스코드 실습 >

 

# 라이브러리 불러오기

# 라이브러리 호출 
import pandas as pd
import numpy as np 
# 과학 계산용 파이썬 라이브러리 
import scipy.stats as stats
from PIL import Image

df = pd.read_csv("users1.csv")

 

 

# t-test

#t-test
# 가설 설정
# 귀무가설: 남성과 여성의 구매금액에 차이가 없을 것이다 
# 대립가설: 남성과 여성의 구매금액에 차이가 있을 것이다
# 실제 데이터 비교
df.groupby(['Gender'])['Purchase Amount (USD)'].mean().reset_index()

# 데이터 분리 
# mask method 
mask=(df['Gender']=='Male')
mask1 = (df['Gender']=='Female')

m_df = df[mask]
f_df = df[mask1]

# 결제금액 컬럼만 가져오기 
m_df=m_df[['Purchase Amount (USD)']]
f_df=f_df[['Purchase Amount (USD)']]

# 차이가 있는 것으로 보여짐
# 유의수준은 통상적으로 많이 쓰이는 0.05 로 정함 
# scipy 라이브러리를 이용해 t-score 와 pvalue 를 확인할 수 있습니다. 
# t-test 는 표본의 평균(차이 분석)을 알고자 할 때 사용되며, 모집단의 분산을 알 수 없는 경우 주로 사용됩니다. 
t, pvalue=stats.ttest_ind(m_df, f_df)

# tscore 는 그룹 간 얼마나 차이가 있는지에 대한 지표
# tscore 가 크면 그룹 간 차이가 큼을 의미합니다.

# p-value 는 우연에 의해 나타날 확률에 대한 지표입니다.
# p-value가 0.05 보다 크다 = 우연히 일어났을 가능성이 높다 = 인과관계가 없다고 추정 
# 여기서 p-value 값은 0.05 보다 크므로, 인과관계가 없다고 추정할 수 있습니다. 
# 대립가설 기각
t, pvalue

 

 

# 카이제곱검정

#카이제곱검정
# 가설 설정
# 귀무가설: 성별과 구매Size 에는 관련성이 없을 것이다 
# 대립가설: 성별과 구매Size 에는 관련성이 있을 것이다 
# 실제 데이터 비교
df.groupby(['Gender','Size'])['Customer ID'].count().reset_index()

# pandas 라이브러리의 crosstab 함수를 통해, 두 범주형 자료의 빈도표를 만들어 주겠습니다.

result = pd.crosstab(df['Gender'], df['Size'])

# 카이제곱 검정을 stat 함수를 통해 구현
# chi2_contingency를 통해, 카이제곱통계량, p-value를 출력할 수 있습니다.  
stats.chi2_contingency(observed=result)

# 각 값들을 별도로 보기
# 카이제곱 검정 통계량, pvalue, 자유도를 확인할 수 있습니다. 
stats.chi2_contingency(observed=result)[0]

# p-value 는 우연에 의해 나타날 확률에 대한 지표입니다.
# p-value가 0.05 보다 크다 = 우연히 일어났을 가능성이 높다 = 인과관계가 없다고 추정 
# 여기서 p-value 값은 0.05 보다 크므로, 인과관계가 없다고 추정할 수 있습니다. 
# 대립가설 기각
stats.chi2_contingency(observed=result)[1]

# 자유도와 유의수준을 통해 귀무가설 기각 여부를 판단하기도 합니다. 
# 자유도란, 굉장히 복잡한 개념이므로,,, (변수1 그룹의 수-1)*(변수2 그룹의 수-1) 가 되겠습니다. 
# 1*3 = 3 이 도출되었습니다. 
stats.chi2_contingency(observed=result)[2]