[통계야 놀자 3] 선형 회귀분석, 로지스틱 회귀분석

 

< 회귀분석이란 >

 

 

 

 

 

< 회귀분석의 특징, 종류 >

 

# 회귀분석의 특징

 

 

# 회귀분석의 종류

 

회귀분석은 회귀 계수의 선형여부, 독립변수의 개수, 종속변수의 개수에 따라 여러가지

유형으로 나눌 수 있습니다. 우리는 이 중 데이터분석에서 가장 많이 사용되는 선형회귀분석과

로지스틱 회귀분석의 개념을 학습하겠습니다.

 

 

 

 

 

 

< 정합성 검증 & 결과 해석 >

 

# 1. 회귀모델이 얼마나 설명력을 갖는지?

 

 

 

 

 

 

 

 

< Python 코드 실습 >

import pandas as pd
import numpy as np
# 데이터 분포 확인을 위한 plt 라이브러리 import 
import matplotlib.pyplot as plt
#sklearn 에서 제공하는 데이터 셋 중 하나인 diabetes 불러오기 
from sklearn.datasets import load_diabetes
#회귀분석 라이브러리 import 
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
import seaborn as sns

# 데이터를 가져오고, 이름을 df 로 받아주겠습니다.
df = load_diabetes()


# 데이터는 dictionary 형태로 저장되어 있기 때문에 keys() 를 통해 어떤 데이터를 가지고 있는지 확인해보겠습니다. 
# target은 당뇨병의 수치입니다.
df.keys()

# 각각의 데이터를 가져와 dataframe 으로 받아주도록 하겠습니다.
df = pd.DataFrame(df['data'],index=df['target'], columns=df['feature_names'])

# 총 442 명에 대한 나이, 성별, bmi(체질량지수).. 등을 가져왔습니다. 
df

# 단순선형회귀분석 
# 당뇨병의 수치(target)와 bmi(체질량지수) 간 회귀분석 시행
# 종속변수: 당뇨병수치
# 독립변수: bmi(체질량지수)
Y = df.index.values
X = df.bmi.values

#분포 확인
import matplotlib.pyplot as plt
plt.scatter(X, Y)

# 회귀분석을 위한 2d array로 변황
X = X.reshape(-1,1)
Y = Y.reshape(-1,1)

# 회귀분석 시행
# 회귀계수를 확인할 수 있습니다. 
# 이를 통해, 회귀식을 도출할 수 있게 됩니다. 
# y= b0 +b1x
# b0, b1
lr.fit(X, Y).intercept_, lr.fit(X, Y).coef_[0]

# 회귀식: y= 152.133 + 949.435*x

# 회귀선 추가하기 
# 그래프 그리기 위해 다시 X,Y 선언
Y = df.index.values
X = df.bmi.values

#numpy 에서 제공하는 plotfit 함수를 통해 회귀선 구하기 
b0, b1 = np.polyfit(X, Y, 1)
plt.scatter(X,Y)
plt.plot(X,b1+b0*X,color='red')
plt.show()

# 회귀분석 결과 해석하기 
# 해석순서
# 결정계수 R-squared 확인 -> 모형의 적합도 Prob(F-statistic) 확인 -> P>|t| 확인
import statsmodels.api as sm
results = sm.OLS(Y, sm.add_constant(X)).fit()
results.summary()
# 메시지 Standard Errors assume that the covariance matrix of the errors is correctly specified.
# 메시지 해석 데이터 관측치의 부족으로 첨도 테스트에 문제가 있다는 경고(common notice 정도로 이해해주세요)

A. R제곱
값이 0.34정도로 이는 34%만큼의 설명력을 가진다고 판단할 수 있습니다. 
0에 가까울 수록 예측값을 믿을 수 없고 1에 가까울 수록 믿을 수 있다고 판단합니다.
------------------------------------------------------------------------------------

B. Prob(F-statistic)
도출된 회귀식이 회귀분석 모델 전체에 대해 통계적으로 의미가 있는지 파악합니다.
-> F-statistic의 p-value 값은 Prob(F-statistic)으로 표현되는데,
이는 3.47e-42로 0.05보다 작기에 이 회귀식은 회귀분석 모델 전체에 대해
통계적으로 의미가 있다고 볼 수 있습니다.
    
------------------------------------------------------------------------------------
C. P>|t| 
각 변수가 종속변수에 미치는 영향이 유의한지 파악합니다.
x1에 대한 p-value가 0.000으로 표기 되어 있기에 0.05보다 작으므로
target을 설명하는데 유의하다고 볼 수 있습니다.

 

 

# 새로 알게 된 개념

df.bmi 와 df['bmi']는 같다

 

df.index를 통해서 인덱스 값을 가져올 수 있다

 

df.bmi.values를 하면 값들을 넘파이 배열로 가져올 수 있다

 

 

 

# Reference

https://recipesds.tistory.com/entry/%ED%9A%8C%EA%B7%80%EB%B6%84%EC%84%9D-%EA%B2%B0%EA%B3%BC%EC%9D%98-%ED%95%B4%EC%84%9D%EA%B3%BC-R%C2%B2%EC%84%A4%EB%AA%85%EB%A0%A5%EC%9D%98-%EC%9D%98%EB%AF%B8-%EA%B7%B8%EB%A6%AC%EA%B3%A0-R%EC%9D%80-%EC%83%81%EA%B4%80%EA%B3%84%EC%88%98%EC%9D%98-%EC%A0%9C%EA%B3%B1-%EC%9D%91

회귀분석 결과의 해석과 R²(설명력,결정계수)의 의미, 그리고 R²은 상관계수의 제곱. 응?