[통계학 기초] 다양한 평균 이야기 - 이상치, 상자수염그림, 평균 3대장

 

# 평균

데이터 집합을 가장 잘 나타내는 단일 또는 숫자 값

일반적으로 생각하는 평균은 산술평균

 

 

# 평균을 망치는 왜도와 이상치

 

1. 왜도 (Skewness)

왜도는 특정한 방향으로 데이터가 쏠려있는 것.

보통 꼬리tail를 당긴 것처럼 샌겼다고 표현합니다.

 

 

왜도가 있으면 평균이 전체 데이터를 대표하지 못합니다

 

 

2. 이상치 (Outlier)

 

 

 

※ 이상치를 공부하기에 앞서서 박스플롯에 대해서 알아보자!

 

 

# Q1, Q2, Q3

먼저 가운데 있는 네모 박스를 봅시다. 세개의 세로줄이 있고 Q1,Q2,Q3라고 되어 있습니다.

Q는 quartile 의 앞글자입니다. quartile 은 사분위수라는 뜻입니다. 사분위수는 전체를 넷으로 나눈 수라는 뜻입니다.

 

전체를 넷으로 나누기 위해서는 ~ ?!

정답! 3등분을 하면 됩니다!!

 

이 세 사분위수를 각각 1사분위수, 2사분위수, 3사분위수라고 부릅니다. 전체를 같은 간격으로 나누기 때문에 1사분위수는 25% 위치, 2사분위수는 50% 위치, 3사분위수는 75% 위치에 있습니다. 순서를 기준으로한 위치입니다.

 

Q1 : 1사분위수 (25% 위치)

Q2 : 2사분위수 (50% 위치)

Q3 : 3사분위수 (75% 위치)

 

 

# IQR이란?

IQR 은 Interquartile range의 줄임말입니다. 우리말로 사분위범위 라고 부릅니다. 사분위수의 범위라는 말인데요. 3사분위수에서 1사분위수를 뺀 값으로 정의됩니다. 

 

IQR = Q3-Q1

 

 

 

< 박스플롯 >

박스플롯의 정규 명칭은 상자수염그림이다

 

# 여기서 주의할 점

 

실제 위의 그래프에서 테이블.describe() 함수를 수행했을때 max()와 min()을 확인하면 수염 부분의 최댓값과 최솟값이 나오지 않고, 이상치 중 최댓값과 최솟값이 나오게 된다.

 

즉, 실제 최대값은 이상치 중 최대값이지만 우리는 이상치의 경계 범위 안에 들어있는 값 중 최댓값(이상치 제외)를 수염으로 표시하기 때문이다

 

그래프의 ylim()을 이용하여 보고 싶은 y축위 범위를 지정했을때 이상값이 모두가 표시되지 않지만 그래프를 선명하게 관측할 수 있다

 

[ 예시 ]

ylim()을 사용하였다 - 범위 한정

# 산점도
# 나이와 연간소득간의 상관관계
# ylim으로 0부터 250000까지만 잘라서 나오게 해서 그위에 값은 안보임
sns.boxplot(data=customer, x='age_group', y = 'Annual_Income', palette='husl')
plt.ylim(0,250000)

 

 

만약 ylim()함수를 사용하지 않는다면 상자수염 그래프를 선명하게 관찰할 수 없지만 모든 이상값 (실제 최대값) 을 볼 수 있다

 

[ 예시2 ]

ylim()을 사용하지 않았다 - 범위한정 X

# x 축 표시 형식을 변경하는 함수 정의
from matplotlib.ticker import FuncFormatter

# x 축 표시 형식을 변경하는 함수 정의
def format_func(x, pos):
    return '{:,.0f}'.format(x/1000)  # #,### 형식으로 포맷팅
plt.figure(figsize=(16,9))
sns.boxplot(data=customer,x='Annual_Income')
# x 축에 적용할 Formatter 설정
formatter = FuncFormatter(format_func)
plt.gca().xaxis.set_major_formatter(formatter)
# 그래프 표시
plt.xlabel('Annual_Income($1k)')

 

ylim()안쓰니깐 잘 안보이쥬..?

 

 

 

# 만약 평균보다 표준편차가 더 크다면?

 

표준편차는 값들이 흩어져 있는 정도를 측정하는 단위로 많이 쓰인다.
표준편차가 크다는 것은 평균값으로부터 값이 멀리 떨어져 있다는 뜻이다.
표준편차가 크다는 것은 구성하는 수들의 대표로 평균값을 사용한다는 게 부적절해진다.

 

따라서 평균값보다는 중앙값을 사용하는 것이 더 적절하

최빈값 : 여러 수 중에서 같은 수의 등장 횟수가 가장 많은 수
중앙값 : 숫자를 1부터 큰 값 순으로 나열했을 때 중앙에 위치하는 값.
산술평균: 모든 수를 더해서 그 수의 개수로 나눈 우리가 흔히 사용하는 평균값.

 

 

 

< 평균 3대장 >

삼대장~ 삼대장장~

 

 

1. 산술평균 (MEAN)

 

모든 데이터를 더한 뒤 전체 데이터의 수로 나눠준 것

가장 일반적으로 많이 참조되는 평균

왜도(Skewness)와 이상치(Outlier)에 취약합니다

 

 

2. 중앙값 (MEDIAN)

쉽게 말해 데이터를 정렬하여 가운데 있는 관측치

왜도와 이상치에 강인(robust)하여 평균의 대안으로 많이 활용합니다.

 

 

3. 최빈값 (MODE)

가장 빈번하게 등장하는 관측치

등장하는 관측치의 값이 다양하지 않은 경우 효과적으로 쓰일 수 있는 대푯값

하지만 평균의 의미로는 바람직하지 않으며, 제한적으로 사용할 때 유용합니다.

 

[ 예시 ]

 

 

< 기타 평균 >

- 교과서에서 명시적으로는 잘 안 알려주는 평균입니다
- 실제로는 굉장히 많이 쓰며, 유용합니다

1. 로그 평균

 

각 관측치를 로그 변환한 뒤 산술 평균을 집계합니다

중앙값과 유사하게 이상치와 왜도에 강건합니다
로그의 밑으로는 오일러 상수 e=2.781828...을 일반적으로 사용합니다
로그 변환으로 인해 결과값에 대한 직접적인 해석이 어려워, 상대적인 비교에 유용합니다

 

로그 평균은 주로 데이터 값들이 곱셈적 관계에 있을 때 사용되며, 비율이나 성장률을 평균할 때 적합합니다.
로그 평균은 극단값을 직접 제거하지 않습니다.

 

 

2. 절삭 평균

 

상/하위 데이터를 일부(k%) 제거한 뒤 산술평균을 구합니다

 

극단적인 값들을 제거하였으므로 이상치에 강건합니다.

단, 왜도에는 여전히 취약할 수 있습니다

변환이 없기 때문에 결과값에 대한 직접적인 해석이 가능합니다

 

절삭 평균은 극단값에 민감한 데이터를 분석할 때 사용되며, 데이터의 왜곡을 줄이기 위해 사용됩니다.

 

 

 

# Reference

 

https://dining-developer.tistory.com/17

Skew(왜도) 와 Kurtosis(첨도) - 데이터 과학에서 알아야 할 두가지 중요한 통계 용어

 

 

https://hsm-edu.tistory.com/1542#google_vignette

[분위수의 이해] 1. 상자수염그림 쉽고 자세한 설명

 

로그 연산

https://calcproject.tistory.com/94

[수학I] 4. 로그의 성질, 로그가 들어간 공식 (개념+수학문제)