# ํ๊ท๋ถ์์ ํน์ง # ํ๊ท๋ถ์์ ์ข
๋ฅ ํ๊ท๋ถ์์ ํ๊ท ๊ณ์์ ์ ํ์ฌ๋ถ, ๋
๋ฆฝ๋ณ์์ ๊ฐ์, ์ข
์๋ณ์์ ๊ฐ์์ ๋ฐ๋ผ ์ฌ๋ฌ๊ฐ์ง์ ํ์ผ๋ก ๋๋ ์ ์์ต๋๋ค. ์ฐ๋ฆฌ๋ ์ด ์ค ๋ฐ์ดํฐ๋ถ์์์ ๊ฐ์ฅ ๋ง์ด ์ฌ์ฉ๋๋ ์ ํํ๊ท๋ถ์๊ณผ๋ก์ง์คํฑ ํ๊ท๋ถ์์ ๊ฐ๋
์ ํ์ตํ๊ฒ ์ต๋๋ค. # 1. ํ๊ท๋ชจ๋ธ์ด ์ผ๋ง๋ ์ค๋ช
๋ ฅ์ ๊ฐ๋์ง? import pandas as pdimport numpy as np# ๋ฐ์ดํฐ ๋ถํฌ ํ์ธ์ ์ํ plt ๋ผ์ด๋ธ๋ฌ๋ฆฌ import import matplotlib.pyplot as plt#sklearn ์์ ์ ๊ณตํ๋ ๋ฐ์ดํฐ ์
์ค ํ๋์ธ diabetes ๋ถ๋ฌ์ค๊ธฐ from sklearn.datasets import load_diabetes#ํ๊ท๋ถ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ import from sklearn..
# ํ๋ก์ธ์ค = ์ค๋ฅ ํ์ฉ ๋ฒ์ ์ ์์์ค: ๊ท๋ฌด๊ฐ์ค์ด ๋ง์ ๋ ์ค๋ฅํ์ฉ ๊ธฐ์ค(ํ๋ฅ ) ํ๋ณธ์ ์ถ์ถํ๋ ์๊ฐ ๋ชจ์ง๋จ๊ณผ 100% ์ผ์นํ ์ ์๊ธฐ ๋๋ฌธ์, ์ค๋ฅ์๊ฐ๋ฅ์ฑ์ด ์กด์ฌํ๋ค๊ณ ํ์ตํ์์ต๋๋ค. ๊ฐ์ค ๊ฒ์ ์์ ๊ฒฐ๋ก ์ ํด์ํ๊ธฐ ์ํด์๋ ๊ธฐ์ค์ ์ธ์ฐ๊ณ , ๊ทธ ๊ธฐ์ค์ ๋ง์กฑํ๋์ง ํ์ธํด์ผ ํฉ๋๋ค. ์ฌ๊ธฐ์ ๊ธฐ์ค์ด ๋๋ ๊ฒ์ด ์ ์์์ค์
๋๋ค. ๊ฒ์ ํต๊ณ๋์ด๋ ๊ท๋ฌด๊ฐ์ค์ ์ฑํ ๋๋ ๊ธฐ๊ฐํ๊ธฐ ์ํด ์ฌ์ฉํ๋ ํ๋ฅ ๋ณ์๋ฅผ ์๋ฏธํฉ๋๋ค. p-value: ์ด๋ ์ฌ๊ฑด์ด ์ฐ์ฐํ ๋ฐ์ํ ํ๋ฅ # ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ถ๋ฌ์ค๊ธฐ# ๋ผ์ด๋ธ๋ฌ๋ฆฌ ํธ์ถ import pandas as pdimport numpy as np # ๊ณผํ ๊ณ์ฐ์ฉ ํ์ด์ฌ ๋ผ์ด๋ธ๋ฌ๋ฆฌ import scipy.stats as statsfrom PIL import Imagedf..
01. ๋ฐ์ดํฐ์ ์ข
๋ฅ02. ํธ์ฐจ, ๋ถ์ฐ, ํ์คํธ์ฐจ, ํ๋ณธ๋ถํฌ03. ์ ๊ท๋ถํฌ, ์ ๋ขฐ๊ตฌ๊ฐ 01. ๋ฐ์ดํฐ์ ์ข
๋ฅ Q) ์ ๋ฐ์ดํฐ์ ์ข
๋ฅ๋ฅผ ์์์ผ ํ๋์..? ๊ทธ๋ฅ ๋ฐ์ดํฐ ๋ถ์ํ๋ฉด ์๋๋์?A) ๋ฐ์ดํฐ์ ์๊น์์ ๋ฐ๋ผ ์๊ฐํ, ํด์, ํต๊ณ๋ชจ๋ธ ๊ฒฐ์ ์ ์ค์ํ ์ญํ ์ ํ๊ธฐ ๋๋ฌธ์ด์์. 02. ํธ์ฐจ, ๋ถ์ฐ, ํ์คํธ์ฐจ, ํ๋ณธ๋ถํฌ ๋ฐ์ดํฐ EDA ๋ฅผ ์งํํ๋ฉด์ ์ฐ๋ฆฌ๋ Pandas ๋ผ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํตํด, ๋ฐ์ดํฐํ๋ ์ ์ด๋ผ๋ ํ
์ด๋ธ ํํ์ ๋ฐ์ดํฐ ๊ตฌ์กฐ๋ฅผ ์ดํด๋ณด์์ต๋๋ค. ์ด๋ ๊ธฐ๋ณธ์ ์ผ๋ก ํ๊ณผ ์ด๋ก ๊ตฌ์ฑ๋ ์ด์ฐจ์์ ํ๋ ฌ์ ๋ปํฉ๋๋ค. ์ฐ๋ฆฌ๋ ํ
์ด๋ธ์ด ์ด๋ป๊ฒ ์๊ฒผ๋์ง info, describe ๋ฑ์ ํจ์๋ฅผ ์ฌ์ฉํ๋ฉฐ ์์๋ณด์์์ฃ !ํ
์ด๋ธ์ด ์ฃผ์ด์ก์ ๋ ์ด๋ฅผ ์ดํด๋ณด๋ ๊ฐ์ฅ ๊ธฐ์ด์ ์ธ ๋จ๊ณ๋ ๊ฐ ์ปฌ๋ผ์ ‘๋ํ๊ฐ’ ์ ๊ตฌํ๋ ๊ฒ์
..
# ์ ์๋ชจ์๊ฐ ์ด๋ ๋ฒ์ ์์ ์๋์ง๋ฅผ ํ๋ฅ ์ ์ผ๋ก ๋ณด์ฌ์ฃผ๋ ๋ฐฉ๋ฒ์ด๋ค ์๋ฅผ ๋ค์ด์, ์ง์ ๊ฐ๋๊ธธ์ ์ธ์ ์ฏค ๋์ฐฉํ ๊ฒ ๊ฐ๋๋ ์ง๋ฌธ์"10์์ 15๋ถ์ด๋ฉด ๋์ฐฉํ ๊บผ์ผ" ๋ผ๊ณ ๋ต๋ณํ๋ค๋ฉด ์ฐ๋ฆฌ๋ 10~15์ฌ์ด์ ์ ๋ขฐ๊ตฌ๊ฐ์ ์ฌ์ฉํ๊ณ ์๋ ๊ฒ์ด๋ค ๊ทธ๋ ๋ค๋ฉด ์ 12.5๋ถ์ด ์๋๋ผ10๋ถ์์ 15๋ถ ์ฌ์ด๋ผ๊ณ ๋งํ๋ ๊ฒ์ผ๊น?? ๊ทธ๊ฒ์ ๋ถํ์คํจ์ด ๋ดํฌ๋์ด ์๊ธฐ ๋๋ฌธ์ด๋ค [ ์์ ] ๋ชจ์ง๋จ ์ค ๋๋คํ๊ฒ ์ํ์ ์ ํํ ํ ์ ํ๋ ํ๋ณธ์ ํ๊ท ์ ๊ณ์ฐํด ํ์ํ์๋, ๋ชจ์ง๋จ์ ์ํ์ ์ ํํ๋ ๊ฒฝ์ฐ์ ์๋ ๋ฌด์ํ ๋ง๋ค๋ฐ๋ผ์ ์ฐ๋ฆฌ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ์ป์์ ์ ์๋ ํ๊ท ๊ฐ ๋ํ ๋ฌด์ํ ๋ง๋ค ๊ฒฐ๊ตญ ํ๋ณธํ๊ท ์ ๋ถํฌ๋ ๋ชจํ๊ท ์ ์ค์ฌ์ผ๋ก ํ๋ ์ ๊ท๋ถํฌ๋ฅผ ๋ฐ๋ฅด๊ฒ ๋๋ค ๊ทธ๋ฆฌ๊ณ ์ ๊ท๋ถํฌ๋ ํ๊ท ๊ฐ์ ์ค์ฌ์ผ๋ก +- 2ํ์คํธ์ฐจ์ ๋ฒ์๊ฐ ์ฝ 95%์ ๋ฉด์ ์ ์ฐจ์งํ๋ค..
# ์ ์๋ ์ง๋จ์ ํ๊ท ์ด ์ผ๋ง๋ ๋ค๋ฅธ์ง ํต๊ณ์ ์ผ๋ก ๋น๊ตํ๋ ํ
์คํธ์ด๋ค ์๋ฅผ ๋ค์ด์, ๋ํ๋ฏผ๊ตญ 20๋ ๋จ๋
ํ๊ท ํค๋ฅผ ๋น๊ตํ๋ค๊ณ ๊ฐ์ ํด๋ณด์.๊ทธ๋ ๋ค๋ฉด ์์๋ก ๋จ์ 30๋ช
, ์ฌ์30๋ช
์ ์กฐ์ฌํ์ฌ ํ๊ท ํค๋ฅผ ๋น๊ตํ๋ฉด ๋๋ ๊ฒ์ด๋ค์ด๊ฒ์ ๋
ผ๋ฆฌ์ ์ผ๋ก ์ ๋น๊ตํ๋ ๊ธฐ๋ฒ์ด t-test ์ด๋ค Question )์๋ ๊ทธ๋ฌ๋ฉด ์๊พธ t๋ผ๋ ๊ฐ์ด ๋์ค๋๋ฐ t์ ๋ป์ด ๋ญ๊ฐ์~~? Answer )๋ฐฉ์ ์์์์ x๊ฐ์ด ์์์ ๋ณ์๋ช
์ด๋ค๋น์ทํ ๋งฅ๋ฝ์์ t๋ ๊ทธ๋ฃน๊ฐ ํ๊ท ์ฐจ์ด๊ฐ ํด ๋ ํฐ ๊ฐ์ ๊ฐ์ง๊ฒ ์ธํ
๋ ๋ณ์์ด๋ค์ฆ, t๋ ๊ทธ๋ฃน๊ฐ ์ฐจ์ด์ ๋น๋กํ๋ ๋ณ์์ด๋ค ๊ทธ๋ ๋ค๋ฉด ์ฌ์์ ํ๊ท ํค๊ฐ 161์ด๊ณ ๋จ์์ ํ๊ท ํค๊ฐ 173์ผ๋ ์ด๋์ t๋ 173 - 161 = 12์ผ๊น.....??? ๋ต์ ์๋๋ค!!!! ์ ์๋๊ฑฐ์ฃ ...?!!!! 20๋ ๋จ..
# ํ๊ท ๋ฐ์ดํฐ ์งํฉ์ ๊ฐ์ฅ ์ ๋ํ๋ด๋ ๋จ์ผ ๋๋ ์ซ์ ๊ฐ์ผ๋ฐ์ ์ผ๋ก ์๊ฐํ๋ ํ๊ท ์ ์ฐ์ ํ๊ท # ํ๊ท ์ ๋ง์น๋ ์๋์ ์ด์์น 1. ์๋ (Skewness) ์๋๋ ํน์ ํ ๋ฐฉํฅ์ผ๋ก ๋ฐ์ดํฐ๊ฐ ์ ๋ ค์๋ ๊ฒ. ๋ณดํต ๊ผฌ๋ฆฌtail๋ฅผ ๋น๊ธด ๊ฒ์ฒ๋ผ ์๊ฒผ๋ค๊ณ ํํํฉ๋๋ค. ์๋๊ฐ ์์ผ๋ฉด ํ๊ท ์ด ์ ์ฒด ๋ฐ์ดํฐ๋ฅผ ๋ํํ์ง ๋ชปํฉ๋๋ค 2. ์ด์์น (Outlier) โป ์ด์์น๋ฅผ ๊ณต๋ถํ๊ธฐ์ ์์์ ๋ฐ์คํ๋กฏ์ ๋ํด์ ์์๋ณด์! # Q1, Q2, Q3 ๋จผ์ ๊ฐ์ด๋ฐ ์๋ ๋ค๋ชจ ๋ฐ์ค๋ฅผ ๋ด
์๋ค. ์ธ๊ฐ์ ์ธ๋ก์ค์ด ์๊ณ Q1,Q2,Q3๋ผ๊ณ ๋์ด ์์ต๋๋ค. Q๋ quartile ์ ์๊ธ์์
๋๋ค. quartile ์ ์ฌ๋ถ์์๋ผ๋ ๋ป์
๋๋ค. ์ฌ๋ถ์์๋ ์ ์ฒด๋ฅผ ๋ท์ผ๋ก ๋๋ ์๋ผ๋ ๋ป์
๋๋ค. ์ ์ฒด๋ฅผ ๋ท์ผ๋ก ๋๋๊ธฐ ์ํด์๋ ~ ?!์ ๋ต! ..