[데이터 분석을 위한 통계 개념1] 모집단과 표본, 확률분포와 신뢰구간

💡 Index

1. 모집단과 표본

모집단은 데이터 분석에서 알고자 하는 대상 전체를 가리키기 때문에 모집단의 성질을 알 수 있다면 대상을 설명하거나 이해할 수 있고, 미지의 데이터를 예측할 수도 있게 된다. 모집단의 성질을 아는 방법의 하나로, 모집단에 포함된 모든 요소를 조사하는 전수조사가 있다. 이는 모집단에 포함된 요소의 개수가 한정된, 유한 모집단일 때 선택할 수 있는 조사 방법이다. 전수조사의 경우 '분석할 데이터 = 모집단' 이기 때문에 획득한 데이터의 특징을 파악하고 기술하기만 해도 모집단의 성질을 설명하고 이해할 수 있다.  예를 들어 한국 성인 남성의 평균 키를 알고싶다면 모든 성인 남성의 키를 측정하여 데이터를 얻은 후에 그 평균 값을 계산하면 된다. 그러나 전수조사를 이렇게 실시하려면 비용이나시간 면에서 부담이 막대하여 실현 불가능할 때가 대부분이다. 

 

따라서 통계학에는 모집단의 일부를 분석하여 모집단 전체의 성질을 추정하는 추론통계(inferential statistics) 분야가 있다. 추론통계에서 조사하는 모집단의 일부를 표본(sample)이라하며 모집단에서 표본을 뽑는 것을 표본추출(sampling)이라 한다. 그리고 표본에 포함된 요소의 개수를 표본크기(sample size)라고 부르며 보통 n = 30과 같이 표기한다. 

 

 

2. 통계량과 확률분포

1) 변수

• 변수 : 공통의 측정 방법으로 얻은 같은 성질의 값
• 변수의 개수 = 차원(dimension)
• 변수의 유형
  • 양적변수 : 숫자로 나타낼 수 있는 변수
    • 연속변수 : 키, 몸무게 등
    • 이산변수 : 주사위 눈, 횟수 등
  • 질적변수 : 범주로 나타내는 변수 e.g) 예/아니요, 식당 메뉴(짜장, 짬뽕 ,,) 등

2) 통계량

• 기술통계량 : 데이터 그 자체의 성질을 기술하고 요약하는 통계량

기술 통계량에는 대략적인 분포 위치를 나타내는 대푯값인 평균값, 중앙값, 최빈값이 있으며 데이터 퍼짐 정도를 나타내는 분산과 표준편차가 있다.

 

(1) 대푯값(representative value) : 대략적인 분포 위치, 즉 대표적인 값을 정량화하기 위해 사용하는 통계량

 

• 평균값 (mean) 
• 중앙값 (median) : 크기 순으로 값을 정렬했을 때 한가운데 위치한 값
• 최빈값 (mode)

이상값(outlier)이 대푯값에 미치는 영향

평균값은 계산 시 모든 값을 고려하기 때문에 이상값의 영향을 받기 쉽다. 반면 중앙값은 상대적인 크기로부터 구해지며 가운데에 있는 값만 참조하므로 이상값에는 잘 영향을 받지 않는다. 또한 이상값은 빈도가 낮으므로 최빈값에도 영향을 주지 않는다. 

 

(2) 분산과 표준편차

 

• 분산 (variance) 
• 표준편차 (standard deviation)

 

3) 분포의 시각화

 

어떤 데이터에 어떤 그래프를 사용해야 하는가

• 일변량
  • 연속형 데이터 : 히스토그램(Histogram), 커널밀도곡선(Kernel Density Curve), 박스그래프(Box Plot), 바이올린 그래프(Violin Plot)
  • 범주형 데이터 : 막대그래프(Bar Chart), 원 그래프(Pie Chart)
• 다변량
  • 연속형 데이터 : 선 그래프(Line Chart), 산점도(Scatter)
  • 범주형 데이터 : 히트맵(Hearmap)

 

(1) 히스토그램(Histogram)

이산형 양적 변수의 히스토그램의 경우 가로축은 숫자, 세로축은 데이터에 나타낸 개수(도수, 빈도, 횟수)를 표시한다. 연속형 양적 변수의 경우, 소수점 이하 자리가 얼마든지 지속되기 때문에 엄밀하게 같은 값은 존재하지 않는다. 그러므로 범위를 설정하고 그 범위에 포함되는 숫자 개수를 세어 이를 세로축에 둔다. 이 범위의 넓이를 구간폭(bin width)이라 한다. 

이 구간폭을 어떻게 설정하는지에 따라 인상이 달라짐에 주의해야한다. 구간폭이 너무 좁으면 그림이 지나치게 세세하게 그려지므로 어떤 형태의 분포인지 읽기 어렵다. 반대로 구간폭이 너무 넓으면 분포 형태 정보가 사라진다. 따라서 적절한 구간폭을 설정해야함에 주의하도록 한다. 

 

(2) 상자그림(Box Plot)

• IQR : Q3 - Q1
• 왼쪽 경계(min) : Q1 - 1.5*IQR 범위의 최솟값
• 오른쪽 경계(max) : Q3 + 1.5*IQR 범위의 최댓값

(3) 바이올린 플롯 (Violin Plot) : 히스토그램을 부드럽게 표현한 그래프로 box plot과 비슷하지만 더 실제에 가까운 분포를 알 수 있다. 

 

4) 확률분포

• 확률분포 : 가로축에 확률변수, 세로축에 그 확률변수의 발생 가능성을 표시한 분포

통계학에서 확률분포가 왜 중요한가

추론통계는 모집단의 일부인 표본에서 모집단의 성질을 추정하고자한다. 그러나 모집단은 직접 관측할 수 없고 이해하기도 어려운 대상이기에 표본으로 추정하는 일 역시 어렵다. 이에 현실 세계의 모집단을 확률분포로 가정하고 표본 데이터는 그 확률분포에서 생성된 실현값인 것으로 가정하여 분석을 진행한다. 이렇게 함으로써 '모집단 <-> 표본데이터' 처럼 다루기 어려운 대상이 '확률분포 <-> 실현값'처럼 다룰 수 있는 대상으로 치환되는 것이다. 

 

• 기댓값(Expected Value) 

• 왜도(Skewness) : 분포가 좌우대칭에서 어느정도 벗어났는지 (양수: 오른쪽꼬리, 음수: 왼쪽꼬리 형태)
• 첨도(Kurfosis) : 분포가 얼마나 뾰족한지, 편차의 크기 판단 (양수: 급첨=변동성↓, 0:중첨, 음수: 평첨=변동성↑)