[데이터 분석을 위한 통계개념2] 가설검정 (with A/B Test)

목차

1. 모집단과 표본

 

https://brunch.co.kr/@539insight/139

 

서비스의 관점에서 모집단과 표본을 분류하고 A/B 테스트를 진행한다고 하자.

그럴 때 모집단은 지금 우리의 전체 고객을 넘어 앞으로의 예비 고객을 모두 포함한 집단이다.

그리고 표본은 우리가 실험을 위해 추출한 일부 고객집단이다. 

 

여기서 중요한 점은, 우리가 건들일 수 있는 부분은 실험에 노출되는 '일부 고객'이지 모집단인 전체에 대해서는 알 수가 없다는 것이다. 

 

1) 모집단과 데이터(표본) 사이의 오차 : 표본오차

 

전체를 알 수 없기에 우리는 표본을 가지고 모집단을 추정해야한다.

이때 추출한 표본과 모집단의 데이터 사이에는 오차가 없을까 ? 

일반적으로 표본평균과 모집단평균은 일치하지 않는다. 이로서 우리가 정말 알고 싶은 것(모집단)과 실제 손 안에 있는 데이터(표본)에는 오차가 생기게 된다.

 

그리고 이 오차를 표본오차(sampling error)라고 한다. 

표본오차는 표본을 추출할 때의 인위적 실수나 잘못으로 생기는 오차가 아니라 무작위 표본을 고르는 데서 발생하는 피할 수 없는 오차라는 점에 주의해야 한다. 

 

2) 중심극한정리

• 중심극한정리(central limit theorem) : 모집단이 어떤 분포이든 간에 표본크기 n이 커질수록 표본평균의 분포는 정규분포로 근사할 수 있다. 
• 표본크기 n이 커질수록 표본평균의 분포는 다음과 같은 정규분포로 근사할 수 있다.
  • 평균 : 모집단평균 $\mu$
  • 표준편차 : $ \frac{\sigma}{\sqrt{n}}$

3) 표준오차

 

$ \frac{\sigma}{\sqrt{n}}$를 standard error, 표준오차라고 한다. 그러나 이때 $\sigma$는 모집단의 성질이므로 우리는 알 수 없는 미지의 숫자이다. 그러므로 표본에서 추정한 표준편차$s$를 대신 사용하여 아래와 같이 나타낸다.

 

• 표준오차(SE) :  $\frac{s}{\sqrt{n}}$

** 표준오차와 표본오차의 차이 : https://m.blog.naver.com/jieun0441/220908395420  

 

 

2. 가설의 설정과 검정

1) 귀무가설과 대립가설

결국 우리는 표본을 대상으로 실험을 하고 그 안에서 A와 B, 또는 더 나아가 A,B,C,.. 등의 그룹을 나눈 뒤 실험을 하게 된다. 

그리고 이번 실험으로 인해 차이가 생길 것이다라고 가정하게 된다.

 

이처럼 평소에는 우리가 무언가를 하지 않으면 아무런 일이 일어나지 않으므로 표본을 A와 B로 나누든 A,B,C로 나누든 결과에는 차이가 없다. 이러한 평소의 상태에 대한 가설을 귀무가설 이라고 한다.

그런데 우리는 이 표본을 특정 그룹으로 나누어 (A,B) 어떠한 조치를 취하고 이 그룹 사이에 결과차이가 생길 것이라고 가정한다. 

즉 평소와는 다른, 반대되는 상황이 발생할 것이라 가정하는데 이를 대립가설이라고 한다. 

평소의 상황(=차이가 없다)과 대립되는 결과(=차이가 있다)가 나올 것이라고 가정하는 가설이다.

 

• 귀무가설 (null hypothesis) : 밝히고자 하는 가설의 부정명제
• 대립가설 (alternative hypothesis) : 밝히고 싶은 가설

 

2) 양측 검정과 단측 검정

보통 웹/앱의 실험을 할 때에는 특정 A안이 더 나을거다, 높을 것이다 라고 가정한다. 두 그룹에 차이가 있고 특정 그룹이 더 높거나 낮을 것이라고, 즉 결과가 한쪽으로 분명할 것이라고 가정한다. 이런 실험을 단측(한쪽, one-side) 검정이라고 한다.

반면 차이가 있지만 어느 쪽이 더 나을지는 미리 가정할 수 없다면 양측(양쪽, two-side) 검정이라고 한다. 

 

 

3. 신뢰수준과 신뢰구간

1) 신뢰수준

우리가 진행하는 테스트는 실험에 노출된 일부 표본만을 가지고 모집단, 전체를 '추측'하는 과정이다. 그래서 이 추측이 어떻게 유효하고 공정한지, 믿을만 한 정도인지를 알아봐야한다.

 

그래서 우리의 추측이 어느정도로 신뢰할 만 한가?라는 질문에 답을 하기 위해

우리의 추측을 신뢰할 수 있는 수준을 신뢰수준이라고 한다. 

 

이를 ABTest의 설정에서 들여다보자면, 얼마나 엄밀하게 실험을 하고 싶은가?의 의미로 보통 사용되는 신뢰수준은 95%이다. 

신뢰수준 95%라는 것은 '100번 중 95번은 내가 생각하는 결과가 나올 것이지만 나머지 5번은 아닐 수도 있다.'라는 의미이다.

 

그래서 OO% 신뢰구간(confidence interval)이란 'OO%의 확률로 이 구간에 모집단평균 $\mu$가 있다'라는 의미이다. 

양측 검정의 경우 위와 같은 그래프로 신뢰구간에 해당하는 정규분포의 값을 구할 수 있다.

이때  $ \frac{\sigma}{\sqrt{n}}$는 표준오차이고 여기에 정규분포표에서의 0.95값인 1.96을 곱한 것으로 값을 나타낸다.

즉 위 그래프 상의 $x_l$ 에서 $x_u$가 95%의 신뢰구간인 것이다. 

 

2) 정밀도를 높이려면 

보다 신뢰 가능한 평균값을 추정하고 싶을 때에는 어떻게 하면 될까?

이때는 오차분포의 너비를 나타내는 표준오차 $ \frac{\sigma}{\sqrt{n}}$에 집중한다. 

위 식을 다시 한 번 보면, 이 값을 작게 만들면 된다는 것을 알 수있다.

 

이를 작게 만들기 위해서는 분자인 $s$를 작게 하거나 분모인 표본크기 n을 크게하는 방법이 있다. 

$s$는 모집단 그 자체의 성질에서 유래하기 때문에 작게 만들기는 매우 어렵지만 측정한 데이터의 변동 정도를 줄일 수 있다. 

 

4. P-value와 유의수준 $\alpha$를 사용한 가설 판정

우선 우리가 알아야할 건, 가설 검정은 귀무가설이 옳은 세계를 기준으로 판정한다는 것이다.

즉 변화가 없다는 가정하에 귀무가설의 기각/채택이 이루어진다. 

 

1) P-value와 유의수준

 

• p-value : 귀무가설이 옳다고 가정했을 때 관찰한 값(observation value) 이상으로 극단적인 값이 나올 확률

우리가 데이터로 계산한 표본평균의 차이를 떠올려보자.

'이 값이 귀무가설이 옳은 가상 세계에서는 어떤 빈도로 발생할까?'

이 질문이 가설검정에서 가장 중요한 사고방식이다.

 

만약 실제로 얻은 데이터가 가상세계에서는 극히 드물다면 어떨까. 이럴때는 가상 세계가 틀렸다. 즉, 귀무가설이 옳다는 가정은 틀렸다고 생각할 수 있을 것이다. 반대로 실제로 얻은 데이터가 가상세계에서도 자주 나타난다면 가상 세계가 틀렸다고는 말할 수 없을 것이다. 

 

여기서 현실세계에서 얻은 데이터가 귀무가설이 옳은 가상 세계에서는 얼마나 나타나기 쉬운가 또는 어려운가를 평가하고자 p-value라는 값을 계산한다. 이는 확률이므로 0이상 1이하의 값이 된다. 

 

일반적으로 p value가 0.05 이하인 경우, 귀무가설 하에서 현실 데이터는 나타나기 어렵다고 생각하고 귀무가설을 기각하고 대립가설을 채택한다. 이때 평균값의 차이는 통계적으로 유의미한 차이가 있다(statistically significant)고 표현한다. 

 

여기서 귀무가설을 기각할 것인지 채택할 것인지의 판단 경계로 이용하는 값을 유의수준 $\alpha$라고 한다. 보통 $\alpha=0.05$를 이용한다. 

 

2) 판단

 

신뢰 수준이 95%라는 건 100번 중 95번은 실험의 결과가 내가 생각한 범위 내 결과를 도출하지만, 나머지 5번은 아닐 수 있다는 뜻이다. 바꿔 말해 5번은 틀리더라도 봐주기로 한다는 뜻이기도 하다. 이 5번, 즉 5%를 우리는 유의 수준이라고 한다. 다시 말해, "만약 5번이 넘어가면 A와 B에는 실제로 는 차이가 없고 차이가 있는 것처럼 보여도 그저 우연 때문이라고 판단하겠다." 라는 것이다. 

그래서 만약 신뢰 수준 95%의 실험에서, 우리의 실험 결과로 나온 P-value가 0.04(4%)라면, 앞서 실험의 유 의미함을 판단하는 기준으로 세운 0.05(5%) 안에 안착하게 되므로 우리의 실험에서 A와 B는 정말로 차이가 있 는게 맞다고 판단하게 된다. 다시 말해, 우연이 아니라고 판단한다는 셈이다.

반면 P-value가 0.51이라면? 이는 5번(0.05)을 넘겼으므로 신뢰 수준95%를 따르면 실험은 타당하지 않다. 이 경우 실험을 통해 얻은 결과는 우연일 가능성이 크다는 뜻이고 A와 B에는 실질적인 차이가 없다고 본다는 의미다.