[t-test] 3편 : t-test 계산법과 p-value 해석

 

 

 

t-test의 개념과 유형에 대해 어느 정도 익숙해졌다면, 이제는 어떻게 계산하고, 결과를 어떻게 해석해야 하는지 알아야겠죠. 

 

 

 

특히 p-value는 통계 결과를 판단하는 핵심 기준이 되는 만큼, 정확히 이해하는 것이 중요해요. 이번 글에서는 t 통계량 계산 과정, p-value의 의미, 그리고 실험 설계 시 자주 놓치는 포인트들까지 함께 정리해볼게요.

 

 

 

 t-test는 어떻게 계산되나요?

t-test는 기본적으로 평균 간 차이를 표준 오차로 나누는 방식으로 계산돼요. 예를 들어 독립 표본 t-test의 경우, 두 집단의 평균 차이를 분산과 표본 수에 따라 정규화한 t 값을 계산하게 됩니다. 공식은 다음과 같아요

 

 

 

여기서 X̄는 각 집단의 평균, s는 표준편차, n은 표본 수를 의미해요. 만약 두 집단의 분산이 같다고 가정된다면 pooled variance를 적용한 약간 다른 공식을 사용하게 돼요.

대응 표본 t-test는 같은 대상에서 측정된 두 값의 차이(D)를 기반으로 하고, 다음과 같은 계산식을 사용해요.

 

여기서 D̄는 차이의 평균, sD는 차이의 표준편차예요.

이 계산 결과인 t 통계량은 특정 자유도(degree of freedom)를 기반으로 t 분포와 비교되어 p-value를 도출하게 됩니다.

 

 

반응형

 

p-value 해석, 어디까지 믿어야 하나요?

p-value는 말 그대로 귀무가설이 참이라는 전제 하에, 우리가 관찰한 t 값보다 더 극단적인 결과가 나올 확률을 뜻해요. 예를 들어 p-value가 0.03이라면, 귀무가설이 맞는 상황에서 우리가 얻은 결과가 나올 확률이 3%라는 뜻이죠.

 

실험에서는 일반적으로 p < 0.05를 유의미하다고 판단하지만, 이는 어디까지나 관습적인 기준일 뿐이에요. p-value가 0.049이면 유의하고 0.051이면 유의하지 않다고 단정 짓는 건 과도하게 이분법적인 해석일 수 있어요. 따라서 p-value 자체보다도 결과의 효과 크기(effect size)와 실험의 맥락을 함께 고려하는 것이 중요합니다.

 

또한 p-value가 작다고 해서 반드시 효과가 크다는 뜻은 아니라는 점도 기억해두세요. 반대로, 표본 수가 너무 적으면 p-value가 0.05를 넘더라도 실제로 중요한 차이를 놓치는 일이 생길 수도 있어요.

 

실험 설계에서 주의할 점

많은 분들이 t-test를 사용할 때 가장 흔히 저지르는 실수 중 하나는 표본 수가 너무 작거나 불균형한 상태에서 분석을 시도하는 것이에요. 이럴 경우 결과의 신뢰도가 낮아지고, p-value 해석도 왜곡될 수 있죠.

또 한 가지 중요한 점은 사후 분석(post-hoc) 없이 t-test를 무분별하게 반복해서 사용하지 않는 거예요. 여러 번 비교를 반복하다 보면 유의미한 차이를 우연히 발견할 가능성도 높아지기 때문에, 다중 비교 보정이 필요할 수 있습니다.

 

이번 글에서는 t-test의 계산법과 p-value 해석, 그리고 실험 설계 시 주의해야 할 점들을 짚어봤어요. 단순히 계산만 하는 것이 아니라 실험 설계 단계부터 어떻게 분석을 계획하고, 결과를 어떻게 해석할지 고민하는 것이 훨씬 더 중요한 부분이랍니다.

 

 

다음 편에서는 실제 사례를 통해 어떤 실험에서 어떤 t-test를 적용할 수 있는지, 그리고 어떻게 보고서나 논문에 결과를 작성하면 좋을지 알아볼 예정이에요.