품질
가설검정
Hypothesis Testing
정의
차이가 없다는 귀무가설을 세우고 데이터가 그 가설과 얼마나 모순되는지를 확률로 평가해, 개선 효과·집단 차이의 유무를 객관적으로 판정하는 통계 절차.
자세한 설명
가설검정은 "개선 전후 평균이 같다", "두 설비의 불량률이 같다" 같은 귀무가설(H₀)과 그 반대인 대립가설(H₁)을 세우고, 표본에서 계산한 검정통계량이 귀무가설 하에서 나올 확률(p값)을 유의수준 α(통상 0.05)와 비교해 기각 여부를 결정한다. 우연 산포를 개선 효과로 착각하는 성급한 결론을 막는 것이 실무적 존재 이유다.
두 가지 오류의 균형이 설계의 핵심이다. 제1종 오류(α)는 실제 차이가 없는데 있다고 판정하는 것이고, 제2종 오류(β)는 실제 차이가 있는데 놓치는 것이다. 검정력(1-β)은 표본 수가 클수록 높아지므로, 잡아내고 싶은 차이 크기를 정하고 그에 맞는 표본 수를 사전에 설계해야 한다. t검정·분산분석·카이제곱검정 등 개별 검정은 모두 이 공통 틀 위에서 작동한다.
공식
제1종 오류 α: 차이가 없는데 있다고 판정할 확률(통상 0.05)
제2종 오류 β: 차이가 있는데 놓칠 확률, 검정력 = 1 - β
판정: p값 < α 이면 귀무가설 기각 실무 예시
세척 공정 개선 후 불량률이 2.1%에서 1.6%로 낮아진 듯했으나, 두 비율 검정 결과 p = 0.18로 유의수준 0.05에서 차이를 인정할 수 없었다. 표본을 각 2,000개로 늘려 재검정하니 p = 0.02로 유의해, 개선 효과가 통계적으로 확인된 뒤 표준을 개정했다.
실무 포인트
- 검정 전에 유의수준·표본 수·잡을 차이 크기를 정한다 — 결과를 본 뒤 기준을 바꾸면 검정이 아니다.
- 유의하지 않음은 "차이 없음의 증명"이 아니다 — 표본 부족(검정력 부족)일 가능성을 먼저 본다.
- 통계적 유의와 실무적 중요성을 구분한다 — 효과 크기와 신뢰구간을 함께 보고한다.
- 여러 번 반복 검정하면 우연 유의가 나온다 — 다중비교 보정을 하거나 분산분석으로 묶어 검정한다.