계수형 MSA 일치도 분석 (Attribute Agreement Analysis)

외관검사·관능검사처럼 OK/NG(합격/불합격)로 판정하는 계수형 검사 시스템이 믿을 만한지 평가하는 측정시스템분석(MSA) 기법입니다. 동일한 시료를 여러 검사원이 여러 번 반복 판정하게 한 뒤, 검사원 내(반복성)·검사원 간(재현성)·기준값 대비(정확성) 일치 정도를 일치율과 Kappa 통계량으로 정량화합니다.

측정 결과가 수치(치수·중량 등)이면 Gage R&R, 판정 결과가 범주(OK/NG, 등급)이면 계수형 MSA를 사용합니다. 외관검사, 관능검사, 육안 선별, 체크리스트 합부 판정, Go/No-Go 게이지 검사가 계수형 MSA 대상이며, IATF 16949 등에서 계측기와 마찬가지로 검사원 판정 시스템의 주기적 평가를 요구합니다.

κ = (Po − Pe) / (1 − Pe) — 관측일치도 Po에서 우연히 일치할 기대일치도 Pe를 제거한 지표입니다. 예를 들어 불량률이 5%인 시료라면 무조건 OK만 눌러도 일치율 90% 이상이 나올 수 있는데, Kappa는 이런 우연 일치를 보정해 판정 능력을 공정하게 평가합니다. κ=1은 완전 일치, κ=0은 우연 수준입니다.

Kappa 기준: 0.75 이상 양호(수용), 0.40~0.75 보통(조건부 사용·개선 권장), 0.40 미만 부적합(사용 불가). 유효성(기준 대비 일치율) 기준: 90% 이상 양호, 80~90% 조건부, 80% 미만 개선 필요. 본 도구는 검사원별 Kappa와 전체 Fleiss Kappa에 이 기준을 자동 적용해 판정 배지를 표시합니다.

Cohen Kappa는 두 평가자(또는 평가자 1명 vs 기준값) 간 일치도, Fleiss Kappa는 3명 이상 다수 평가의 전체 일치도를 계산합니다. 본 도구는 검사원 내(1회 vs 2회)·기준 대비에는 Cohen Kappa를, 검사원 3명 × 반복 2회 = 6개 판정 전체에는 Fleiss Kappa를 적용합니다.

AIAG는 최소 20~30개 이상을 권장하며, 실무에서는 50개까지 사용합니다. 구성이 중요합니다: 합격품과 불합격품을 약 50:50으로 섞고, 누가 봐도 명확한 시료만이 아니라 합부 경계선의 애매한 시료를 반드시 30% 이상 포함해야 검사원의 실제 판별 능력이 드러납니다. 기준값은 전문가 합의 또는 정밀 계측으로 사전 확정합니다.

검사원 내(같은 시료를 2회 판정해 같은 결과)가 낮으면 판정 기준 자체가 모호한 것이고, 검사원 간(모든 검사원 판정 동일)이 낮으면 사람마다 기준 해석이 다른 것이며, 기준 대비가 낮으면 기준을 잘못 이해(오검출·과검출)하고 있는 것입니다. 어느 지표가 낮은지에 따라 개선 포인트(기준서 명확화 vs 교육 vs 한도견본)가 달라집니다.

① 한도견본(limit sample)을 제작해 합부 경계를 물리적으로 명시 ② 검사기준서에 사진·수치 기준 보강 ③ 조명·배율 등 검사 환경 표준화 ④ 부적합 검사원 개별 재교육 후 재평가 ⑤ 반복 부적합이면 CAPA로 시스템 개선 추진. 검사가 불안정한 상태의 불량률 데이터는 관리도 해석도 왜곡시키므로 MSA 합격이 SPC의 전제 조건입니다.