같은 표본에서 오탐과 미탐을 함께 비교
변경 전
변경 후
설명용 가상 데이터입니다. 같은 정상·위험 표본에서 오탐은 6건 줄었지만 위험 미탐은 2건 늘었습니다. 알림 감소만으로 개선을 확정하지 않습니다.
비교 데이터 표
| 비교 항목 | 변경 전 | 변경 후 |
|---|---|---|
| 정상 오탐 | 10건 | 4건 |
| 위험 탐지 | 8건 | 6건 |
| 위험 미탐 | 2건 | 4건 |
정상 인정과 오탐 통계
탐지 후 정상으로 확인된 사례는 개선의 중요한 자료입니다. 그러나 검토하지 않은 사례를 모두 정상으로 처리하면 통계가 왜곡됩니다. 미검토·검토 중·정상 확인·위험 확인을 구분하고 판단 시점도 남기세요.
반복 원인 찾기
특정 업종, 시간대, 행사, 단말기 교체에서 정상 탐지가 반복되는지 살펴봅니다. 입력 중복이나 시간대 오류 같은 데이터 문제는 규칙을 느슨하게 해서 해결하면 안 됩니다. 먼저 데이터 정합성을 복구한 뒤 다시 평가합니다.
변경 전후 비교 예시
금액 기준을 높여 탐지가 100건에서 40건으로 줄었다고 가정합니다. 줄어든 60건 중 위험 사례도 있었다면 단순한 성공이 아닙니다. 같은 검증 표본에서 남은 탐지의 품질과 제외된 사례를 함께 비교합니다.
좁은 변경부터 적용
특정 가맹점의 예외라면 전 고객 공통 규칙을 한꺼번에 완화하지 않습니다. 변경 범위·사유·기간·복원 기준을 기록하고 충분한 운영 표본을 관찰하세요. 실제 정답 데이터가 부족하다면 탐지율 향상이나 정확도를 단정하지 말고 검토량·처리 시간 같은 측정 가능한 지표부터 관리합니다.
가상 검증 사례
가상의 기준 변경으로 탐지가 100건에서 40건으로 줄어도 제외된 60건에 위험 거래 5건이 있다면 누락 비용을 검토해야 합니다. 단순히 검토량 60% 감소를 탐지 정확도 60% 향상으로 보고하지 않습니다.
이 사례는 실측 성능이나 실제 고객 자료가 아닙니다. 제품의 적용 범위는 GUARDIAN 공개 운영 가이드를 기준으로 확인합니다.
주장과 근거
- 오탐 개선은 정상 확인·미검토·검토 중 사례를 구분하는 것부터 시작합니다. 데이터 오류를 먼저 고치고 같은 표본에서 기준 변경으로 줄어든 정상 탐지와 함께 제외된 위험 사례도 확인해야 합니다. [GUARDIAN 공개 운영 가이드]
- 가상의 기준 변경으로 탐지가 100건에서 40건으로 줄어도 제외된 60건에 위험 거래 5건이 있다면 누락 비용을 검토해야 합니다. 단순히 검토량 60% 감소를 탐지 정확도 60% 향상으로 보고하지 않습니다. (가상 예시) [이 문서의 가상 검증 사례]
출처 목록
- GUARDIAN 공개 운영 가이드 · GUARDIAN FDS · 확인
- 이 문서의 가상 검증 사례 · GUARDIAN FDS · 설명용 사례 · 확인