FDS 도입 효과를 측정하는 지표

그림으로 이해하기

탐지함8건 · 위험 탐지 TP

탐지하지 않음4건 · 위험 미탐 FN

탐지함2건 · 정상 오탐 FP

탐지하지 않음86건 · 정상 TN

개념 설명용 비교 도표 · 제공 기능과 계약 범위는 본문에서 확인하세요.

설명용 가상 데이터입니다. 정밀도 = 8/(8+2) = 80%. 재현율 = 8/(8+4) ≈ 66.7%. 탐지한 행과 실제 위험 열의 분모가 다릅니다.

비교 데이터 표

정밀도와 재현율은 분모가 다릅니다
비교 항목	실제 위험	실제 정상
탐지함	8건 · 위험 탐지 TP	2건 · 정상 오탐 FP
탐지하지 않음	4건 · 위험 미탐 FN	86건 · 정상 TN

정밀도 80%탐지한 10건 중 실제 위험 8건

재현율 약 66.7%실제 위험 12건 중 탐지 8건

먼저 정답의 기준을 정하기

실제로 위험한 거래인지 확인된 결과와 탐지 결과를 비교해야 품질을 평가할 수 있습니다. 미검토 거래를 모두 정상으로 두거나 탐지된 거래만 정답 검토하면 지표가 편향될 수 있습니다. 판단 기준과 관찰 기간을 명시하세요.

정밀도는 탐지한 거래 중 실제 위험으로 확인된 비율이고, 재현율은 실제 위험 거래 중 탐지한 비율입니다. 전체 실제 위험 거래 수를 알 수 없다면 재현율을 정확히 계산했다고 주장할 수 없습니다.

예를 들어 100건을 탐지해 모두 검토했고 20건이 위험으로 확인되었다면 해당 표본의 정밀도는 20%입니다. 그러나 미탐지 거래에서 위험 사례가 몇 건인지 모르므로 이 결과만으로 재현율을 구할 수 없습니다.

정상 거래 전체 중 잘못 탐지한 비율과, 탐지 목록 중 정상인 비율은 분모가 다릅니다. 보고서에는 계산식을 같이 적으세요. 운영 관점에서는 최초 탐지부터 확인까지의 시간, 검토 대기 건수와 재처리 건수도 유용합니다.

동일 기간·가맹점·통화 조건에서 규칙 변경 전후를 비교하고, 행사나 데이터 누락 같은 외부 요인을 분리합니다. 거래 건수 기준과 금액 기준의 효과도 다를 수 있습니다. 작은 표본에서 나온 개선을 전체 서비스 정확도로 홍보하지 말고 적용 범위와 한계를 함께 기록하세요.

가상으로 실제 위험 25건 중 20건을 찾아 탐지 100건에 포함했다면 정밀도는 20/100=20%, 재현율은 20/25=80%입니다. 실제 위험 총수 25를 모르는 표본에서는 두 번째 값을 보고할 수 없습니다.

이 사례는 실측 성능이나 실제 고객 자료가 아닙니다. 제품의 적용 범위는 GUARDIAN 공개 운영 가이드를 기준으로 확인합니다.

설명용 혼동 행렬
실제 상태	탐지	미탐지
위험	20	5
정상	80	895

정밀도는 탐지 중 실제 위험의 비율이고 재현율은 전체 실제 위험 중 탐지한 비율입니다. 미탐지 거래의 정답을 모르면 재현율을 계산할 수 없으며, 업무량 감소와 탐지 품질을 별도로 측정해야 합니다. [GUARDIAN 공개 운영 가이드]
가상으로 실제 위험 25건 중 20건을 찾아 탐지 100건에 포함했다면 정밀도는 20/100=20%, 재현율은 20/25=80%입니다. 실제 위험 총수 25를 모르는 표본에서는 두 번째 값을 보고할 수 없습니다. (가상 예시) [이 문서의 가상 검증 사례]