숨어 있던 신호를 되살림
구간 경계 조건이 0/1 이진 피처를 한 구간으로 뭉개 IV 0으로 버리고 있었습니다. 경계를 고치자:
| Bondora | 0.640 → 0.709 |
|---|---|
| 주택담보 | 0.591 → 0.676 |
| GMSC (cv) | 0.783 → 0.850 |
Research · Validation
주장하지 않고,
측정합니다
HACS 엔진은 부도·연체 결과가 기록된 공개 신용 데이터로 학습하고, 학습에 쓰지 않은 데이터로 시험합니다. 모든 수치에는 측정일과 방법이 붙습니다.
4,538,938
결과 라벨이 있는 핵심 데이터 17종
40,048,548
확보·해시 대조한 공개 신용 데이터 52종
4
홀드아웃 AUC 0.70 이상 데이터셋
0.806
대표 홀드아웃 AUC (HELOC)
The data
전 세계 신용 데이터를 한곳에서
UCI, Kaggle, PKDD, 미국 연준 SCF, 세계은행 Findex 등에서 공개 신용 데이터 52종을 확보해 sha256 카탈로그로 대조했습니다. 결과 라벨이 있는 17종이 판별력 측정의 핵심이고, 중복·합성이 의심되는 데이터는 어떤 수치에도 넣지 않습니다.
17
핵심 — 부도·연체 결과 라벨 보유
8
참고 데이터셋
16
보조·피처·파생 데이터
11
중복·합성 의심 — 수치에서 제외
Discrimination · 2026-09-25
데이터셋마다, 씬파일까지
홀드아웃 AUC는 학습에 쓰지 않은 20%로 잽니다. Telco는 한 달 시간 외(OOT), Bondora·LendingClub·L&T·Prosper는 시간 10분위로 뒤쪽을 떼어 시험합니다. 오른쪽 점은 신용 이력이 얇은 사람(Thin-file)만 따로 잰 값입니다.
홀드아웃 AUC · Thin-file AUC
막대 = 대표 AUC, 점 = Thin-file AUC, 점선 = 목표 0.70
KPI 종합결과보고서 6.3 · 2026-09-25 재측정
| 데이터셋 | 행 | 부도율 | 대표 AUC | 외부·플랫폼 점수 포함 | Thin-file AUC |
|---|---|---|---|---|---|
| HELOC (FICO) | 10,459 | 52.2% | 0.806 | 0.809 | 0.773 |
| Telco 마이크로크레딧 | 168,919 | 15.5% | 0.769 OOT | — | 0.687 |
| Taiwan | 30,000 | 22.1% | 0.768 | — | 0.717 |
| Bondora | 99,999 | 52.5% | 0.709 | 0.705 | 0.551 |
| 주택담보 | 148,670 | 24.6% | 0.676 | — | — |
| Prosper | 38,960 | 31.2% | 0.670 | 0.707 | 0.670 |
| Home Credit | 307,511 | 8.1% | 0.662 | 0.737 | 0.670 |
| LendingClub | 336,776 | 14.8% | 0.629 | 0.691 | 0.570 |
| L&T | 233,154 | 21.7% | 0.567 | 0.588 | 0.578 |
| GMSC | 150,000 | 6.7% | cv 0.850 | — | 0.737 |
목표(공개 데이터 3종 이상 0.70, 대표 1종 0.75)를 넘어 4종이 0.70 이상, 대표 0.806입니다. 신청서 정보만으로는 어려운 데이터셋이 있다는 사실이 곧 대안 데이터 축이 필요한 이유입니다.
How the AUC went up
AUC를 끌어올린 세 가지
1,152개 후보, 사전 기록한 규칙
운영 배점표 후보 1,152개를 탐색하되, 선택 규칙을 먼저 기록하고 같은 표본을 200번 다시 뽑아(부트스트랩) 구한 95% 신뢰구간으로 각 조정의 효과를 확인했습니다.
| Taiwan | GMSC | Home Credit | |
|---|---|---|---|
| v1 | 0.728 | 0.676 | 0.599 |
| v2 | 0.737 | 0.813 | 0.600 |
| v3 레벨 1 | 0.742 | 0.819 | 0.666 |
거절된 사람까지 읽기
승인된 사람만으로 학습하면 거절자의 위험을 놓칩니다. Home Credit에서 하위 30%를 거절로 가정하고 파셀링으로 재평가하자 판별력이 올라갔습니다.
0.639 → 0.656
Beyond AUC
순서만이 아니라, 확률도 맞습니다
KS는 정상·부실 분포가 가장 벌어지는 정도, ECE는 예측 확률과 실제 부실률의 차이(보정), Brier는 확률 예측의 제곱오차입니다.
| 데이터셋 | KS | ECE | Brier |
|---|---|---|---|
| Telco | 0.558 | — | — |
| GMSC | 0.545 | — | — |
| HELOC | 0.454 | 0.041 | 0.181 |
| Taiwan | 0.393 | 0.020 | 0.139 |
| Home Credit | 0.233 | 0.002 | 0.071 |
| LendingClub | 0.194 | 0.014 | — |
Model governance
통과하지 못하면, 운영에 오르지 못합니다
모든 통계 모델은 DRAFT → CHALLENGER → CHAMPION → RETIRED 생애주기를 거칩니다. 승격 게이트를 모두 통과해도 마지막 버튼은 사람이 누릅니다.
Blend
통계 비중 λ ≤ 0.70
λ = min(관측된 피처 비율, 0.70). 검증된 챔피언이 있을 때만 로짓 공간에서 전문가 규칙과 결합하고, 보수 마진(MoC ≤ 1.25 logit)을 둡니다.
Refresh
새 라벨 100건마다
새 결과 라벨이 100건 이상 쌓이면 재학습, 50행 이상이면 보정. 드리프트(PSI)와 공정성(AIR 4/5)을 함께 감시합니다.
Provenance
3,000건 판정, 재현 30/30
모델 버전 · 정책 버전 · 피처 스냅샷 · 해시가 체인으로 묶입니다. 기록된 판정을 다시 계산해 비트 단위로 일치함을 확인했습니다.
Methodology
은행 표준 스코어카드의 수학
01 · WOE
WOE = ln(%good / %bad)
구간별 증거 가중치. 빈 구간에는 라플라스 +0.5.
02 · IV
IV = Σ(%good − %bad)·WOE
예측력 없는 변수를 탈락시키고, 위험 방향이 뒤집히는 인접 구간은 단조 병합합니다.
03 · Logistic
logOdds = β₀ + Σβⱼ·WOEⱼ
IRLS + 릿지 정규화. 피처 선택도 교차검증 폴드 안에서 해 정보 누출을 막습니다.
04 · Scaling
PD = 1 / (1 + 50·2^((s−600)/20))
Siddiqi 스케일링: 기준점수 600, PDO 20, 기준오즈 50:1.
Engineering quality
엔진은 코드로 증명됩니다
2,432
백엔드 테스트 · 실패 0
287
앱 테스트 통과
216
관리자 콘솔 테스트 통과
26/28
외부 검수 지적 반영 (2026-09-07)