ຟື້ນສັນຍານທີ່ເຊື່ອງຢູ່ຄືນມາ
ເງື່ອນໄຂຂອບເຂດຂອງຊ່ວງ ໄດ້ລວມ feature ແບບສອງຄ່າ 0/1 ເຂົ້າເປັນຊ່ວງດຽວ ແລະ ຖິ້ມໄປດ້ວຍ IV 0. ເມື່ອແກ້ໄຂຂອບເຂດແລ້ວ:
| Bondora | 0.640 → 0.709 |
|---|---|
| ເງິນກູ້ທີ່ຢູ່ອາໄສ | 0.591 → 0.676 |
| GMSC (cv) | 0.783 → 0.850 |
Research · Validation
ບໍ່ອ້າງ,
ແຕ່ວັດແທກ
ເຄື່ອງຈັກ HACS ຮຽນຮູ້ຈາກຂໍ້ມູນສິນເຊື່ອສາທາລະນະທີ່ບັນທຶກຜົນການຜິດນັດຊຳລະ ແລະ ການຄ້າງຊຳລະ, ແລະ ທົດສອບດ້ວຍຂໍ້ມູນທີ່ບໍ່ໄດ້ໃຊ້ໃນການຮຽນຮູ້. ທຸກຕົວເລກມີວັນທີວັດແທກ ແລະ ວິທີການກຳກັບໄວ້.
4,538,938
ຂໍ້ມູນຫຼັກ 17 ຊຸດ ທີ່ມີປ້າຍກຳກັບຜົນລັບ
40,048,548
ຂໍ້ມູນສິນເຊື່ອສາທາລະນະ 52 ຊຸດ ທີ່ເກັບໄດ້ ແລະ ກວດທຽບ hash ແລ້ວ
4
ຊຸດຂໍ້ມູນທີ່ມີ AUC holdout 0.70 ຂຶ້ນໄປ
0.806
AUC holdout ຕົວແທນ (HELOC)
The data
ຂໍ້ມູນສິນເຊື່ອທົ່ວໂລກ ຢູ່ໃນບ່ອນດຽວ
ພວກເຮົາໄດ້ເກັບຂໍ້ມູນສິນເຊື່ອສາທາລະນະ 52 ຊຸດ ຈາກ UCI, Kaggle, PKDD, SCF ຂອງທະນາຄານກາງສະຫະລັດ, Findex ຂອງທະນາຄານໂລກ ແລະ ອື່ນໆ ແລ້ວກວດທຽບດ້ວຍແຄັດຕາລັອກ sha256. 17 ຊຸດທີ່ມີປ້າຍກຳກັບຜົນລັບ ເປັນຫຼັກໃນການວັດແທກຄວາມສາມາດຈຳແນກ, ແລະ ຂໍ້ມູນທີ່ສົງໄສວ່າຊ້ຳກັນ ຫຼື ເປັນຂໍ້ມູນສັງເຄາະ ຈະບໍ່ຖືກນຳໃສ່ຕົວເລກໃດໆ.
17
ຫຼັກ — ມີປ້າຍກຳກັບຜົນການຜິດນັດຊຳລະ ແລະ ການຄ້າງຊຳລະ
8
ຊຸດຂໍ້ມູນອ້າງອີງ
16
ຂໍ້ມູນເສີມ · ຂໍ້ມູນ feature · ຂໍ້ມູນທີ່ສ້າງຕໍ່
11
ສົງໄສວ່າຊ້ຳກັນ ຫຼື ສັງເຄາະ — ຕັດອອກຈາກຕົວເລກ
Discrimination · 2026-09-25
ທຸກຊຸດຂໍ້ມູນ ຈົນເຖິງ thin-file
AUC holdout ວັດແທກດ້ວຍ 20% ທີ່ບໍ່ໄດ້ໃຊ້ໃນການຮຽນຮູ້. Telco ທົດສອບນອກຊ່ວງເວລາ (OOT) ໜຶ່ງເດືອນ, ສ່ວນ Bondora·LendingClub·L&T·Prosper ແບ່ງເວລາເປັນ 10 ສ່ວນ ແລ້ວແຍກສ່ວນທ້າຍອອກມາທົດສອບ. ຈຸດທາງຂວາແມ່ນຄ່າທີ່ວັດແທກແຍກສະເພາະຄົນທີ່ມີປະຫວັດສິນເຊື່ອໜ້ອຍ (Thin-file).
AUC holdout · Thin-file AUC
ແທ່ງ = AUC ຕົວແທນ, ຈຸດ = Thin-file AUC, ເສັ້ນປະ = ເປົ້າໝາຍ 0.70
ບົດລາຍງານຜົນລວມ KPI 6.3 · ວັດແທກຄືນ 2026-09-25
| ຊຸດຂໍ້ມູນ | ແຖວ | ອັດຕາຜິດນັດຊຳລະ | AUC ຕົວແທນ | ລວມຄະແນນພາຍນອກ·ແພລດຟອມ | Thin-file AUC |
|---|---|---|---|---|---|
| HELOC (FICO) | 10,459 | 52.2% | 0.806 | 0.809 | 0.773 |
| Telco ສິນເຊື່ອຈຸລະພາກ | 168,919 | 15.5% | 0.769 OOT | — | 0.687 |
| Taiwan | 30,000 | 22.1% | 0.768 | — | 0.717 |
| Bondora | 99,999 | 52.5% | 0.709 | 0.705 | 0.551 |
| ເງິນກູ້ທີ່ຢູ່ອາໄສ | 148,670 | 24.6% | 0.676 | — | — |
| Prosper | 38,960 | 31.2% | 0.670 | 0.707 | 0.670 |
| Home Credit | 307,511 | 8.1% | 0.662 | 0.737 | 0.670 |
| LendingClub | 336,776 | 14.8% | 0.629 | 0.691 | 0.570 |
| L&T | 233,154 | 21.7% | 0.567 | 0.588 | 0.578 |
| GMSC | 150,000 | 6.7% | cv 0.850 | — | 0.737 |
ເກີນເປົ້າໝາຍ (ຂໍ້ມູນສາທາລະນະ 3 ຊຸດຂຶ້ນໄປໄດ້ 0.70, ຊຸດຕົວແທນ 1 ຊຸດໄດ້ 0.75): 4 ຊຸດໄດ້ 0.70 ຂຶ້ນໄປ ແລະ ຊຸດຕົວແທນໄດ້ 0.806. ການທີ່ມີຊຸດຂໍ້ມູນທີ່ຍາກ ເມື່ອໃຊ້ພຽງຂໍ້ມູນໃນໃບຄຳຮ້ອງ ກໍຄືເຫດຜົນທີ່ຕ້ອງມີແກນຂໍ້ມູນທາງເລືອກ.
How the AUC went up
ສາມຢ່າງທີ່ຍົກ AUC ໃຫ້ສູງຂຶ້ນ
1,152 ຕົວເລືອກ, ກົດທີ່ບັນທຶກໄວ້ລ່ວງໜ້າ
ສຳຫຼວດຕົວເລືອກຕາຕະລາງໃຫ້ຄະແນນທີ່ໃຊ້ງານຈິງ 1,152 ແບບ ໂດຍບັນທຶກກົດການເລືອກໄວ້ກ່ອນ, ແລະ ຢືນຢັນຜົນຂອງແຕ່ລະການປັບດ້ວຍຊ່ວງຄວາມເຊື່ອໝັ້ນ 95% ຈາກການສຸ່ມຕົວຢ່າງເດີມຄືນ 200 ຄັ້ງ (bootstrap).
| Taiwan | GMSC | Home Credit | |
|---|---|---|---|
| v1 | 0.728 | 0.676 | 0.599 |
| v2 | 0.737 | 0.813 | 0.600 |
| v3 ລະດັບ 1 | 0.742 | 0.819 | 0.666 |
ອ່ານໄປເຖິງຄົນທີ່ຖືກປະຕິເສດ
ຖ້າຮຽນຮູ້ຈາກຄົນທີ່ໄດ້ຮັບອະນຸມັດເທົ່ານັ້ນ ຈະພາດຄວາມສ່ຽງຂອງຄົນທີ່ຖືກປະຕິເສດ. ໃນ Home Credit ເມື່ອສົມມຸດວ່າ 30% ລຸ່ມສຸດຖືກປະຕິເສດ ແລ້ວປະເມີນຄືນດ້ວຍວິທີ parceling ຄວາມສາມາດຈຳແນກກໍສູງຂຶ້ນ.
0.639 → 0.656
Beyond AUC
ບໍ່ພຽງແຕ່ລຳດັບ ແຕ່ຄວາມໜ້າຈະເປັນກໍຖືກຕ້ອງ
KS ແມ່ນລະດັບທີ່ການແຈກຢາຍຂອງກຸ່ມປົກກະຕິ ແລະ ກຸ່ມໜີ້ເສຍຫ່າງກັນຫຼາຍທີ່ສຸດ, ECE ແມ່ນຄວາມແຕກຕ່າງລະຫວ່າງຄວາມໜ້າຈະເປັນທີ່ຄາດຄະເນ ແລະ ອັດຕາໜີ້ເສຍຕົວຈິງ (calibration), Brier ແມ່ນຄວາມຜິດພາດກຳລັງສອງຂອງການຄາດຄະເນຄວາມໜ້າຈະເປັນ.
| ຊຸດຂໍ້ມູນ | KS | ECE | Brier |
|---|---|---|---|
| Telco | 0.558 | — | — |
| GMSC | 0.545 | — | — |
| HELOC | 0.454 | 0.041 | 0.181 |
| Taiwan | 0.393 | 0.020 | 0.139 |
| Home Credit | 0.233 | 0.002 | 0.071 |
| LendingClub | 0.194 | 0.014 | — |
Model governance
ຖ້າບໍ່ຜ່ານ ກໍບໍ່ໄດ້ຂຶ້ນໃຊ້ງານຈິງ
ທຸກແບບຈຳລອງທາງສະຖິຕິ ຜ່ານວົງຈອນຊີວິດ DRAFT → CHALLENGER → CHAMPION → RETIRED. ເຖິງແມ່ນຜ່ານເກນການຍົກລະດັບທັງໝົດແລ້ວ ປຸ່ມສຸດທ້າຍກໍຍັງເປັນຄົນກົດ.
Blend
ນ້ຳໜັກສະຖິຕິ λ ≤ 0.70
λ = min(ສັດສ່ວນ feature ທີ່ສັງເກດໄດ້, 0.70). ລວມກັບກົດຂອງຜູ້ຊ່ຽວຊານໃນພື້ນທີ່ logit ພຽງເມື່ອມີ champion ທີ່ຜ່ານການກວດສອບແລ້ວ, ແລະ ມີສ່ວນເຜື່ອແບບລະມັດລະວັງ (MoC ≤ 1.25 logit).
Refresh
ທຸກໆ 100 ປ້າຍກຳກັບໃໝ່
ເມື່ອປ້າຍກຳກັບຜົນລັບໃໝ່ສະສົມໄດ້ 100 ລາຍການຂຶ້ນໄປ ຈະຮຽນຮູ້ຄືນ, ຖ້າ 50 ແຖວຂຶ້ນໄປ ຈະປັບ calibration. ຕິດຕາມ drift (PSI) ແລະ ຄວາມຍຸຕິທຳ (AIR 4/5) ໄປພ້ອມກັນ.
Provenance
ການຕັດສິນ 3,000 ລາຍການ, ຜະລິດຊ້ຳ 30/30
ເວີຊັນແບບຈຳລອງ · ເວີຊັນນະໂຍບາຍ · snapshot ຂອງ feature · hash ຖືກຜູກເຂົ້າກັນເປັນ chain. ໄດ້ຄຳນວນການຕັດສິນທີ່ບັນທຶກໄວ້ຄືນໃໝ່ ແລະ ຢືນຢັນວ່າກົງກັນທຸກ bit.
Methodology
ຄະນິດສາດຂອງ scorecard ມາດຕະຖານທະນາຄານ
01 · WOE
WOE = ln(%good / %bad)
ນ້ຳໜັກຫຼັກຖານຕາມຊ່ວງ. ຊ່ວງທີ່ຫວ່າງ ໃຊ້ Laplace +0.5.
02 · IV
IV = Σ(%good − %bad)·WOE
ຕັດຕົວແປທີ່ບໍ່ມີອຳນາດການຄາດຄະເນອອກ, ແລະ ລວມຊ່ວງທີ່ຢູ່ຕິດກັນ ທີ່ທິດທາງຄວາມສ່ຽງປີ້ນກັນ ແບບ monotonic.
03 · Logistic
logOdds = β₀ + Σβⱼ·WOEⱼ
IRLS + ridge regularization. ການເລືອກ feature ກໍເຮັດພາຍໃນ fold ຂອງ cross-validation ເພື່ອປ້ອງກັນການຮົ່ວໄຫຼຂອງຂໍ້ມູນ.
04 · Scaling
PD = 1 / (1 + 50·2^((s−600)/20))
ການປັບຂະໜາດແບບ Siddiqi: ຄະແນນອ້າງອີງ 600, PDO 20, odds ອ້າງອີງ 50:1.
Engineering quality
ເຄື່ອງຈັກຖືກພິສູດດ້ວຍໂຄດ
2,432
ການທົດສອບ backend · ລົ້ມເຫຼວ 0
287
ການທົດສອບແອັບທີ່ຜ່ານ
216
ການທົດສອບ admin console ທີ່ຜ່ານ
26/28
ແກ້ໄຂຕາມຂໍ້ສັງເກດຈາກການກວດສອບພາຍນອກ (2026-09-07)