Šališkumas nėra vienintelė kredito balų problema – ir ne, AI negali padėti

Ponia Tech | Cindy Tang / Unsplash

Jau žinojome, kad šališki duomenys ir šališki algoritmai iškreipia automatinį sprendimų priėmimą taip, kad būtų nepalankios mažas pajamas gaunančios ir mažumų grupės. Pavyzdžiui, bankų naudojama programinė įranga Numatymas, ar kas nors grąžins kredito kortelės skolą, paprastai teikia pirmenybę turtingesniems baltaodžiams pareiškėjams. Daugelis tyrėjų ir daugybė naujų įmonių bando išspręsti problemą kad šie algoritmai būtų teisingesni .

Susijusi istorija

Artėjantis karas prieš paslėptus algoritmus, įstrigusius žmones skurde Didėjanti teisininkų grupė atskleidžia, naršo ir kovoja su automatizuotomis sistemomis, neleidžiančiomis skurdžių būstų, darbo vietų ir pagrindinių paslaugų.

Tačiau į didžiausias kada nors atliktas realaus pasaulio hipotekos duomenų tyrimas , ekonomistai Laura Blattner iš Stanfordo universiteto ir Scottas Nelsonas iš Čikagos universiteto rodo, kad mažumos ir daugumos grupių hipotekos patvirtinimo skirtumai priklauso ne tik nuo šališkumo, bet ir dėl to, kad mažumos ir mažas pajamas gaunančios grupės turi mažiau duomenų savo kredituose. istorijos.

Tai reiškia, kad kai šie duomenys naudojami kredito balui apskaičiuoti, o šis kredito balas naudojamas numatant paskolos įsipareigojimų neįvykdymą, prognozė bus ne tokia tiksli. Būtent šis netikslumas lemia nelygybę, o ne tik šališkumą.

Pasekmės yra ryškios: teisingesni algoritmai problemos neišspręs.

Tai tikrai stulbinantis rezultatas, sako Asheshas Rambachanas, Harvardo universitete studijuojantis mašininį mokymąsi ir ekonomiką, tačiau tyrime nedalyvavęs. Šališkumas ir nevienodi kredito įrašai jau kurį laiką buvo karštos problemos, tačiau tai pirmasis didelio masto eksperimentas, kuriame nagrinėjamos milijonų tikrų žmonių paskolos paraiškos.

Kredito balai sujungia daugybę socialinių ir ekonominių duomenų, tokių kaip darbo istorija, finansiniai įrašai ir pirkimo įpročiai, į vieną skaičių. Kredito balai dabar naudojami ne tik sprendžiant dėl ​​paskolos paraiškų, bet ir priimant daugelį gyvenimą keičiančių sprendimų, įskaitant sprendimus dėl draudimo, nuomos ir būsto.

Siekdami išsiaiškinti, kodėl hipotekos skolintojai skirtingai traktavo mažumos ir daugumos grupes, Blattneris ir Nelsonas surinko 50 milijonų anoniminių JAV vartotojų kredito ataskaitas ir susiejo kiekvieną iš šių vartotojų su jų socialine ir ekonomine informacija, paimta iš rinkodaros duomenų rinkinio, jų nuosavybės aktų ir hipotekos sandorius ir duomenis apie paskolas suteikusius hipotekos kreditorius.

Viena iš priežasčių, kodėl tai yra pirmasis tokio pobūdžio tyrimas, yra ta, kad šie duomenų rinkiniai dažnai yra nuosavybės teise ir nėra viešai prieinami tyrėjams. Mes nuėjome į kredito biurą ir iš esmės turėjome jiems sumokėti daug pinigų, kad tai padarytume, sako Blattneris.

Triukšmingi duomenys

Tada jie eksperimentavo su skirtingais nuspėjamaisiais algoritmais, siekdami parodyti, kad kredito balai buvo ne tik šališki, bet ir triukšmingi – tai statistinis duomenų terminas, kurio negalima naudoti norint tiksliai prognozuoti. Paimkite mažumos kandidatą, kurio kredito balas yra 620. Neobjektyvioje sistemoje galime tikėtis, kad šis balas visada pervertins to pareiškėjo riziką ir kad tikslesnis balas būtų, pavyzdžiui, 625. Teoriškai šis šališkumas gali būti paaiškintas tam tikrais algoritminiais teigiamais veiksmais, pvz., sumažinant mažumos paraiškų patvirtinimo slenkstį.

Susijusi istorija

Podcast: ar AI gali pataisyti jūsų kreditą?

Kredito vertinimo automatizavimo poveikis apima ne tik finansus

Tačiau Blattneris ir Nelsonas rodo, kad koregavimas dėl šališkumo neturėjo jokios įtakos. Jie nustatė, kad mažumos pareiškėjos 620 balų iš tikrųjų buvo prastas jos kreditingumo rodiklis, tačiau taip yra todėl, kad klaida gali būti abipusė: 620 gali būti 625 arba 615.

Šis skirtumas gali atrodyti subtilus, bet jis svarbus. Kadangi netikslumas atsiranda dėl duomenų triukšmo, o ne dėl duomenų naudojimo būdo, jo negalima ištaisyti naudojant geresnius algoritmus.

Tai savaime besitęsiantis ciklas, sako Blattneris. Mes suteikiame paskolas netinkamiems žmonėms, o dalis gyventojų niekada neturi galimybės kaupti duomenų, reikalingų norint suteikti jiems paskolą ateityje.

Tada Blattneris ir Nelsonas bandė įvertinti, kokia didelė problema. Jie sukūrė savo hipotekos skolintojo prognozavimo įrankio modeliavimą ir įvertino, kas būtų nutikę, jei pasienio pareiškėjų, kurie buvo priimti arba atmesti dėl netikslių balų, sprendimai būtų pakeisti. Norėdami tai padaryti, jie naudojo įvairius metodus, pvz., palygino atmestus pareiškėjus su panašiais, kurie buvo priimti, arba žiūrėjo į kitas kredito linijas, kurias gavo atmesti pareiškėjai, pvz., paskolas automobiliui.

Sudėjus visa tai, jie įtraukė šiuos hipotetinius tikslius paskolos sprendimus į savo modeliavimą ir dar kartą išmatavo skirtumą tarp grupių. Jie nustatė, kad kai buvo manoma, kad sprendimai dėl mažumų ir mažas pajamas gaunančių pareiškėjų yra tokie pat tikslūs, kaip ir dėl turtingesnių, baltųjų, skirtumai tarp grupių sumažėjo 50%. Mažumos pareiškėjai beveik pusę šio pelno gavo pašalinus klaidas, kai pareiškėjas turėjo būti patvirtintas, bet nebuvo patvirtintas. Mažas pajamas gaunantys pareiškėjai pastebėjo mažesnį pelną, nes jį kompensavo pašalinus klaidas, kurios buvo priešingos: pareiškėjai, kurie turėjo būti atmesti, bet nebuvo atmesti.

Blattneris pažymi, kad šio netikslumo pašalinimas būtų naudingas skolintojams ir nepakankamai aptarnaujamiems pareiškėjams. Ekonominis požiūris leidžia mums reikšmingai įvertinti triukšmingų algoritmų išlaidas, sako ji. Galime įvertinti, kiek dėl to įvyksta netinkamo kredito paskirstymo.

Klaidų ištaisymas

Tačiau išspręsti problemą nebus lengva. Yra daug priežasčių, kodėl mažumų grupės turi triukšmingus kredito duomenis, sako Rashida Richardson, teisininkė ir mokslininkė, studijuojanti technologijas ir lenktynes ​​Šiaurės rytų universitete. Ji teigia, kad dėl nepasitikėjimo bankinėmis institucijomis tam tikros bendruomenės gali neieškoti tradicinių kreditų, dėl to kyla dar sudėtingesnių socialinių pasekmių. Bet koks pataisymas turės būti susijęs su pagrindinės priežastys . Norint pakeisti daugybę kartų padarytą žalą, reikės daugybės sprendimų, įskaitant naujus bankininkystės reglamentus ir investicijas į mažumų bendruomenes: sprendimai nėra paprasti, nes jie turi spręsti tiek daug skirtingų blogų politikos krypčių ir praktikos.

Susijusi istorija

Nuspėjamieji policijos algoritmai yra rasistiniai. Juos reikia išmontuoti. Skaidrumo trūkumas ir neobjektyvūs mokymo duomenys reiškia, kad šios priemonės netinkamos pagal paskirtį. Jei negalime jų ištaisyti, turėtume jų atsisakyti.

Vienas iš trumpalaikių variantų gali būti vyriausybei tiesiog priversti skolintojus priimti paskolų išdavimo mažumos prašytojams, kurie yra atmesti pagal jų algoritmus, riziką. Tai leistų skolintojams pirmą kartą pradėti rinkti tikslius duomenis apie šias grupes, o tai būtų naudinga tiek pareiškėjams, tiek skolintojams ilgainiui.

Keletas mažesnių skolintojų jau pradeda tai daryti, sako Blattner: Jei esami duomenys jums daug nepasako, išeikite ir pasiskolinkite ir sužinokite apie žmones. Rambachanas ir Richardsonas taip pat mano, kad tai būtinas pirmasis žingsnis. Tačiau Rambachanas mano, kad didesniems skolintojams prireiks kultūrinių pokyčių. Jis sako, kad ši idėja yra labai prasminga duomenų mokslo miniai. Tačiau kai jis kalbasi su tomis bankų komandomis, jos pripažįsta, kad tai nėra įprastas požiūris. Jie atsidūsta ir pasakys, kad niekaip negali to paaiškinti verslo komandai, sako jis. Ir aš nesu tikras, koks yra to sprendimas.

Blattneris taip pat mano, kad kredito balai turėtų būti papildyti kitais duomenimis apie pareiškėjus, pavyzdžiui, banko operacijas. Ji džiaugiasi neseniai paskelbtu kelių bankų, įskaitant JPMorgan Chase, pranešimu, kad jie pradės dalytis duomenimis apie savo klientų banko sąskaitas kaip papildomą informacijos šaltinį asmenims, turintiems prastą kredito istoriją. Tačiau reikės daugiau tyrimų, kad pamatytume, kokį skirtumą tai duos praktikoje. Ir sergėtojai turės užtikrinti, kad didesnė galimybė gauti kreditą neatsirastų kartu su grobuonišku skolinimu, sako Richardsonas.

Daugelis žmonių dabar žino apie šališkų algoritmų problemas, sako Blattner. Ji nori, kad žmonės pradėtų kalbėti ir apie triukšmingus algoritmus. Dėmesys šališkumui ir įsitikinimas, kad jis turi techninį pataisymą, reiškia, kad mokslininkai gali nepastebėti platesnės problemos.

Richardsonas nerimauja, kad politikos formuotojai bus įtikinti, kad technologijos turi atsakymus, kai jų nėra. Neišsamūs duomenys kelia nerimą, nes norint juos aptikti, mokslininkai turės pakankamai niuansų suprasti visuomenės nelygybę, sako ji. Jei norime gyventi teisingoje visuomenėje, kurioje visi jaustųsi priklausantys ir su jais būtų elgiamasi oriai bei pagarbiai, turime pradėti realistiškai vertinti problemų, su kuriomis susiduriame, sunkumą ir apimtį.

paslėpti