211service.com
Nauju tyrimu siekiama išspręsti AI šališkumo problemą juodosios dėžės algoritmuose
Siobhanas Gallagheris
Nuo atsargų rinkimo iki rentgeno spindulių tyrimo – dirbtinis intelektas vis dažniau naudojamas priimant sprendimus, kurie anksčiau priklausė nuo žmonių. Tačiau dirbtinis intelektas yra tiek pat geri, kiek yra lavinami duomenys, ir daugeliu atvejų mes savo per daug žmogiškus šališkumus paverčiame algoritmais, kurie gali turėti didžiulę įtaką žmonių gyvenimui.
A naujas dokumentas, paskelbtas arXiv , mokslininkai teigia, kad galbūt sugalvojo būdą, kaip sušvelninti problemą pašaliniams sunkiai išnagrinėtais algoritmais – vadinamosiomis juodosios dėžės sistemomis.
Ypatingą nerimą kelianti šališkumo pasireiškimo sritis yra rizikos vertinimo modeliavimas, kuris gali nuspręsti, pavyzdžiui, asmens galimybes gauti užstatą arba patvirtinti paskolą. Paprastai tokiais atvejais yra neteisėta atsižvelgti į tokius veiksnius kaip rasė, tačiau algoritmai gali išmokti atpažinti ir išnaudoti faktą, kad asmens išsilavinimo lygis arba namų adresas gali koreliuoti su kita demografine informacija, o tai gali veiksmingai paveikti rasinį ir kitą šališkumą.
Šią problemą dar labiau apsunkina tai, kad daugelis AI, naudojamų šiems pasirinkimams, yra juodosios dėžės – arba jos yra per sudėtingos, kad būtų lengva suprasti, arba tai patentuoti algoritmai, kuriuos įmonės atsisako paaiškinti. Tyrėjai dirbo kurdami įrankius, kad galėtų pažvelgti į tai, kas vyksta po gaubtu , tačiau problema yra plačiai paplitusi ir auga (žr. Šališki algoritmai yra visur ir niekas, atrodo, nerūpi).
Straipsnyje Sarah Tan (kuri tuo metu dirbo „Microsoft“) ir kolegos išbandė savo metodą naudodami du „juodosios dėžės“ rizikos vertinimo modelius: vieną apie paskolų riziką ir įsipareigojimų neįvykdymo rodiklius iš peer-to-peer bendrovės „LendingClub“, o kitą iš „Northpointe“. , bendrovė, teikianti algoritmais pagrįstas paslaugas teismams visoje šalyje, numatanti kaltinamųjų pakartotinio nusikalstamumo riziką.
Tyrėjai naudojo dvipusį metodą, norėdami išsiaiškinti, kaip veikia šie potencialiai šališki algoritmai. Pirma, jie sukūrė modelį, kuris imituoja tiriamą juodosios dėžės algoritmą ir pateikia rizikos balą, pagrįstą pradiniu duomenų rinkiniu, kaip tai padarytų LendingClub ir Northpointe. Tada jie sukūrė antrą modelį, kurį apmokė pagal realius rezultatus, naudodami jį norėdami nustatyti, kurie pradinio duomenų rinkinio kintamieji buvo svarbūs galutiniams rezultatams.
„LendingClub“ atveju mokslininkai išanalizavo duomenis apie daugybę 2007–2011 m. grąžintų paskolų. „LendingClub“ duomenų bazėje buvo daug skirtingų laukų, tačiau tyrėjai nustatė, kad įmonės skolinimo modelis greičiausiai nepaisė tiek pareiškėjo metinių pajamų, tiek paskolos tikslo. . Pajamas gali būti prasminga ignoruoti, nes apie jas pranešama savarankiškai ir jos gali būti padirbtos. Tačiau paskolos paskirtis labai koreliuoja su rizika – paskolos mažoms įmonėms yra daug rizikingesnės nei, pavyzdžiui, vestuvėms. Taigi atrodė, kad „LendingClub“ ignoravo svarbų kintamąjį.
Tuo tarpu Northpointe teigia, kad jos COMPAS algoritmas, teikdamas rekomendacijas dėl bausmės, neįtraukia rasės kaip kintamojo. Tačiau tyrime, kurį atliko ProPublica , žurnalistai rinko rasinę informaciją apie kaltinamuosius, kurie buvo nuteisti padedant COMPAS, ir rado rasinio šališkumo įrodymų. Savo mimikos modelyje tyrėjai naudojo „ProPublica“ surinktus duomenis, taip pat informaciją apie kaltinamųjų amžių, lytį, kaltinimo laipsnį, ankstesnių teistumų skaičių ir ankstesnio buvimo kalėjime trukmę. Metodas sutapo su ProPublica išvadomis, o tai rodo, kad COMPAS greičiausiai buvo šališkas kai kurioms amžiaus ir rasinėms grupėms.
Kritikai gali pabrėžti, kad tai nėra tikslios kopijos – dėl būtinybės tyrėjai padarė daug pagrįstų spėjimų. Tačiau jei algoritmą kurianti įmonė nenori skelbti informacijos apie tai, kaip veikia jos sistema, aproksimavimo modeliai, tokie kaip šiame tyrime, yra tinkamas būdas gauti įžvalgos, sako Masačusetso universiteto docentas Brendanas O'Connoras. , Amherstas, kuris paskelbė straipsnį apie šališkumą natūralios kalbos apdorojime.
Turime žinoti, kad tai vyksta, ir neužmerkti akių ir elgtis taip, lyg tai neįvyktų, sako O'Connor.