211service.com
AI padidino rasinį šališkumą būsto srityje. Ar tai galėtų padėti jį pašalinti?
Diskusija apie tai, ar mašinos kada nors gali būti teisingesnės už žmones. 2020 m. spalio 20 d
Andrea Daquino
Būsimas mūsų žurnalo numeris yra skirtas ilgalaikėms problemoms. Keletas problemų yra ilgalaikės arba labiau neįveikiamos nei Amerikos sisteminė rasinė nelygybė. O ypač įsišaknijusi jos forma – diskriminacija būsto atžvilgiu.
Ilga bankų, draudimo kompanijų ir nekilnojamojo turto brokerių vykdomų polisų istorija atmetė spalvotiems žmonėms galimybę turėti nuosavą būstą, sutelkti turtus ir nuosavybę baltųjų žmonių ir bendruomenių rankose ir išlaikyti de facto segregaciją. Nors ši politika – tokiais pavadinimais kaip redlining, blockbusting, rasinis zonavimas, ribojančios sutartys ir rasinis valdymas – nebėra teisėta, jos pasekmės išlieka ir kartais vis dar vykdomos slaptai ar netyčia.
Ši istorija buvo mūsų 2020 m. lapkričio mėn. numerio dalis
- Žr. likusią numerio dalį
- Prenumeruoti
Technologijos kai kuriais atvejais sustiprino Amerikos sisteminį rasinį šališkumą. Pavyzdžiui, buvo įrodyta, kad algoritmu pagrįstas veido atpažinimas, nuspėjamoji policija ir sprendimai dėl bausmių ir užstato nuolat duoda blogesnių rezultatų juodaodžiams. Taip pat neseniai Kalifornijos universiteto Berklyje atliktas tyrimas parodė, kad dirbtiniu intelektu pagrįsta hipotekos skolinimo sistema juodaodžiams ir ispanams skolininkams taikė aukštesnius tarifus nei baltiesiems už tas pačias paskolas.
Ar būtų galima panaudoti technologiją, kuri padėtų sumažinti būsto šališkumą? Subūrėme keletą ekspertų, kad aptartume galimybes. Jie yra:
Lisa Rice
Nacionalinio sąžiningo būsto aljanso, didžiausio organizacijų konsorciumo, siekiančio panaikinti diskriminaciją dėl būsto, prezidentas ir generalinis direktorius.
Bobis Bartlettas
UC Berkeley teisės profesorius, vadovavęs tyrimui, pateikdamas pirmuosius didelio masto įrodymus, kaip dirbtinis intelektas sukuria diskriminaciją hipotekos paskolų srityje.
Charltonas McIlwainas
NYU žiniasklaidos, kultūros ir komunikacijos profesorius ir autorius Juodoji programinė įranga: internetas ir rasinis teisingumas, nuo afroneto iki juodaodžių gyvenimų .
Ši diskusija buvo redaguota ir sutrumpinta siekiant aiškumo.
McIlwain: Kai praeitą gruodį Kongrese liudijau apie automatizavimo ir dirbtinio intelekto poveikį finansinių paslaugų pramonei, cituojau neseniai atliktą tyrimą, kuriame nustatyta, kad, skirtingai nei žmogiškųjų paskolų pareigūnai, automatizuotos hipotekos skolinimo sistemos pakankamai patvirtino būsto paskolas, nediskriminuodamos dėl rasės. Tačiau automatizuotos sistemos vis tiek taiko iš juodaodžių ir ispanų šalių skolininkų gerokai didesnes šių paskolų kainas.
Tai mane verčia skeptiškai vertinti, ar dirbtinis intelektas gali arba padarys ką nors geriau nei žmonės. Bobis – tai buvo tavo studija. Ar padarėte tokias pačias išvadas?
Bartlett: Turėjome prieigą prie duomenų rinkinio, kuris leido mums identifikuoti skolintoją ir tai, ar tas skolintojas naudojo visiškai automatizuotą sistemą, be jokio žmogaus įsikišimo – bent jau patvirtinimo ir pasirašymo atžvilgiu. Turėjome informacijos apie skolininko rasę ir etninę kilmę ir galėjome nustatyti, ar patvirtintų paskolų kainos skiriasi priklausomai nuo rasės. Tiesą sakant, tai padarė maždaug 800 milijonų dolerių per metus.
Kodėl šie algoritmai, kurie yra apakinti skolininko rasei ar etninei kilmei, būtų taip diskriminuojami? Mūsų darbo hipotezė yra ta, kad algoritmai dažnai tiesiog bando padidinti kainą. Tikėtina, kad tas, kuris kuria algoritmą, nežino rasinių pasekmių, susijusių su šio vieningo dėmesio pelningumui. Tačiau jie turi suprasti, kad yra tokia rasinė dinamika, kad jų naudojami tarpiniai kintamieji – greičiausiai čia yra diskriminacija. Tam tikra prasme per kodą veiksmingai pakeičiama raudoniausia rūšis. Tai panašu į tai, kas vyksta hipotekos rinkoje apskritai. Žinome, kad brokeriai mažumos skolininkams pasiūlys didesnes kainas, žinodami, kad kai kurie jų atsisakys, bet kiti greičiausiai sutiks dėl daugybės priežasčių.
McIlwain: Turiu teoriją, kad viena iš priežasčių, kodėl mes sukuriame šališkas sistemas – net kai jos buvo sukurtos taip, kad būtų mažiau diskriminuojančios – yra ta, kad jas kuriantys žmonės iš tikrųjų nesupranta problemos sudėtingumo. Man atrodo, kad yra tam tikras naivumas manyti, kad sistema būtų be šališkumo vien todėl, kad ji yra akla rasei.
Ryžiai: Žinote, Charlton, mes turėjome tą patį požiūrį, kaip jūs 90-aisiais ir 2000-ųjų pradžioje. Uždraudėme finansų įstaigoms naudoti draudimo balų nustatymo, rizika pagrįstos kainodaros ar kredito balų nustatymo sistemų tik šiam tikslui. Supratome, kad pačios sistemos demonstruoja šališkumą. Bet tada pradėjome sakyti, kad galite juos naudoti tik tuo atveju, jei jie padeda žmonėms, išplečia prieigą arba sukuria teisingesnes kainas.
McIlwain: Ar žmonės, kuriantys šias sistemas, klysta, nes tikrai iš esmės nesuvokia pagrindinės būsto diskriminacijos problemos? Ir ar jūsų optimizmo šaltinis kyla iš to, kad jūs ir tokios kaip jūsų organizacijos suprantate šį sudėtingumą?
Ryžiai: Esame pilietinių teisių organizacija. Tokie mes esame. Visą savo darbą atliekame per rasės lygybės objektyvą. Esame antirasizmo organizacija.
Spręsdami pakeitimo ir atvirkštinio pakeitimo atvejus, paskatinome finansų institucijas ir draudimo agentūras permąstyti savo verslo modelius, permąstyti, kaip vykdo rinkodarą, permąstyti draudimo gaires, permąstyti kuriamus produktus. Ir aš manau, kad mes galėjome tai padaryti, nes esame pilietinių teisių agentūra.
Susijusi istorija
Žinoma, technologijos išlaiko rasizmą. Jis buvo sukurtas taip. Juodieji amerikiečiai vėl ir vėl matė technologijas, kurios buvo naudojamos jiems nukreipti. Sustabdyti tai reiškia pažvelgti į problemą kitaip.Pirmiausia padedame korporacijoms suprasti būsto ir finansų istoriją Jungtinėse Valstijose ir tai, kaip visa mūsų būsto ir finansų politika buvo vykdoma per rasinį objektyvą. Negalite pradėti nuo nulio kurdami sistemą ir manyti, kad ta sistema bus teisinga. Turite jį plėtoti taip, kad būtų naudojamos antirasistinės technologijos ir metodikos.
McIlwain: Ar vis dar galime realiai išspręsti šią problemą naudodami turimas technologines priemones? Jei taip, nuo ko pradėti?
Ryžiai: Taip – kai 2008 m. finansų krizė šiek tiek baigėsi ir pažvelgėme į viršų, atrodė, kad technologija mus aplenkė. Taip ir nusprendėme, gal jei nepavyks įveikti, gal prisijungsime. Taigi mes praleidome daug laiko bandydami sužinoti, kaip veikia algoritminės sistemos, kaip veikia AI, ir iš tikrųjų priėjome prie taško, kai manome, kad dabar galime panaudoti technologijas, kad padėtų sumažinti diskriminacinius rezultatus.
Jei suprasime, kaip šiose sistemose atsiranda šališkumo, tikėkimės, galime įsigilinti į vidų, tada panaikinti tų sistemų šališkumą ir sukurti naujas sistemas, kurios įdiegtų jose šalinimo metodus.
Tikrai neturime reguliavimo agentūrų, kurios suprastų, kaip atlikti skolinančios institucijos egzaminą, kad išsiaiškintume, ar jos sistema yra šališka, ar ne.
Tačiau kai pagalvoji, kiek mes atsiliekame nuo kreivės, tikrai baisu pagalvoti apie visus darbus, kuriuos reikia atlikti, visus tyrimus, kuriuos reikia atlikti. Mums reikia daugiau pasaulio bobų. Bet taip pat visas išsilavinimas, kurį reikia atlikti, kad duomenų mokslininkai suprastų šias problemas.
Ryžiai: Mes stengiamės, kad reguliavimo institucijos suprastų, kaip sistemos pasireiškia šališkumu. Žinote, reguliavimo agentūrose tikrai neturime egzaminuotojų, kurie suprastų, kaip atlikti skolinančios institucijos egzaminą, kad išsiaiškintume, ar jos sistema – automatizuota draudimo draudimo sistema, rinkodaros sistema, aptarnavimo sistema – yra, ar ne. šališkas. Tačiau pačios institucijos kuria savo organizacinę politiką, kuri gali padėti.
Kitas dalykas, kurį turime padaryti, yra tikrai didinti technologijų erdvės įvairovę. Turime pritraukti daugiau studentų iš įvairių sluoksnių į STEM sritis ir į technologijų erdvę, kad padėtume įgyvendinti pokyčius. Galiu galvoti apie daugybę pavyzdžių, kai vien tik spalvoto žmogaus įtraukimas į komandą padarė didelį skirtumą, nes padidino kuriamos technologijos teisingumą.
McIlwain: Kokį vaidmenį atlieka politika? Man atrodo, kad taip pat, kaip pilietinių teisių organizacijos atsiliko nuo pramonės supratimo, kaip veikia algoritminės sistemos, daugelis mūsų politikos formuotojų atsilieka nuo kreivės. Nežinau, kiek tikėčiau jų gebėjimu realiai atlikti veiksmingą sistemos patikrinimą arba naujų AI sistemų greitą kelią į hipotekos areną.
McIlwain: Likau skeptiškas. Kol kas, mano nuomone, problemos mastas vis dar gerokai viršija ir mūsų kolektyvinę žmogaus valią, ir mūsų technologijų galimybes. Bobi, ar manote, kad technologijos kada nors gali padėti?
Ši problema?
Bartlett: Turiu atsakyti, kad su advokatu Tai priklauso. Bent jau skolinimo kontekste matome, kad galite pašalinti šališkumo ir diskriminacijos šaltinį, kurį pastebėjote bendraujant akis į akį, priimdami tam tikrus algoritminius sprendimus. Kita pusė yra ta, kad netinkamai įgyvendinus gali susidaryti sprendimų priėmimo aparatas, kuris yra toks pat blogas kaip pertvarkymo režimas. Taigi tai tikrai priklauso nuo vykdymo, technologijos tipo ir priežiūros, su kuriuo ji įdiegta. Bet ar teisingas skolinimo režimas, įgyvendinamas automatizuotu sprendimų priėmimu? Manau, kad tai tikrai sudėtingas pasiūlymas. Ir aš manau, kad ta žiuri vis dar neveikia.