Ar galite padaryti DI teisingesnį už teisėją? Žaiskite mūsų teismo salės algoritminį žaidimą

Selmano dizainas

Vaikystėje ugdote jausmą, ką reiškia teisingumas. Tai sąvoka, kurią išmokstate anksti, kai susitaikote su jus supančiu pasauliu. Kažkas arba atrodo teisingas, arba ne.

Tačiau vis dažniau algoritmai pradėjo spręsti mūsų teisingumą. Jie nusprendžia, kas matys būsto skelbimus, kas bus įdarbintas ar atleistas ir net kas bus pasodintas į kalėjimą. Todėl juos kuriančių žmonių – programinės įrangos inžinierių – prašoma aiškiai išdėstyti, ką reiškia būti sąžiningam savo kode. Štai kodėl reguliuotojai visame pasaulyje dabar grumiasi su klausimu: kaip galite matematiškai įvertinti sąžiningumą?

Ši istorija bando pateikti atsakymą. Ir kad tai padarytume, mums reikia jūsų pagalbos. Peržiūrėsime tikrą algoritmą, pagal kurį buvo nuspręsta, kas bus siunčiamas į kalėjimą, ir paprašysime pakeisti įvairius jo parametrus, kad rezultatai būtų teisingesni. (Nesijaudinkite – nereikia žiūrėti į kodą!)

Algoritmas, kurį mes nagrinėjame yra žinomas kaip COMPAS, ir tai yra viena iš kelių skirtingų rizikos vertinimo priemonių, naudojamų JAV baudžiamojoje teisinėje sistemoje.

Aukšto lygio COMPAS turėtų padėti teisėjams nuspręsti, ar kaltinamasis turi būti laikomas kalėjime, ar jam turi būti leista laukti, kol laukia teismo. Jame mokomasi remiantis istoriniais kaltinamojo duomenimis, siekiant nustatyti sąsajas tarp tokių veiksnių kaip asmens amžius ir istorija su baudžiamąja teisine sistema ir tai, ar asmuo buvo suimtas iš naujo, ar ne. Tada jis naudoja koreliacijas, kad nuspėtų tikimybę, kad teisiamasis bus suimtas už naują nusikaltimą per teismo laukimo laikotarpį.1

Išnaša

• 1. Areštai prieš teistumą

  Šis procesas yra labai netobulas. Įrankiuose areštai naudojami kaip nusikaltimų pavyzdžiai, tačiau iš tikrųjų tarp jų yra didelių neatitikimų, nes policija neproporcingai areštavo rasines mažumas ir manipuliuoja duomenimis. Be to, pakartotinis suėmimas dažnai vykdomas už techninius pažeidimus, pavyzdžiui, neatvykimą į teismą, o ne už pakartotinę nusikalstamą veiklą. Šioje istorijoje mes pernelyg supaprastiname, kad išnagrinėtume, kas nutiktų, jei areštai atitiktų tikrus nusikaltimus.

  
  
  

Ši prognozė žinoma kaip kaltinamojo rizikos balas ir reiškia rekomendaciją: didelės rizikos kaltinamieji turėtų būti įkalinti, kad jie nepadarytų galimos žalos visuomenei; mažos rizikos kaltinamieji turėtų būti paleisti prieš teismą. (Tiesą sakant, teisėjai ne visada sekti šios rekomendacijos, tačiau rizikos vertinimai išlieka įtakingi.)

Rizikos vertinimo priemonių šalininkai teigia, kad jie daro baudžiamąją teisinę sistemą teisingesnę. Jie pakeičia teisėjų intuiciją ir šališkumą, ypač rasinį šališkumą, iš pažiūros objektyvesniu vertinimu. Jie taip pat gali pakeisti užstato siuntimo praktiką JAV, kuri reikalauja, kad kaltinamieji sumokėtų pinigų sumą už jų paleidimą. Užstatas diskriminuoja neturtingus amerikiečius ir neproporcingai paveikia juodaodžius kaltinamuosius, kuriems baudžiamojoje teisinėje sistemoje atstovaujama per daug.

Išnaša

• 2. ProPublica metodika

  Kaltinamiesiems, kurie buvo įkalinti prieš teismą, „ProPublica“ patikrino, ar jie buvo suimti per dvejus metus po paleidimo. Tada ji tai naudojo siekdama apytiksliai įvertinti, ar kaltinamieji būtų buvę suimti dar kartą, jei jie nebūtų buvę įkalinti.

  
  
  

Kaip reikalaujama pagal įstatymus, skaičiuodama rizikos balus COMPAS neįtraukia rasės. Tačiau 2016 m „ProPublica“ tyrimas teigė, kad įrankis buvo vis dar nusiteikęs prieš juodaodžius. ProPublica nustatė, kad tarp kaltinamųjų, kurie niekada nebuvo suimti, juodaodžiai kaltinamieji dvigubai dažniau nei baltieji buvo priskirti didelės rizikos kategorijai COMPAS.2

Taigi dabar mūsų užduotis yra pabandyti patobulinti COMPAS. Pasiruošę?

Pradėkime nuo tas pats duomenų rinkinys kurią „ProPublica“ naudojo savo analizėje. Jame yra visi kaltinamieji, surinkti pagal COMPAS algoritmą Browardo apygardoje, Floridoje, nuo 2013 m. iki 2014 m. Iš viso tai yra daugiau nei 7 200 profilių su kiekvieno asmens vardu, amžiumi, rase ir COMPAS rizikos balu, nurodant, ar asmuo galiausiai buvo suimtas, ar po to paleistas į laisvę arba įkalintas ikiteisminis tyrimas.

Kad duomenis būtų lengviau vizualizuoti, atsitiktine tvarka iš viso rinkinio atrinkome 500 juodai baltų kaltinamųjų.

Kiekvieną kaltinamąjį pavaizdavome kaip tašką.

Atminkite: visi šie taškai yra žmonės, apkaltinti (bet nenuteisti) nusikaltimu. Kai kurie bus įkalinti iki teismo; kiti bus nedelsiant paleisti. Kai kurie iš jų bus suimti iš naujo; kiti to nedarys. Norime palyginti du dalykus: prognozes (kurie kaltinamieji gavo aukštus ir mažus rizikos balus) ir realius rezultatus (kurie kaltinamieji iš tikrųjų buvo suimtas po to, kai buvo paleistas).

COMPAS vertina kaltinamuosius skalėje nuo 1 iki 10, kur 1 apytiksliai atitinka 10 % tikimybę sulaikyti, 2 – 20 % ir pan.

Pažiūrėkime, kaip COMPAS įvertino visus.

Išnaša

• 3. COMPAS balai

  COMPAS buvo sukurtas siekiant sudaryti apibendrintas prognozes apie žmonių grupes, turinčias panašių savybių, o ne prognozuoti konkrečius asmenis. Jo balų metodika ir rekomendacijos, kaip jas naudoti, yra sudėtingesnės, nei turėjome vietos pateikti; apie juos galite perskaityti aukščiau esančioje nuorodoje.

Nors COMPAS gali pasiūlyti tik statistinę tikimybę, kad kaltinamasis bus suimtas dar kartą, teisėjai, žinoma, turi priimti sprendimą „viskas arba nieko“: paleisti ar sulaikyti kaltinamąjį. Šios istorijos tikslais naudosime COMPAS didelės rizikos slenkstį, 7 ar didesnį balą, kad pateiktume rekomendaciją sulaikyti kaltinamąjį.3

Nuo šiol jūs esate atsakingas. Jūsų misija – perkurti paskutinį šio algoritmo etapą, surandant teisingesnę vietą didelės rizikos slenksčiui nustatyti.

Taip atrodys jūsų slenkstis. Pabandykite jį spustelėti ir vilkti aplinkui.

Taigi pirmiausia įsivaizduokime geriausią scenarijų: visi kaltinamieji, kuriems jūsų algoritmas yra priskirtas didelės rizikos balui, bus suimti iš naujo, o visi kaltinamieji, kuriems nustatytas mažas rizikos balas, – ne. Žemiau mūsų grafike pavaizduota, kaip tai gali atrodyti. Užpildyti ratai yra kaltinamieji, kurie buvo suimti iš naujo; tušti ratai yra tie, kurie nebuvo.

Dabar perkelkite slenkstį, kad jūsų algoritmas būtų kuo teisingesnis.

(Kitaip tariant, įkalinti turėtų būti tik pakartotinai suimti kaltinamieji.)

Puiku! Tai buvo lengva. Jūsų slenkstis turėtų būti tarp 6 ir 7. Niekas nebuvo be reikalo sulaikytas ir niekas, kuris buvo paleistas, vėliau nebuvo suimtas.

Tačiau, žinoma, šis idealus scenarijus niekada neįvyksta. Neįmanoma tiksliai numatyti rezultato kiekvienam žmogui. Tai reiškia, kad užpildyti ir tušti taškai negali būti taip tvarkingai atskirti.

Taigi štai kas iš tikrųjų yra suimamas.

Dabar dar kartą perkelkite slenkstį, kad jūsų algoritmas būtų kuo teisingesnis.

(Užuomina: norite maksimaliai padidinti jo tikslumą.)

Pastebėsite, kad nesvarbu, kur nustatysite slenkstį, jis niekada nebūna tobulas: kai kuriuos kaltinamuosius, kurie nesuimami iš naujo, visada įkaliname (tušti taškai dešinėje nuo slenksčio), o kai kuriuos kaltinamuosius paleidžiame (užpildome taškais kairėje nuo slenksčio). Tai yra kompromisas, su kuriuo mūsų baudžiamoji teisinė sistema visada sprendė, ir tai nesiskiria, kai naudojame algoritmą.

Kad šie kompromisai būtų aiškesni, pažiūrėkime, kiek procentų klaidingų prognozių daro COMPAS kiekviena pusė slenksčio, o ne tik matuoti bendrą tikslumą. Dabar galėsime aiškiai matyti, ar mūsų slenkstis yra palankus be reikalo laikyti žmones kalėjime ar paleisti žmones, kurie vėliau suimami.4 Atkreipkite dėmesį, kad COMPAS numatytasis slenkstis yra palankus pastariesiems.

Išnaša

• 4. Techniniai apibrėžimai

  Šie du klaidų procentai taip pat žinomi kaip klaidingai neigiamas rodiklis (kurį pažymėjome kaip paleistas, bet vėl sulaikytas) ir klaidingai teigiamų rezultatų rodiklis (kurį pažymėjome kaip be reikalo įkalintą).

Kaip turėtume teisingai subalansuoti šį kompromisą? Nėra universalaus atsakymo, bet 1760-aisiais Anglijos teisėjas Williamas Blackstone'as rašė: Geriau, kad dešimt kaltų pabėgtų, nei vienas nekaltas kentėtų.

Blackstone santykis ir šiandien yra labai įtakingas JAV. Taigi panaudokime jį įkvėpimui.

Perkelkite slenkstį į tai, kad paleistų, bet vėl suimtų procentas yra maždaug 10 kartų didesnis nei be reikalo įkalintas procentas.

Jau matote dvi problemas naudojant tokį algoritmą kaip COMPAS. Pirma, geresnis numatymas visada gali padėti sumažinti klaidų dažnį, bet niekada negali jų visiškai pašalinti. Nesvarbu, kiek duomenų renkame, du žmonės, kurie pagal algoritmą atrodo vienodai, visada gali pasirinkti skirtingus.

Antroji problema yra ta, kad net jei nuosekliai laikotės COMPAS rekomendacijų, kažkas – žmogus – pirmiausia turi nuspręsti, kur turėtų būti didelė rizikos riba, ar taikant Blackstone koeficientą, ar ką nors kita. Tai priklauso nuo visų sumetimų – politinių, ekonominių ir socialinių.

Dabar prieisime prie trečios problemos. Štai čia mūsų sąžiningumo tyrinėjimai tampa įdomūs. Kaip skirtingų grupių klaidų lygis skiriasi? Ar yra tam tikrų tipų žmonių, kurie labiau linkę būti be reikalo sulaikyti?

Pažiūrėkime, kaip atrodo mūsų duomenys, kai atsižvelgsime į kaltinamųjų rasę.

Dabar perkelkite kiekvieną slenkstį, kad pamatytumėte, kaip ji skirtingai veikia juodos ir baltos spalvos kaltinamuosius.

Rasė yra saugomos klasės pavyzdys JAV, o tai reiškia, kad diskriminacija šiuo pagrindu yra neteisėta. Kitos saugomos klasės apima lytį, amžių ir negalią.

Dabar, kai atskyrėme juodaodžius ir baltuosius kaltinamuosius, išsiaiškinome, kad nors rasė nėra naudojama skaičiuojant COMPAS rizikos balus, abiejų grupių balai skiriasi. Pagal numatytąją COMPAS slenkstį nuo 7 iki 8, 16 % juodaodžių kaltinamųjų, kurie nesuimami iš naujo, buvo be reikalo įkalinti, o tas pats pasakytina apie tik 7 % baltųjų kaltinamųjų. Tai visai neatrodo sąžininga! Būtent tai yra ProPublica paryškintas savo tyrime.

Gerai, tai pataisykime tai.

Perkelkite kiekvieną slenkstį, kad baltieji ir juodaodžiai kaltinamieji būtų be reikalo įkalinami maždaug tokiu pačiu greičiu.

(Yra keletas sprendimų. Mes pasirinkome vieną, bet galite pabandyti rasti kitų.)

Dar kartą bandėme pasiekti Blackstone santykį, todėl priėjome prie tokio sprendimo: baltųjų kaltinamųjų riba yra nuo 6 iki 7, o juodaodžių kaltinamųjų riba yra nuo 8 iki 9. Dabar maždaug 9 % juodaodžių ir baltųjų kaltinamųjų, kurie to nedaro. t vėl suimti yra be reikalo įkalinami, o 75 % tų, kurie tai padaro, suimami iš naujo po to, kai kalėjime nepraleido laiko. Geras darbas! Dabar jūsų algoritmas atrodo daug teisingesnis nei COMPAS.

Bet palauk - ar taip? Derindami klaidų dažnį tarp rasių, praradome kai ką svarbaus: mūsų kiekvienos grupės slenksčiai yra skirtingose ​​vietose, todėl mūsų rizikos balai baltiesiems ir juodiesiems kaltinamiesiems reiškia skirtingus dalykus.

Baltieji kaltinamieji įkalinami už 7 balų rizikos balą, o juodaodžiai paleidžiami už tą patį balą. Tai dar kartą neatrodo sąžininga. Du žmonės, turintys tą patį rizikos balą, turi vienodą tikimybę būti sulaikyti, taigi, ar jiems neturėtų būti taikomas toks pat gydymas? JAV naudojant skirtingus slenksčius skirtingoms rasėms taip pat gali kilti sudėtingų teisinių problemų Problemos su 14-ąja pataisa – Konstitucijos lygios apsaugos išlyga.

Taigi pabandykime tai dar kartą, naudodami vieną slenkstį, kurį pasidalija abi grupės.

Dar kartą perkelkite slenkstį, kad baltieji ir juodaodžiai kaltinamieji būtų be reikalo įkalinami tokiu pačiu greičiu.

Jei esate nusivylęs, tai yra rimta priežastis. Sprendimo nėra.

Pateikėme du teisingumo apibrėžimus: laikykite palyginamus klaidų lygius tarp grupių ir vienodai elkitės su žmonėmis, kurių rizikos balai vienodi. Abu šie apibrėžimai yra visiškai ginami! Tačiau tenkinti abu vienu metu neįmanoma.

Priežastis ta, kad juodaodžiai kaltinamieji suimami skirtingais tempais. Pagal mūsų Brovardo apygardos duomenis 52 % juodaodžių kaltinamųjų buvo suimti iš naujo, o baltųjų kaltinamųjų buvo tik 39 %. Panašus skirtumas yra daugelyje JAV jurisdikcijų, iš dalies dėl to, kad šalies policija neproporcingai nusitaikė į mažumas (kaip minėjome anksčiau).

Numatymai atspindi duomenis, naudojamus joms sudaryti, nesvarbu, ar tai algoritmas, ar ne. Jei juodaodžiai kaltinamieji bus suimti dažniau nei baltieji kaltinamieji realiame pasaulyje, jie taip pat turės didesnį suėmimo procentą. Tai reiškia, kad jie taip pat turės aukštesnius rizikos balus, o didesnė jų dalis bus priskirta didelės rizikos grupei. ir teisingai, ir neteisingai . Tai yra tiesa nesvarbu koks algoritmas naudojamas, jei jis sukurtas taip, kad kiekvienas rizikos balas reikštų tą patį, nepaisant rasės.

Šis keistas sąžiningumo apibrėžimų konfliktas neapsiriboja tik rizikos vertinimo algoritmais baudžiamojoje teisinėje sistemoje. Tos pačios rūšies paradoksai galioja kredito balų, draudimo ir samdymo algoritmams. Bet kokiame kontekste, kai automatizuota sprendimų priėmimo sistema turi paskirstyti išteklius arba bausmes kelioms grupėms, kurios turi skirtingus rezultatus, skirtingi teisingumo apibrėžimai neišvengiamai paneigia vienas kitą.

Nėra algoritmo, kuris galėtų tai išspręsti; tai net ne an algoritminis problema, tikrai. Žmonių teisėjai yra šiuo metu daryti tokius pačius priverstinius kompromisus – ir tai darė per visą istoriją.

Bet štai koks algoritmas turi pasikeitė. Nors teisėjai ne visada gali aiškiai suprasti, kaip jie renkasi iš skirtingų sąžiningumo sąvokų, žmonės gali ginčyti savo sprendimus. Priešingai, COMPAS, kurį gamina privati ​​bendrovė „Northpointe“, yra komercinė paslaptis, kurios negalima viešai peržiūrėti ar apklausti. Atsakovai nebegali abejoti jo rezultatais, o vyriausybinės agentūros praranda galimybę atidžiai stebėti sprendimų priėmimo procesą. Nebėra viešos atskaitomybės.

Taigi, ką turėtų daryti reguliavimo institucijos? Siūlomas 2019 m. Algoritminės atskaitomybės įstatymas yra geros pradžios pavyzdys, sako Andrew Selbstas, Kalifornijos universiteto teisės profesorius, besispecializuojantis dirbtinio intelekto ir teisės srityse. Įstatymo projektas, kuriuo siekiama reguliuoti šališkumą automatizuotose sprendimų priėmimo sistemose, turi dvi svarbias ypatybes, kurios yra būsimų teisės aktų šablonas. Pirma, įmonės turėtų patikrinti savo mašininio mokymosi sistemas dėl šališkumo ir diskriminacijos poveikio vertinime. Antra, jame nenurodomas sąžiningumo apibrėžimas.

Selbstas sako, kad atlikdami poveikio vertinimą labai aiškiai matote, kaip jūs, kaip įmonė, sprendžiate teisingumo klausimą. Tai sugrąžina viešąją atskaitomybę į diskusijas. Kadangi sąžiningumas skirtinguose kontekstuose reiškia skirtingus dalykus, priduria jis, vengiant konkretaus apibrėžimo, toks lankstumas suteikiamas.

Tačiau ar algoritmai turėtų būti naudojami teisingumui spręsti, yra sudėtingas klausimas. Mašininio mokymosi algoritmai mokomi remiantis duomenimis, gautais per atskirties ir diskriminacijos istorijas, savo knygoje rašo Prinstono universiteto docentė Ruha Benjamin. Lenktynės po technologijų . Rizikos vertinimo priemonės nesiskiria. Didesnis klausimas dėl jų naudojimo (arba bet kokių algoritmų, naudojamų žmonėms reitinguojant) yra tai, ar jie sumažina esamą nelygybę, ar ją pablogina.

Selbstas rekomenduoja elgtis atsargiai: kai tik filosofines sąžiningumo sąvokas paverčiate matematinėmis išraiškomis, jos praranda niuansus, lankstumą ir lankstumą, sako jis. Tai nereiškia, kad kai kurie to darymo veiksmingumai galiausiai nebus naudingi. Man tiesiog kyla abejonių.

Karen Hao ir Jonathan Stray žodžiai ir kodas. Dizaino patarimai iš Emily Luong ir Emily Caulfield. Montavo Niall Firth ir Gideon Lichfield. Ypatingas ačiū Rashida Richardson iš AI Now, Mutale Nkonde iš Berkman Klein centro ir Viljamas Izaokas iš DeepMind už peržiūrą ir konsultacijas.

Pataisymas: Ankstesnė straipsnio versija buvo susijusi su informacija apie rizikos vertinimo įrankį, kuris skiriasi nuo COMPAS. Jis buvo pašalintas, kad būtų išvengta painiavos.

paslėpti