211service.com
Algoritmų tikrinimas, ar nėra šališkumo
Teismai, bankai ir kitos institucijos naudoja automatizuotas duomenų analizės sistemas, kad priimtų sprendimus dėl jūsų gyvenimo. Nepalikime algoritmų kūrėjams nuspręsti, ar jie tai daro tinkamai. 2017 m. birželio 12 d
Paulius Delkanas
Tai buvo įspūdinga istorija. Mašinos šališkumas, skaityta antraštė ir anonsas paskelbė : Visoje šalyje naudojama programinė įranga, skirta numatyti būsimus nusikaltėlius. Ir tai yra šališka prieš juodaodžius.
„ProPublica“, Pulitzerio premiją gavusi ne pelno naujienų organizacija, išanalizavo rizikos vertinimo programinę įrangą, žinomą kaip COMPAS. Jis naudojamas prognozuojant, kurie nusikaltėliai greičiausiai vėl nusikals. Vadovaudamiesi tokiomis prognozėmis, teisėjai teismo salėse visose JAV priima sprendimus dėl kaltinamųjų ir nuteistųjų ateities, nustatydami viską nuo užstato dydžio iki bausmių. Kai „ProPublica“ palygino COMPAS rizikos vertinimus daugiau nei 10 000 žmonių suimtas vienoje Floridos apygardoje ir sužinojo, kaip dažnai tie žmonės iš tikrųjų vėl nusikaldavo, jis išsiaiškino, kad algoritmas teisingai numatė juodaodžių ir baltųjų kaltinamųjų recidyvą maždaug tokiu pačiu greičiu. Tačiau kai algoritmas buvo neteisingas, juodaodžiams jis buvo klaidingas įvairiais būdais. Tiksliau, juodaodžiai beveik du kartus dažniau nei baltieji gali būti pažymėti kaip rizikingesni, bet iš tikrųjų nenusikalsti. O COMPAS buvo linkęs daryti priešingą klaidą su baltaodžiais: jie daug dažniau nei juodaodžiai bus pažymėti kaip mažesnės rizikos, bet toliau daro kitus nusikaltimus.
Apžvelgti dalykai
Mašinos poslinkis
„ProPublica“, 2016 m. gegužės 23 d
COMPAS rizikos skalės: teisingumo ir prognozuojamojo pariteto demonstravimas
Northpointe, 2016 m. liepos 8 d
Techninis atsakymas Northpointe
„ProPublica“, 2016 m. liepos 29 d
Klaidingi teigiami teiginiai, klaidingi neigiami teiginiai ir klaidingos analizės: atsakymas į „mašinos šališkumą“
Anthony Flores, Christopher Lowenkamp ir Kristin Bechtel
2016 m. rugpjūčio 10 d
Ši istorija buvo mūsų 2017 m. liepos mėn. numerio dalis
- Žr. likusią numerio dalį
- Prenumeruoti
Ar tikslinga naudoti tokias sistemas kaip COMPAS, tai ne tik rasinis šališkumas. JAV Aukščiausiasis Teismas netrukus gali nagrinėti Viskonsino nuteistojo, kuris teigia, kad jo teisė į tinkamą procesą buvo pažeista, kai jį nuteisė teisėjas konsultavosi su COMPAS, nes teisiamajam sistemos veikimas buvo neskaidrus. Galimos problemos, susijusios su kitomis automatizuotomis sprendimų priėmimo sistemomis (ADM), egzistuoja ir už teisingumo sistemos ribų. Remdamiesi internetiniais asmenybės testais, ADM padeda nustatyti, ar žmogus yra tinkamas darbui. Kredito vertinimo algoritmai atlieka didžiulį vaidmenį nustatant, ar gaunate hipoteką, kreditinę kortelę ar net ekonomiškiausius mobiliųjų telefonų sandorius.
Naudoti rizikos vertinimo sistemas, tokias kaip COMPAS, nebūtinai yra bloga. Daugeliu atvejų ADM sistemos gali padidinti sąžiningumą. Žmogaus sprendimų priėmimas kartais yra toks nenuoseklus, kad jį reikia prižiūrėti, kad jie atitiktų mūsų teisingumo standartus. Kaip parodė vienas ypač nerimą keliantis tyrimas, lygtinio paleidimo komisijos buvo labiau tikėtina, kad nuteistieji bus išlaisvinti jei teisėjai ką tik būtų turėję valgio pertrauką. Ko gero, teisėjams tai niekada neatėjo į galvą. ADM sistema galėtų aptikti tokius neatitikimus ir pagerinti procesą.
Tačiau dažnai nepakankamai žinome apie tai, kaip veikia ADM sistemos, kad žinotume, ar jos yra teisingesnės nei žmonės. Iš dalies dėl to, kad sistemos pasirenka remdamosi pagrindinėmis prielaidomis, kurios nėra aiškios net sistemų kūrėjams, nebūtinai įmanoma nustatyti, kurie algoritmai yra šališki, o kurie ne. Ir net kai atsakymas atrodo aiškus, kaip ProPublica išvadose apie COMPAS, tiesa kartais yra sudėtingesnė.
Įstatymų leidėjai, teismai ir informuota visuomenė turėtų nuspręsti, kam mes norime, kad algoritmai teiktų pirmenybę.
Ką turėtume daryti, kad galėtume geriau valdyti ADM? Demokratinėms visuomenėms reikia daugiau tokių sistemų priežiūros nei dabar. AlgorithmWatch, Berlyne įsikūrusi ne pelno siekianti advokacijos organizacija, kurią įkūriau kartu su kompiuterių mokslininku, teisės filosofu ir kolega žurnalistu, siekia padėti žmonėms suprasti tokių sistemų poveikį. Tai, kad dauguma ADM procedūrų yra juodosios dėžės jų paveiktiems žmonėms, nėra gamtos dėsnis. Tai turi baigtis, tvirtiname mūsų manifeste . Vis dėlto mūsų požiūris šiuo klausimu skiriasi nuo daugelio kritikų, nes bijome, kad technologija gali būti nepelnytai demonizuota. Svarbu, kad visuomenės, o ne tik algoritmų kūrėjai, priimtų vertybinius sprendimus, taikomus ADM.
Sąžiningumo priemonės
COMPAS nustato savo rizikos balus iš atsakymų į a klausimynas kuriame nagrinėjama kaltinamojo kriminalinė istorija ir požiūris į nusikaltimą. Ar tai duoda neobjektyvių rezultatų?
Po „ProPublica“ tyrimo bendrovė „Northpointe“, kuri sukūrė COMPAS, užginčijo šią istoriją, teigdama, kad žurnalistai neteisingai interpretavo duomenis. Taip padarė trys baudžiamosios justicijos tyrinėtojai , įskaitant vieną iš teisingumo reformos organizacijos. Kas teisus – žurnalistai ar tyrinėtojai? Krishna Gummadi, Max Planck programinės įrangos sistemų instituto Sarbriukene (Vokietija) Tinklo sistemų tyrimų grupės vadovas pateikia nuostabų atsakymą: jie visi yra tokie.
Gummadi, daug tyrinėjęs algoritmų teisingumą, teigia, kad „ProPublica“ ir „Northpointe“ rezultatai neprieštarauja vienas kitam. Jie skiriasi, nes naudoja skirtingas sąžiningumo priemones.
Tinkamai naudojami baudžiamojo teisingumo algoritmai suteikia galimybę ištisai kartai, o gal ir visam gyvenimui, reformuoti bausmę ir moksliškai išlaisvinti masinį įkalinimą.
Įsivaizduokite, kad kuriate sistemą, skirtą numatyti, kurie nusikaltėliai dar kartą nusikalts. Viena iš galimybių yra optimizuoti, kad būtų tikri teigiami dalykai, o tai reiškia, kad nustatysite kuo daugiau žmonių, kuriems gresia didelis pavojus padaryti kitą nusikaltimą. Viena šio metodo problemų yra ta, kad jis linkęs didinti klaidingų teigiamų rezultatų skaičių: žmonės, kurie bus neteisingai klasifikuojami kaip galimi pakartotinai nusikaltėliai. Ratuką galima reguliuoti taip, kad būtų pateikta kuo mažiau klaidingų teigiamų rezultatų, tačiau tai dažniausiai sukelia daugiau klaidingų neigiamų rezultatų: galimi pakartotiniai nusikaltėliai, kurie praslysta ir sulaukia švelnesnio gydymo, nei pagrįsta.
Padidinti tikrų teigiamų rezultatų dažnį arba sumažinti klaidingai teigiamų rezultatų skaičių yra abu būdai pagerinti statistinę priemonę, žinomą kaip teigiama nuspėjamoji vertė arba PPV. Tai procentas visų teigiamų, kurie yra teisingi.
Kaip pabrėžia Gummadi, „ProPublica“ palygino juodaodžių ir baltųjų klaidingų teigiamų ir klaidingai neigiamų rezultatų rodiklius ir nustatė, kad jie yra iškreipti baltųjų naudai. Northpointe, priešingai, palygino skirtingų rasių PPV ir nustatė, kad jie yra panašūs. Iš dalies dėl to, kad juodaodžių ir baltųjų pakartotinio nusikalstamumo rodikliai iš tikrųjų skiriasi, matematiškai tikėtina, kad kiekvienos grupės žmonių teigiamos prognozės vertės bus panašios, o klaidingai neigiamų – ne.
Vienas dalykas, kurį tai mums sako, yra tai, kad platesnė visuomenė – įstatymų leidėjai, teismai, informuota visuomenė – turėtų nuspręsti, kam mes norime teikti pirmenybę tokiems algoritmams. Ar mums pirmiausia rūpi kuo mažiau galimybių, kad kas nors praleis už užstatą arba dar kartą nusikals? Kokių kompromisų turėtume imtis, kad užtikrintume teisingumą ir sumažintume didžiules socialines įkalinimo išlaidas?
Nesvarbu, kokiu būdu nustatyti ciferblatai, bet koks algoritmas turės paklaidų – galų gale, tai yra numatymas remiantis apibendrinta statistika, o ne kieno nors individualia situacija. Tačiau vis tiek galime naudoti tokias sistemas, kad priimtume išmintingesnius ir teisingesnius sprendimus nei tie, kuriuos žmonės linkę priimti patys.
Ginčai, susiję su Niujorko policijos departamento „sustabdymo ir nusileidimo“ praktika, padeda parodyti, kodėl. Nuo 2004 m. sausio iki 2012 m. birželio Niujorko policija sustabdė 4,4 mln. kartų pagal programą, kuri leido pareigūnams laikinai sulaikyti, apklausti ir apieškoti žmones gatvėje, ieškant ginklų ir kitos kontrabandos. Tačiau iš tikrųjų 88 procentai iš 4,4 mln. sustojimų nebuvo imtasi, o tai reiškia, kad didžioji dauguma sustojusiųjų nedarė nieko blogo. Niujorko laikas redakciniame straipsnyje smerkia šią praktiką. Dar daugiau: maždaug 83 procentais atvejų sustabdytas asmuo buvo juodaodis arba ispanas, nors šios dvi grupės sudarė šiek tiek daugiau nei pusę gyventojų. Šis žmogaus šališkumo pavyzdys, apšviestas atliekant duomenų analizę, yra priminimas, kad ADM sistemos gali atlikti teigiamą vaidmenį baudžiamojoje teisenoje. Anot Anthony Floreso, Christopherio Lowenkampo ir Kristin Bechtel, trijų tyrėjų, kurie rado ProPublica metodologijos trūkumų, tinkamai naudojant, jie suteikia galimybę ištisai kartai, o gal ir visam gyvenimui, reformuoti bausmę ir moksliškai panaikinti masinį įkalinimą. naudojamas COMPAS analizei. Autoriai nerimauja, kad ši galimybė prarandama dėl klaidingos informacijos ir nesusipratimų apie technologiją.
Bet jei sutiksime, kad algoritmai gali padaryti gyvenimą teisingesnį, jei jie yra gerai suplanuoti, kaip galime žinoti, ar jie taip sukurti?
Demokratinės visuomenės dabar turėtų stengtis nustatyti, kiek skaidrumo jos tikisi iš ADM sistemų. Ar mums reikia naujų programinės įrangos nuostatų, kad būtų galima užtikrinti, kad ją būtų galima tinkamai patikrinti? Įstatymų leidėjai, teisėjai ir visuomenė turėtų pasisakyti, kurioms sąžiningumo priemonėms pagal algoritmus suteikiama pirmenybė. Bet jei algoritmai iš tikrųjų neatspindi šių vertybinių sprendimų, kas bus atsakingas?
Tai yra sunkūs klausimai, į kuriuos turime atsakyti, jei tikimės gauti naudos iš algoritminių technologijų pažangos.
Matthias Spielkampas yra AlgorithmWatch – advokatų grupės, kuri analizuoja automatizuoto sprendimų priėmimo riziką ir galimybes, vykdomasis direktorius.