211service.com
Nuspėjamieji policijos algoritmai yra rasistiniai. Juos reikia išmontuoti.
Franziska Barczyk
Yeshimabeit Milner mokydamasi vidurinėje pirmą kartą pamatė savo pažįstamus vaikus surakinamus antrankius ir įsodinamus į policijos automobilius. Buvo 2008 m. vasario 29 d., o netoliese esančios Majamio mokyklos, kurioje dauguma gyventojų yra Haičio ir afroamerikiečių, direktorius įstrigo vieną iš savo mokinių. Kitą dieną kelios dešimtys vaikų surengė taikią demonstraciją. Nelabai sekėsi.
Tą vakarą Majamio „NBC 6 News at Six“ prasidėjo segmentu „Chaos on Campus“. (Ten yra klipas „YouTube“. .) Įtampa Edison Senior High po to, kai kova už teises baigiasi kova su įstatymais, tvyro įtampa, rašoma laidoje. Iškirpkite neryškius rėkiančių paauglių filmuotus telefonu: chaosas, kurį matote, yra visiškas peštynės mokyklos valgykloje.
Studentai žurnalistams pasakojo, kad policija juos mušė lazdomis, metė ant grindų ir stumdė į sienas. Policija tvirtino, kad būtent jie buvo užpulti vandens buteliais, gaiviaisiais gėrimais, pienu ir t. t., ir paragino skubią pagalbą. Maždaug 25 studentai buvo suimti, o daugelis buvo apkaltinti daugybe nusikaltimų, įskaitant pasipriešinimą suėmimui naudojant smurtą. Milner prisimena, kaip žiūrėjo per televizorių ir matydavo vaikus, kuriuos ji lankė pradinėje mokykloje ir buvo sulaikyta. Tai buvo taip beprotiška, sako ji.
„Yra ilga istorija, kai duomenys buvo ginkluoti prieš juodaodžių bendruomenes.
Milneriui tos dienos įvykiai ir ilgalaikės pasekmės suimtiesiems buvo esminiai. Netrukus po to, dar mokydamasi mokykloje, ji įsitraukė į duomenimis pagrįstą aktyvizmą, fiksuodama kolegų studentų rasistinės policijos patirtį. Dabar ji yra direktorė „Black Lives“ duomenys , paprastų skaitmeninių teisių organizaciją, kurią ji įkūrė 2017 m. Tai, ką ji išmoko būdama paauglė, pastūmėjo ją kovoti prieš gyvenimą. šališkumas baudžiamojo teisingumo sistemoje ir išardyti tai, ką ji vadina vamzdynu nuo mokyklos iki kalėjimo. Ji sako, kad yra ilga istorija, kai duomenys buvo ginkluoti prieš juodaodžių bendruomenes.
Nelygybė ir piktnaudžiavimas policijos valdžia ne tik žaisti gatvėse arba mokyklos riaušių metu. Milneris ir kiti aktyvistai dabar daugiausia dėmesio skiria ten, kur yra didžiausias ilgalaikės žalos potencialas: nuspėjamosios policijos priemonės ir policijos pajėgų piktnaudžiavimas duomenimis. Daugybė tyrimų parodė, kad šios priemonės įamžinti sisteminis rasizmas , tačiau vis dar labai mažai žinome, kaip jie veikia, kas juos naudoja ir kokiu tikslu. Visa tai turi pasikeisti, kad būtų galima tinkamai apskaičiuoti. Laimei, potvynis gali pasisukti.
Yra du platūs nuspėjamosios policijos įrankio tipai. Vieta pagrįsti algoritmai remiasi sąsajomis tarp vietų, įvykių ir istorinių nusikalstamumo rodiklių, kad nuspėtų, kur ir kada nusikaltimai labiau tikėtini, pavyzdžiui, tam tikromis oro sąlygomis arba dideliuose sporto renginiuose. Priemonės nustato karštąsias vietas, o policija planuoja patruliuoti aplink šiuos patarimus. Vienas iš labiausiai paplitusių, vadinamas PredPol, kurį naudoja dešimtys JAV miestų , suskirsto vietas į 500 x 500 pėdų blokus ir atnaujina savo prognozes visą dieną – tai savotiška nusikalstamumo orų prognozė.
Kiti įrankiai remiasi duomenimis apie žmones, pvz., jų amžių, lytį, šeimyninę padėtį, piktnaudžiavimo narkotinėmis medžiagomis istoriją ir teistumą, kad būtų galima numatyti, kas turi didelę galimybę ateityje dalyvauti nusikalstamoje veikloje. Šiuos asmeninius įrankius gali naudoti policija, įsikišti prieš įvykstant nusikaltimui arba teismai, kad per ikiteisminį posėdį ar nuosprendį nustatytų, ar suimtas asmuo gali pakartotinai nusikalsti. Pavyzdžiui, įrankis, vadinamas COMPAS, naudojamas daugelyje jurisdikcijų, padedantis priimti sprendimus dėl ikiteisminio paleidimo ir nuosprendžio, pateikia statistinį balą nuo 1 iki 10, kad būtų galima įvertinti, kiek tikėtina, kad asmuo bus suimtas, jei jis būtų paleistas.
Problema kyla dėl duomenų, kuriais remiasi algoritmai. Viena vertus, nuspėjamieji algoritmai yra lengvai iškreipti dėl sulaikymo rodiklių. Remiantis JAV teisingumo departamento duomenimis, jūs esate daugiau nei du kartus didesnė tikimybė, kad bus suimta jei esate juodaodis, nei jei esate baltaodis. Tikimybė, kad juodaodis bus sustabdytas be jokios priežasties, penkis kartus dažniau nei baltaodis. Masinis areštas „Edison Senior High“ buvo tik vienas neproporcingo policijos atsako, kuris nėra neįprastas juodaodžių bendruomenėse, pavyzdys.
Vaikai, kuriuos Milneris stebėjo, kaip suimami, buvo rengiami visam gyvenimui neobjektyviai vertinti dėl šio suėmimo įrašo. Tačiau tą dieną nukentėjo ne tik jų pačių gyvenimas. Duomenys, gauti po jų areštų, būtų įtraukti į algoritmus, kurie būtų neproporcingai nukreipti į visus jaunus juodaodžius žmones, kuriuos įvertino algoritmai. Nors pagal įstatymus algoritmai nenaudoja rasės kaip prognozės, kiti kintamieji, pvz., socialinė ir ekonominė padėtis, išsilavinimas ir pašto kodas, veikia kaip tarpiniai serveriai. Net ir aiškiai neatsižvelgus į rasę, šios priemonės yra rasistinės.
Štai kodėl daugeliui problema yra pati nuspėjamosios policijos samprata. Rašytojas ir akademikas Dorothy Roberts , kuris studijuoja teisę ir socialines teises Pensilvanijos universitete, gerai pasakė internetinė panelinė diskusija birželį. Rasizmas visada buvo susijęs su numatymu, tam, kad tam tikros rasinės grupės atrodytų taip, lyg jos būtų linkusios daryti blogus dalykus ir todėl pateisina jų kontrolę, sakė ji.
Rizikos vertinimai dešimtmečius buvo baudžiamojo teisingumo sistemos dalis. Tačiau policijos departamentai ir teismai per pastaruosius kelerius metus dažniau naudojo automatizuotas priemones dėl dviejų pagrindinių priežasčių. Pirma, biudžeto mažinimas paskatino efektyvumą. Žmonės skambina norėdami grąžinti lėšas policijai, bet jie jau buvo grąžinti, sako Milneris. Miestai žlugo daugelį metų, o policininkus jie pakeitė algoritmais. Sunku gauti tikslius skaičius, bet manoma, kad policijos pajėgos naudoja nuspėjimo priemones arba teismai daugumoje JAV valstijų.
Antroji priežastis, kodėl algoritmai vis dažniau naudojami, yra plačiai paplitęs įsitikinimas, kad jie yra objektyvesni už žmones: jie pirmą kartą buvo pristatyti siekiant, kad sprendimų priėmimas baudžiamojo teisingumo sistemoje būtų teisingesnis. Nuo dešimtojo dešimtmečio ankstyvieji automatizuoti metodai naudojo taisyklėmis pagrįstus sprendimų medžius, tačiau šiandien prognozavimas atliekamas naudojant mašininį mokymąsi.
MOLIO BANKAI PER UNSPLASHDar vis daugiau įrodymų rodo, kad į šiuos įrankius buvo įtrauktas žmonių išankstinis nusistatymas, nes mašininio mokymosi modeliai mokomi remiantis šališkais policijos duomenimis. Toli gražu nevengia rasizmo, jie gali tiesiog geriau jį paslėpti. Daugelis kritikų dabar vertina šias priemones kaip Techninio plovimo forma , kur objektyvumo lukštas apima mechanizmus, kurie įtvirtina nelygybę visuomenėje.
Iš tikrųjų tik per pastaruosius kelerius metus žmonių požiūris į šias priemones pasikeitė iš to, kas gali sumažinti šališkumą, į kažką, kas gali jį įtvirtinti. Alisa Xiang , teisininkas ir duomenų mokslininkas, vadovaujantis sąžiningumo, skaidrumo ir atskaitomybės tyrimams AI partnerystėje. Šie šališkumas dar labiau sustiprėjo nuo tada, kai prieš 20 ar 30 metų pasirodė pirmosios kartos numatymo įrankiai. Pirmiausia paėmėme blogus duomenis, o vėliau panaudojome įrankius, kad juos pablogintume, sako Katy Weathington , kuris Kolorado Boulderio universitete studijuoja algoritminį šališkumą. Tai tiesiog vėl ir vėl buvo save sustiprinanti kilpa.
Reikalai gali pablogėti. Po to protestai dėl policijos šališkumo po George'o Floydo mirties nuo policijos pareigūno Mineapolyje kai kurie policijos departamentai dvigubai mažiau naudoja nuspėjimo priemones. Prieš mėnesį Niujorko policijos departamento komisaras Dermotas Shea išsiuntė laišką savo pareigūnams. Esant dabartiniam klimatui, mes turime kitaip kovoti su nusikalstamumu, rašė jis. Tai padarysime su mažiau sustojimų gatvėje – galbūt sukeldami jums mažiau pavojų ir mažiau atsakomybės – geriau panaudodami duomenis, žvalgybinę informaciją ir visas mūsų turimas technologijas... Tai reiškia, kad NYPD mes padvigubinsime savo tikslumą. policijos pastangas.
Policijai patinka idėja apie įrankius, kurie juos įspėja ir leidžia anksti įsikišti, nes mano, kad tai sumažina nusikalstamumo lygį, sakoma pranešime. Rashida Richardson , AI Now instituto politikos tyrimų direktorius. Tačiau praktiškai jų naudojimas gali atrodyti kaip priekabiavimas. Tyrėjai išsiaiškino, kad kai kurie policijos departamentai pareigūnams pateikia labiausiai ieškomų žmonių sąrašus, kuriuos įrankis nustato kaip didelę riziką. Tai pirmą kartą paaiškėjo, kai žmonės Čikagoje pranešė, kad policija beldžiasi į jų duris ir pasakė, kad jie yra stebimi. Kitose valstijose, sako Richardsonas, policija įspėjo sąrašuose esančius žmones, kad jiems gresia didelis pavojus dalyvauti su gaujomis susijusiuose nusikaltimuose, ir prašė imtis veiksmų, kad to išvengtų. Jei jie vėliau buvo suimti už bet kokio pobūdžio nusikaltimą, prokurorai pasinaudojo išankstiniu įspėjimu siekdami didesnių kaltinimų. Tai beveik kaip skaitmeninė įstrigimo forma, kai suteikiate žmonėms šiek tiek neaiškios informacijos, o paskui sulaikote ją prieš juos, sako ji.
„Tai beveik kaip skaitmeninė įstrigimo forma“.
Panašiai ir tyrimai, įskaitant vieną užsakė JK vyriausybės duomenų etikos ir inovacijų centras praėjusiais metais – rodo, kad tam tikrų sričių įvardijimas kaip karštosios vietos priverčia pareigūnus tikėtis nemalonumų patruliuodami, todėl jie dažniau ten sustabdo ar sulaikys žmones dėl išankstinio nusistatymo, o ne dėl poreikio.
Kita su algoritmais susijusi problema yra ta, kad daugelis buvo mokomi baltųjų populiacijų už JAV ribų, iš dalies todėl, kad įvairiose JAV jurisdikcijose sunku gauti teistumą. „Static 99“ – įrankis, skirtas seksualinių nusikaltėlių recidyvui prognozuoti, buvo apmokytas Kanadoje, kur tik apie 3 % gyventojų yra juodaodžiai, o JAV – 12 %. Keletas kitų JAV naudojamų įrankių buvo sukurti Europoje, kur 2% gyventojų yra juodaodžiai. Dėl socialinių ir ekonominių sąlygų tarp šalių ir gyventojų skirtumų, priemonės greičiausiai bus ne tokios tikslios vietose, kur jie nebuvo apmokyti. Be to, kai kurie prieš daugelį metų parengti ikiteisminiai algoritmai vis dar naudoja pasenusias prognozes. Pavyzdžiui, kai kurie vis dar prognozuoja, kad kaltinamasis, neturintis fiksuotojo telefono, rečiau pasirodys teisme.
Bet ar šie įrankiai veikia, net jei netobulai? Tai priklauso nuo to, ką turite omenyje sakydami darbą. Apskritai, nuspėjamųjų policijos priemonių naudojimo praktiškai neįmanoma atskirti nuo kitų veiksnių, turinčių įtakos nusikalstamumui ar įkalinimo skaičiui. Vis dėlto keletas nedidelių tyrimų padarė ribotas išvadas. Kai kurie rodo, kad teismų rizikos vertinimo priemonių naudojimas turėjo nedidelį teigiamą poveikį. A 2016 m. atliktas mašininio mokymosi įrankio, naudojamo Pensilvanijoje, siekiant informuoti apie lygtinio paleidimo sprendimus, tyrimas nerado jokių įrodymų, kad jis kėlė pavojų visuomenės saugumui (ty teisingai nustatė didelės rizikos asmenis, kurie neturėtų būti lygtinai paleisti) ir kai kurių įrodymų, kad buvo nustatyti nesmurtaujantys žmonės, kuriuos būtų galima saugiai paleisti.
Rashida Richardson yra AI dabar instituto politikos tyrimų direktorė. Anksčiau ji vadovavo darbui su privatumu ir stebėjimu susijusiems teisiniams klausimams Amerikos piliečių laisvių sąjungoje.
„AI DABAR“ ATLAIKĄKitas tyrimas, atliktas 2018 m Kentukio teismų naudojamas įrankis ir nustatė, kad nors rizikos balai įvairiose apskrityse buvo interpretuojami nenuosekliai, todėl atsirado neatitikimų, kas buvo paleistas ir kas nebuvo paleistas, įrankis būtų šiek tiek sumažinęs įkalinimo skaičių, jei jis būtų tinkamai naudojamas. Amerikos piliečių laisvių sąjunga praneša, kad vertinimo priemonė, priimta kaip 2017 m. Naujojo Džersio kriminalinės justicijos reformos akto dalis, paskatino 20% sumažėjo žmonių, įkalintų laukiant teismo .
Tokių priemonių šalininkai teigia, kad algoritmai gali būti teisingesni už sprendimus priimančius žmones arba bent jau aiškiai išaiškinti nesąžiningumą. Daugeliu atvejų, ypač ikiteisminio užstato bylose, teisėjai turėtų per trumpą laiką išnagrinėti daugybę bylų. Viename Ilinojaus valstijos Kuko apygardoje vykusių ikiteisminių posėdžių tyrime mokslininkai nustatė, kad teisėjai kiekvieną atvejį svarstydavo vidutiniškai vos 30 sekundžių.
Tokiomis sąlygomis galima pagrįstai manyti, kad teisėjai priima skubius sprendimus bent iš dalies dėl savo asmeninio šališkumo. Melissa Hamilton Surėjaus universitete JK, kuris tiria teisines rizikos vertinimo priemonių problemas, kritiškai vertina jų naudojimą praktikoje, tačiau mano, kad jie gali atlikti geresnį darbą nei iš esmės žmonės. Alternatyva yra žmogaus sprendimus priimančio žmogaus juodosios dėžės smegenys, sako ji.
Tačiau yra akivaizdi problema. Sulaikymo duomenys, naudojami nuspėjimo priemonėms mokyti, nepateikia tikslaus nusikalstamos veiklos vaizdo. Sulaikymo duomenys naudojami, nes juos registruoja policijos departamentai. Tačiau areštai nebūtinai sukelia apkaltinamąjį nuosprendį. Bandome išmatuoti nusikaltimus darančius žmones, bet turime tik duomenis apie areštus, sako Xiang.
„Stengiamės išmatuoti nusikaltimus darančių žmonių skaičių, bet turime tik duomenis apie areštus.
Be to, suėmimo duomenys užkoduoja rasistinio policijos elgesio modelius. Dėl to jie labiau linkę numatyti didelį nusikalstamumo mažumų rajonuose arba tarp mažumų žmonių potencialą. Net jei sutampa duomenys apie sulaikymą ir nusikalstamumą, yra daugybė socialinių ir ekonominių priežasčių, kodėl tam tikrose populiacijose ir tam tikruose rajonuose istorinis nusikalstamumo lygis yra didesnis nei kitų. Įvedus šiuos duomenis į nuspėjimo įrankius, praeitis gali formuoti ateitį.
Kai kuriose priemonėse taip pat naudojami duomenys apie tai, kur buvo kreiptasi į policiją, o tai dar silpniau atspindi tikruosius nusikaltimų modelius nei duomenys apie sulaikymą, o dar daugiau. iškreiptas rasistinių motyvų . Apsvarstykite Amy Cooper atvejis , kuri iškvietė policiją vien todėl, kad juodaodžių paukščių stebėtojas Christianas Cooperis paprašė jos pririšti savo šunį prie pavadėlio Niujorko centriniame parke.
Richardsonas sako, kad tai, kad buvo pranešta, kad įvyko nusikaltimas, dar nereiškia, kad nusikaltimas iš tikrųjų įvyko. Jei skambutis tampa duomenų tašku, pateisinančiu policijos išsiuntimą į konkrečią apylinkę ar net nukreipiant į konkretų asmenį, gausite grįžtamojo ryšio kilpą, kurioje duomenimis pagrįstos technologijos įteisina diskriminacinę policijos veiklą.
Kadangi vis daugiau kritikų teigia, kad šios priemonės netinkamos pagal paskirtį, yra raginama imtis tam tikrų algoritminių teigiamų veiksmų, kurių metu duomenų šališkumas yra tam tikru būdu atsvertas. Vienas iš būdų, kaip tai padaryti rizikos vertinimo algoritmams, teoriškai būtų naudoti skirtingas rizikos ribas – trys juodaodžio suėmimai gali reikšti tokį patį rizikos lygį kaip, tarkime, du baltojo asmens areštai.
Tai buvo vienas iš tyrimo metodų paskelbti d gegužės mėn pateikė Jennifer Skeem, studijuojanti viešąją politiką Kalifornijos universitete Berklyje, ir Christopheris Lowenkampas, socialinių mokslų analitikas iš JAV teismų administracinės tarnybos Vašingtone. Pora išnagrinėjo tris skirtingus būdus, kaip pašalinti šališkumą algoritmuose, kurie įvertino maždaug 68 000 dalyvių, iš kurių pusė baltaodžių, o pusė juodaodžių, pakartotinio nusikalstamumo riziką. Jie išsiaiškino, kad geriausia rasių pusiausvyra buvo pasiekta, kai algoritmai aiškiai atsižvelgė į rasę (o esamos priemonės yra teisiškai uždraustos) ir juodaodžiams priskyrė aukštesnę ribą nei baltiesiems, kad jie būtų laikomi didele rizika.
Žinoma, ši idėja yra gana prieštaringa. Tai reiškia, kad iš esmės manipuliuojama duomenimis, siekiant atleisti tam tikrą nusikaltimų dalį dėl nusikaltėlio rasės, sako Xiang: Dėl to žmonės jaučiasi labai nepatogiai. Idėja laikyti skirtingų grupių narius pagal skirtingus standartus prieštarauja daugelio žmonių teisingumo jausmui, net jei tai daroma taip, kad būtų pašalinta istorinė neteisybė. (Šį kompromisą galite išbandyti patys mūsų svetainėje interaktyvi istorija apie algoritminį šališkumą baudžiamojoje teisinėje sistemoje , kuri leidžia eksperimentuoti su supaprastinta COMPAS įrankio versija.)
Bet kuriuo atveju JAV teisinė sistema nėra pasirengusi tokiai diskusijai. Teisininko profesija atsilieka nuo šių rizikos vertinimo priemonių, sako Hamiltonas. Pastaruosius kelerius metus ji vedė teisininkų mokymo kursus ir pastebėjo, kad gynėjai dažnai net nežino, kad taip yra vertinami jų klientai. Jei to nežinote, neketinate to mesti iššūkio, sako ji.
Nesąmoningumo trūkumas gali būti kaltas dėl bendro vaizdo miglotumo: teisėsauga buvo tokia santūri, kaip naudoja šias technologijas, kad kiekvienam labai sunku įvertinti, kaip jos veikia. Net kai informacija yra prieinama, sunku susieti vieną sistemą su vienu rezultatu. Ir keliuose išsamiuose tyrimuose, kurie buvo atlikti, dėmesys sutelkiamas į konkrečias priemones ir daromos išvados, kurios gali būti netaikytinos kitoms sistemoms ar jurisdikcijoms.
Net neaišku, kokios priemonės naudojamos ir kas jas naudoja. Mes nežinome, kiek policijos departamentų naudojo arba šiuo metu naudoja nuspėjamą policijos veiklą, sako Richardsonas.
Pavyzdžiui, faktas, kad Naujojo Orleano policija naudojo nuspėjimo įrankį, kurį sukūrė slaptos duomenų gavybos įmonė Palantir, paaiškėjo tik po to, kai „The Verge“ atliktas tyrimas . Ir vieši įrašai rodo, kad Niujorko policijos departamentas „Palantir“ sumokėjo 2,5 mln bet nesako už ką.
GETTYDaugumą įrankių policijos departamentams licencijuoja daugybė mažų įmonių, valstybės institucijų ir tyrėjų. Kai kurios iš jų yra patentuotos sistemos; kai kurie ne. Visi jie veikia šiek tiek skirtingai. Remdamiesi įrankių rezultatais, mokslininkai kuo puikiausiai atkuria tai, kas, jų manymu, vyksta.
Hamidas Khanas, aktyvistas, kuris daugelį metų kovojo, kad Los Andželo policija atsisakytų nuspėjimo įrankio, vadinamo PredPol, pareikalavo, kad policijos departamento generalinis inspektorius atliktų šios priemonės auditą. Pagal Khanas 2019 m. kovo mėn. generalinis inspektorius pasakė, kad užduotis neįmanoma, nes įrankis buvo toks sudėtingas.
JK Hamiltonas bandė ieškoti įrankio, vadinamo OASys, kuris, kaip ir COMPAS, dažniausiai naudojamas ikiteisminiuose posėdžiuose, nuosprendžių skyrimo ir lygtinio paleidimo metu. „OASys“ gaminanti bendrovė pati atlieka auditą ir nepaskelbė daug informacijos apie tai, kaip ji veikia, sako Hamiltonas. Ji ne kartą bandė gauti informacijos iš kūrėjų, tačiau jie nustojo atsakyti į jos prašymus. Ji sako: manau, kad jie pažiūrėjo į mano studijas ir nusprendė: ne.
Įmones, gaminančias šias priemones, pažįstamas susilaikymas yra tas, kad jos negali dalytis informacija, nes tai būtų komercinių paslapčių ar konfidencialios informacijos apie žmones, kuriuos priemonės įvertino, atsisakymas.
Visa tai reiškia, kad tik nedaugelis buvo išsamiai ištirtos, nors apie kai kuriuos iš jų yra informacijos. „Static 99“ sukūrė duomenų mokslininkų grupė, kuri pasidalino informacija apie jo algoritmus. Visuomenės saugos vertinimą, vieną iš labiausiai paplitusių ikiteisminio rizikos vertinimo priemonių JAV, iš pradžių sukūrė privati organizacija Arnold Ventures, tačiau paaiškėjo, kad lengviau įtikinti jurisdikciją priimti jį, jei būtų atskleista tam tikra informacija apie tai, kaip jis veikia. “, – sako Hamiltonas. Vis dėlto abiejų įrankių kūrėjai atsisakė išleisti duomenų rinkinius, kuriuos naudojo mokymams, kurių prireiktų norint visiškai suprasti, kaip jie veikia.
Perkant rizikos vertinimo įrankį taikomos tos pačios taisyklės, kaip ir perkant sniego valytuvą.
Ne tik mažai žinoma apie šių įrankių mechanizmus, bet ir kritikai teigia, kad policijos departamentai ir teismai nedaro pakankamai pastangų, kad įsigytų įrankius, kurie veikia taip, kaip tikėtasi. NYPD rizikos vertinimo įrankio pirkimui taikomos tos pačios taisyklės kaip ir sniego valytuvui, sako Milneris.
Policija gali visu greičiu pirkti technologijas nežinodama, ką naudoja, ir neinvestuoja laiko, kad užtikrintų, jog jas būtų galima saugiai naudoti, sako Richardsonas. Ir tada nėra atliekamo audito ar analizės, kad būtų galima nustatyti, ar tai netgi veikia.
Pastangos tai pakeisti susidūrė su pasipriešinimu. Praėjusį mėnesį Niujorkas praėjo į Stebėjimo technologijų viešosios priežiūros (POST) įstatymas , pagal kurį NYPD reikalaujama išvardyti visas savo stebėjimo technologijas ir aprašyti, kaip jos veikia miesto gyventojus. NYPD yra didžiausios policijos pajėgos JAV, o įstatymo projekto šalininkai tikisi, kad atskleidimas taip pat atskleis, kokias technologijas naudoja kiti šalies policijos departamentai. Tačiau pasiekti taip toli buvo sunku. Richardsonas, dirbęs su įstatymo projektu, stebėjo, kaip jis buvo nežinioje nuo 2017 m., kol per pastaruosius kelis mėnesius plačiai paplitę raginimai reformuoti policijos veiklą nepakeitė nuomonių pusiausvyros.
Tai buvo nusivylimas, kai buvo bandoma rasti pagrindinės informacijos apie skaitmeninės policijos praktiką Niujorke, todėl Richardsonas pradėjo rengti įstatymo projektą. Policija priešinosi, kai ji ir jos kolegos norėjo daugiau sužinoti apie NYPD stebėjimo priemonių naudojimą. Informacijos laisvės įstatymo prašymai ir Niujorko piliečių laisvių sąjungos bylinėjimasis neveikė. 2015 m., padedami miesto tarybos nario Danielio Garodniku, jie pasiūlė teisės aktą, kuris priverstų šį klausimą spręsti.
Mes patyrėme didelį NYPD atsaką, įskaitant bjaurią viešųjų ryšių kampaniją, leidžiančią manyti, kad įstatymo projektas miesto žemėlapis suteikiamas teroristams, sako Richardsonas. Mero ir priešiškai nusiteikusios miesto tarybos palaikymo nebuvo.
Dėl savo etinių problemų ir skaidrumo stokos dabartinė nuspėjamosios policijos padėtis yra netvarka. Bet ką su tuo galima padaryti? Xiangas ir Hamiltonas mano, kad algoritminiai įrankiai gali būti teisingesni už žmones, jei visi, dalyvaujantys juos kuriant ir naudojant, visiškai supranta jų apribojimus ir sąmoningai stengiasi, kad jie būtų teisingi.
Tačiau šis iššūkis nėra vien techninis. Reikia atsižvelgti į tai, ką daryti dėl duomenų paklaidos, nes tai išliks. Weathingtonas sako, kad jis neša policijos kartų randus.
Ir ką reiškia turėti teisingą algoritmą, kompiuterių mokslininkai negali atsakyti, sako Xiang. Į tai tikrai niekas negali atsakyti. Tai klausia, kaip atrodytų teisinga baudžiamojo teisingumo sistema. Net jei esate teisininkas, net jei esate etikas, negalite į tai pateikti vieno tvirto atsakymo.
Tai yra pagrindiniai klausimai, kurių nepavyks išspręsti ta prasme, kad matematinė problema gali būti išspręsta, priduria ji.
Hamiltonas sutinka. Piliečių teisių grupės turi sunkų pasirinkimą, sako ji: jei prieštaraujate rizikos vertinimui, greičiausiai daugiau mažumų liks uždaryta. Jei sutinkate su rizikos vertinimu, jūs tarsi prisidėjote prie rasinio šališkumo reklamavimo algoritmuose.
Bet tai nereiškia, kad nieko negalima padaryti. Richardsonas sako, kad politikos formuotojai turėtų būti apšaukti dėl jų taktinio nežinojimo apie šių priemonių trūkumus. Pavyzdžiui, NYPD dalyvavo dešimtys ieškinių apie ilgus metus trukusios šališkos policijos veiklos. Nesuprantu, kaip galima aktyviai vesti derybas dėl susitarimo dėl rasistinio šališkumo ir vis tiek manyti, kad dėl tokios praktikos gautus duomenis galima naudoti, sako ji.
Yeshimabeit Milner yra „Data for Black Lives“, aktyvistų ir kompiuterių mokslininkų kolektyvo, naudojančio duomenis baudžiamojo teisingumo sistemai reformuoti, įkūrėja ir direktorė.
DUOMENŲ DĖL JUODŲJŲ GYVENIMŲ GALIMYBĖSMilneriui svarbiausia, kad pokyčiai būtų įtraukti į labiausiai paveiktus žmones. 2008 m., pamačiusi, kaip suimami tie vaikai, kuriuos ji pažinojo, Milner prisijungė prie organizacijos, kuri apklausė apie 600 jaunuolių apie jų patirtį, susijusią su areštais ir policijos žiaurumu mokyklose, o vėliau tai, ką sužinojo, pavertė komiksu. Visoje šalyje jaunimas naudojo komiksą, kad pradėtų dirbti panašų darbą ten, kur gyveno.
Šiandien jos organizacija Data for Black Lives koordinuoja apie 4000 programinės įrangos inžinierių, matematikų ir aktyvistų universitetuose ir bendruomenės centruose. Rizikos vertinimo priemonės nėra vienintelis būdas, kuriuo piktnaudžiaujant duomenimis išlaikomas sisteminis rasizmas, tačiau tai yra vienas iš jų akiratyje. Netruksime kiekvienai privačiai įmonei kurti rizikos vertinimo priemones, tačiau galime pakeisti kultūrą ir šviesti žmones, suteikti jiems būdų, kaip atsitraukti, sako Milneris. Atlantoje jie moko žmones, praleidusius laiką kalėjime, užsiimti duomenų mokslu, kad galėtų prisidėti reformuojant baudžiamojo teisingumo sistemos naudojamas technologijas.
Tuo tarpu Milneris, Weathingtonas, Richardsonas ir kiti mano, kad policija turėtų nustoti naudoti ydingus nuspėjimo įrankius, kol nebus sutarta, kaip padaryti jas sąžiningesnes.
Dauguma žmonių sutiktų, kad visuomenė turėtų turėti galimybę nuspręsti, kas kelia pavojų kitiems. Tačiau išankstinių nusistatymų turinčio žmogaus policininko ar teisėjo pakeitimas algoritmais, kurie tik slepia tuos pačius išankstinius nusistatymus, nėra išeitis. Jei yra net tikimybė, kad jie tęs rasistinę veiklą, jie turėtų būti ištraukti.
Tačiau, kaip pastebėjo pokyčių šalininkai, reikia ilgų metų, kad pasikeistų, o kiekviename žingsnyje reikia pasipriešinti. Neatsitiktinai ir Khanas, ir Richardsonas pastebėjo pažangą po savaites trukusio šalies pasipiktinimo policijos žiaurumu. Pastarieji sukilimai neabejotinai išėjo į naudą, sako Richardsonas. Tačiau taip pat prireikė penkerių metų nuolatinio jos ir kolegų advokatų spaudimo. Khanas taip pat daugelį metų agitavo prieš nuspėjamą policijos veiklą LAPD.
Tas spaudimas turi tęstis net ir pasibaigus žygiams. Šališkumo pašalinimas nėra techninis sprendimas, sako Milneris. Tam reikia gilesnių ir, tiesą sakant, mažiau seksualių ir brangesnių politikos pokyčių.