Visoje JAV policija moko nusikalstamumą nuspėjančius dirbtinio intelekto darbuotojus apie suklastotus duomenis

David McNew / personalas

2010 m. gegužės mėn., paskatintas daugybės garsių skandalų, Naujojo Orleano meras paprašė JAV teisingumo departamento ištirti miesto policijos departamentą (NOPD). Po dešimties mėnesių DOJ pasiūlė savo pūslių analizė : peržiūros laikotarpiu nuo 2005 m. NOPD ne kartą pažeidė konstitucinius ir federalinius įstatymus.

Jis naudojo per didelę jėgą ir neproporcingai prieš juodaodžius gyventojus; skirtos rasinėms mažumoms, angliškai nekalbantiems asmenims ir LGBTQ asmenims; ir nesugebėjo kovoti su smurtu prieš moteris. Problemos, sakė tuo metu generalinio prokuroro padėjėjas Thomas Perezas buvo rimti, plataus masto, sistemingi ir giliai įsišakniję departamento kultūroje.

Nepaisant nerimą keliančių radinių, miestas pateko į a slapta partnerystė tik po metų su duomenų gavybos įmone Palantir įdiegė nuspėjamąją policijos sistemą. Sistema naudojo istorinius duomenis, įskaitant arešto įrašus ir elektronines policijos ataskaitas, kad prognozuotų nusikalstamumą ir padėtų formuoti visuomenės saugumo strategijas. bendrovė ir miesto valdžia medžiagų. Toje medžiagoje niekuomet nebuvo pasiūlyta kokių nors pastangų išvalyti ar pakeisti duomenis, siekiant pašalinti DOJ atskleistus pažeidimus. Labai tikėtina, kad sugadinti duomenys buvo įvesti tiesiai į sistemą, sustiprinant skyriaus diskriminacinę praktiką.

Nuspėjamieji policijos algoritmai tampa įprasta praktika JAV miestuose. Nors dėl skaidrumo stokos tikslią statistiką sunku nustatyti, „PredPol“, pirmaujantis pardavėjas, giriasi kad jis padeda apsaugoti 1 iš 33 amerikiečių. Programinė įranga dažnai reklamuojama kaip būdas padėti siaurai ištemptiems policijos padaliniams priimti efektyvesnius, duomenimis pagrįstus sprendimus.

Tačiau nauji tyrimai rodo, kad ne tik Naujasis Orleanas apmokė šias sistemas nešvariais duomenimis. A popierius Šiandien paskelbtame, kuris bus paskelbtas NYU teisės apžvalgoje, AI Now Institute, tyrimų centro, tiriančio socialinį dirbtinio intelekto poveikį, mokslininkai nustatė, kad problema yra paplitusi visose tiriamose jurisdikcijose. Tai turi reikšmingos įtakos nuspėjamosios policijos ir kitų baudžiamojo teisingumo sistemoje naudojamų algoritmų veiksmingumui.

Jūsų sistema yra tokia pat gera, kaip ir duomenys, kuriuos naudojate ją mokydami, sako Kate Crawford, „AI Now“ įkūrėja ir viena iš direktorių bei tyrimo autorė. Jei patys duomenys yra neteisingi, daugiau policijos išteklių bus sutelkta į tas pačias pernelyg stebimas ir dažnai rasistines bendruomenes. Taigi tai, ką jūs padarėte, iš tikrųjų yra technologijų plovimas, kai žmonės, naudojantys šias sistemas, mano, kad jos yra kažkaip neutralesnės ar objektyvesnės, tačiau iš tikrųjų jie yra įsišakniję antikonstitucingumo ar neteisėtumo.

Tyrėjai ištyrė 13 jurisdikcijų, daugiausia dėmesio skirdami toms, kuriose buvo naudojamos nuspėjamosios policijos sistemos ir buvo atliktas vyriausybės užsakytas tyrimas. Pastarasis reikalavimas užtikrino, kad policijos veikla būtų teisiškai patikrinama. Devyniose iš jurisdikcijų jie rado svarių įrodymų, kad sistemos buvo apmokytos naudoti nešvarius duomenis.

Problema buvo ne tik duomenys, iškreipti dėl neproporcingo mažumų taikymo, kaip Naujajame Orleane. Kai kuriais atvejais policijos departamentai turėjo sąmoningo manipuliavimo ar duomenų klastojimo kultūrą, darydami didelį politinį spaudimą, kad sumažėtų oficialus nusikalstamumo lygis. Pavyzdžiui, Niujorke, siekdami dirbtinai sumažinti nusikalstamumo statistiką, nuovadų vadai nusikaltimų vietose nuolat prašydavo aukų neteikti skundų. Kai kurie policijos pareigūnai net pasėjo narkotikus nekaltiems žmonėms, kad atitiktų jų suėmimo kvotas. Šiuolaikinėse nuspėjamosiose policijos sistemose, kurios remiasi mašininiu mokymusi, kad prognozuotų nusikalstamumą, tie sugadinti duomenų taškai tampa teisėtais prognozuotojais.

Straipsnio išvadose kyla abejonių dėl nuspėjamųjų policijos sistemų pagrįstumo. Tokios programinės įrangos pardavėjai dažnai ginčijasi, kad šališki jų įrankių rezultatai yra lengvai pataisomi, sako Rashida Richardson, „AI Now“ politikos tyrimų direktorė ir pagrindinė tyrimo autorė. Tačiau visais šiais atvejais yra tam tikrų sisteminių problemų, kurios atsispindi duomenyse, sako ji. Todėl norint ištaisyti reikia daug daugiau nei tiesiog pašalinti vieną ar du blogo elgesio atvejus. Ne taip lengva atskirti gerus duomenis nuo blogų duomenų arba gerus policininkus nuo blogų policininkų, priduria Jasonas Schultzas, instituto teisės ir politikos tyrimų vadovas, kitas tyrimo autorius.

Pardavėjai taip pat teigia, kad vengia duomenų, kurie labiau atspindi šališkumą, pvz., su narkotikais susijusius areštus, ir renkasi mokymo įvestis, pvz., skambučius 911. Tačiau mokslininkai nustatė tiek pat šališkumo tariamai neutralesniuose duomenyse. Be to, jie nustatė, kad pardavėjai niekada savarankiškai neatlieka duomenų, įvestų į jų sistemas.

Susijusi istorija

Susijusi istorija Istorinių duomenų naudojimas rizikos vertinimo priemonėms mokyti gali reikšti, kad mašinos kopijuoja praeities klaidas.

Straipsnyje atskleidžiamos JAV vykstančios diskusijos dėl nusikalstamos rizikos vertinimo priemonių naudojimo, kurios taip pat naudoja mašininį mokymąsi, kad padėtų nustatyti bet ką nuo kaltinamųjų likimo ikiteisminio proceso metu iki jiems skirtos bausmės griežtumo. Duomenys, kuriuos aptariame šiame dokumente, nėra vien tik policijos, sako Richardsonas. Jis naudojamas visoje baudžiamojo teisingumo sistemoje.

Šiuo metu didžioji dalis diskusijų yra sutelkta į pačios sistemos mechaniką – ar ji gali būti sukurta taip, kad gautų matematiškai teisingus rezultatus. Tačiau mokslininkai pabrėžia, kad tai neteisingas klausimas. Schultzas teigia, kad norint atskirti algoritmo klausimą nuo socialinės sistemos, su kuria jis yra prijungtas ir įterptas, toli nepasieksite. Tikrai turime pripažinti tokių matematinių, skaičiavimais pagrįstų bandymų pašalinti šališkumą ribas.

Žvelgiant į priekį, mokslininkai tikisi, kad jų darbas padės pertvarkyti diskusijas, kad dėmesys būtų sutelktas į platesnę sistemą, o ne į patį įrankį. Jie taip pat tikisi, kad tai paskatins vyriausybes sukurti tokius mechanizmus kaip algoritminio poveikio vertinimo sistema institutas, išleistas pernai, siekdamas suteikti daugiau skaidrumo, atskaitomybės ir automatizuotų sprendimų priėmimo priemonių naudojimo priežiūros.

Pasak jų, jei nebus reformuojami socialiniai ir politiniai mechanizmai, generuojantys nešvarius duomenis, tokie įrankiai padarys tik daugiau žalos nei naudos. Kai žmonės tai supras, galbūt diskusijos pagaliau pereis prie būdų, kaip panaudoti mašininį mokymąsi ir kitą technologinę pažangą, kad iš tikrųjų sustabdytume pagrindinę [nusikaltimo] priežastį, sako Richardsonas. Galbūt galime naudingiau išspręsti skurdo, nedarbo ir būsto problemas naudodami vyriausybės duomenis.

paslėpti