211service.com
Slapti algoritmai kelia grėsmę teisinei valstybei
Numatyti ir formuoti, ką darysite toliau – ar kaip pirkėjas, darbuotojas ar rinkėjas – yra didelis duomenų valdomų įmonių verslas. Tačiau ar jų metodai taip pat turėtų informuoti teisėjus ir prokurorus? Ambicinga nuteistųjų recidyvo numatymo programa JAV teismams pateikia algoritminius rizikos vertinimus.
Šie vertinimai yra tendencijos link pratęsimas aktuarinės prognozės priemonės dėl pakartotinio nusikaltimo rizikos. Jie gali atrodyti moksliški, skaičiavimo racionalumo injekcija į baudžiamojo teisingumo sistemą, persmelktą diskriminacijos ir neefektyvumo. Tačiau jie kelia nerimą dėl kelių priežasčių: daugelis yra slapta skaičiuojami; jie neigia tinkamą procesą ir suprantamus paaiškinimus atsakovams; ir jie skatina niūrią ir nežmonišką bausmės vaidmens visuomenėje viziją.
Pradėkime nuo paslapties – veiksnio, kuris, matyt, sunerimo net Aukščiausiajam Teismui įmonės Northpointe COMPAS rizikos balo byloje. Į Loomis prieš Viskonsiną , teisėjas atmetė ieškinio pagrindą ir skyrė kaltinamajam (Loomis) griežtesnę bausmę iš dalies dėl to, kad pagal COMPAS rizikos balą jam buvo nustatyta didesnė nei vidutinė rizika pakartotinai. Loomisas apskundė nuosprendį, teigdamas, kad nei jis, nei teisėjas negalėjo išnagrinėti rizikos vertinimo formulės – tai komercinė paslaptis.
Frankas Pasquale'as
Viskonsino valstija paprieštaravo, kad Northpointe reikalauja, kad algoritmai būtų konfidencialūs, kad apsaugotų įmonės intelektinę nuosavybę. Viskonsino Aukščiausiasis Teismas patvirtino Loomiso nuosprendį, motyvuodamas, kad rizikos įvertinimas buvo tik viena nuosprendžio pagrindimo dalis. Ji norėjo ir toliau suteikti teisėjams galimybę atsižvelgti į COMPAS balą kaip vieną nuosprendžio pagrindimo dalį, net jei jie nežinojo, kaip jis buvo apskaičiuojamas.
Teisininkai , akademikai ir aktyvistai dabar abejoja šiais samprotavimais. Teisminiai procesai iš esmės yra atviri visuomenei. Teisėjai privalo motyvuoti savo svarbiausius veiksmus, pavyzdžiui, nuosprendį. Kai algoritminis balų skaičiavimo procesas laikomas paslaptyje, jis taip ir yra neįmanoma užginčyti pagrindiniai jo aspektai. Kaip algoritmas pasveria skirtingus duomenų taškus ir kodėl? Kiekvienas iš šių tyrimų yra labai svarbus siekiant dviejų pagrindinių teisinių principų: tinkamo proceso ir galimybės prasmingai apskųsti nepalankų sprendimą.
Tinkamo proceso sąvoka yra neribota, tačiau labai svarbi teisėtoms teisinėms sistemoms. Šis pagrindinis konstitucinis principas suteikia kaltinamiesiems teisę suprasti, kuo jie kaltinami ir kokie yra prieš juos prieštaraujantys įrodymai. Slaptas rizikos vertinimo algoritmas, siūlantis smerktiną balą, yra analogiškas įrodymams, kuriuos siūlo an anoniminis ekspertas , kurių negalima kryžmiškai apklausti. Bet kuris teismas, žinantis pagrindinius teisinės valstybės principus, taip pat Penktosios ir Keturioliktosios pataisos įspėjimo ir sprendimų paaiškinimo principus, būtų labai atsargus leisti valstybei bausmes (net jei tik iš dalies) pagrįsti slaptu algoritmu.
Dvi automatizavimo šališkumo formos taip pat kelia grėsmę teisei į prasmingą apeliaciją. Teisėjai pernelyg linkę manyti, kad kiekybiniai metodai yra pranašesni už įprastą žodinį samprotavimą, ir susiaurins atliekamą užduotį (nuosprendį) iki turimų kiekybinių duomenų apie pakartotinio nusikalstamumo riziką taikymą. Abu atsakymai kenkia nuosprendžio sudėtingumui ir humaniškam sprendimui.
Dar blogiau, kai įmonės siūlo komercinius argumentus, kodėl savo slaptą padažą nemato viešumoje, teismai trokšta apsaugoti balus renkančių įmonių komercines paslaptis. Ta tendencija kelia nerimą privataus sektoriaus kontekste , nes komerciniai nusikaltimai gali būti padaryti nebaudžiamai dėl reitingavimo ir vertinimo sistemų neskaidrumo. Net ir kontekste balsavimas , valdžios institucijos vangiai reikalavo programinės įrangos, kuri būtų patikrinama ir suprantama pašalinių asmenų . Nepaisant to, baudžiamojo nuosprendžio atvejis turėtų būti per didelis tiltas sąžiningiems teisėjams, ir tai tikriausiai paaiškina JAV Aukščiausiojo Teismo sprendimą. palūkanų in Loomis. Nusiųsti ką nors į kalėjimą dėl nepaaiškinamų, neginčijamų slaptos kompiuterinės programos sprendimų Juodas veidrodis net užkietėjusiems korporatyvinių privilegijų gynėjams.
Be to, yra pasirinkimų tarp visiško algoritminio slaptumo ir visiško atskleidimo. Kaip aš paaiškino 2010 m. kvalifikuotas skaidrumas yra nusistovėjęs metodas, leidžiantis tam tikriems ekspertams įvertinti saugomas komercines paslaptis (įskaitant įmonės kodą ir duomenis), siekiant patikrinti sistemos kokybę, pagrįstumą ir patikimumą. Pagalvokite apie specialų meistrą teismo byloje arba apie saugias suskirstytos informacijos priemones žvalgybos agentūroms. Mažiausiai vyriausybės neturėtų naudoti algoritmų, tokių kaip COMPAS balas, be išorinio kokybės užtikrinimo, kurį įgalina kvalifikuotas skaidrumas.
Tačiau slaptumas čia nėra vienintelė problema. Tarkime, kad algoritminis rizikos vertinimas ilgainiui tampa viešesnis, naudojant visiškai skaidrias formules ir duomenis. Vis dar kyla rimtas susirūpinimas dėl įrodymais pagrįsto nuosprendžio taikymo, nes kiekybinė nuspėjamoji analizė dažnai parduodama baudžiamosios justicijos kontekste.
Pavyzdžiui, teisės mokslininkė Sonja Starr ginčijosi kad skiriant bausmę iš tikrųjų labai svarbu yra ne tik recidyvas, bet ir tai, kad ilgesnė laisvės atėmimo bausmė padidins tikimybę, kad nuteistasis pakartotinai nusikals. Algoritminis rizikos vertinimas ilgainiui gali labai gerai nuspėti pakartotinį nusikaltimą, bet kaip dėl paties rizikos įvertinimo, ty pavojaus, kad ilgesnė bausmė didelės rizikos nusikaltėliui gali tapti savaime išsipildančia pranašyste, atsižvelgiant į kriminogeninę aplinką. daug kalėjimų?
Pasakojimo suprantamumas taip pat yra vertingas nustatant ir vertinant žmones. Įmonės atlieka rinkodaros analizę, kad nuspėtų ne tik nusikalstamo pakartotinio nusikaltimo tikimybę, bet ir tikimybę, kad bet kuris asmuo bus psichiškai nesveikas , Blogas darbuotojas , į nesėkmingas studentas , į nusikaltėlis , arba a teroristas . Net jei galime atmesti aukščiau iškeltas savaime išsipildančių pranašysčių problemas, šiuos vertinimus reikėtų taikyti tik labai atsargiai. Kai jie buvo naudojami patarti policijai, DHS, mokytojams ar viršininkams, jie nėra vien nuomonės, sklindančios laisvu idėjų srautu. Atvirkščiai, jie gali turėti tiesioginės įtakos žmonių pragyvenimui, laisvei ir išsilavinimui. Jei jų negalima paaiškinti naratyviškai suprantamai, galbūt jų iš viso nereikėtų vartoti be tiesioginio vertinamo asmens sutikimo.
Ši nuomonė gali netikti tiems, kurie dirbtinį intelektą laiko kitu žingsniu žmogaus evoliucijoje. Robotas Hodas Lipsonas įsimintinai palyginti pastangos, kad pažangus algoritminis informacijos apdorojimas būtų suprantamas žmonėms, o Šekspyro paaiškinimas šuniui. Tačiau ši įkrauta metafora slepia daugiau nei atskleidžia. Bent jau kol kas žmonės yra atsakingi už vyriausybes ir gali reikalauti paaiškinimų dėl sprendimų natūralia kalba, o ne kompiuteriniu kodu. Jei to nepadarysite baudžiamajame kontekste, kyla pavojus, kad vyriausybės ir teisinės funkcijos bus perduotos neatskaitingam skaičiavimo elitui.
Frankas Pasquale'as yra Merilendo universiteto teisės profesorius ir autorius Juodosios dėžės draugija .