Artėjantis karas prieš paslėptus algoritmus, įstrigusius žmones skurde

Danielius Zenderis

Miriamai buvo tik 21 metai, kai ji sutiko Niką. Ji buvo fotografė, ką tik baigusi koledžą, laukianti stalų. Jis buvo 16 metų už ją vyresnis ir vietinio verslo savininkas, dirbęs finansų srityje. Jis buvo žavus ir charizmatiškas; išvedė ją į puošnius pasimatymus ir už viską sumokėjo. Ji greitai pateko į jo orbitą.

Viskas prasidėjo nuo vienos kredito kortelės. Tuo metu ji buvo vienintelė. Nickas maksimaliai išnaudotų 5000 USD vertės verslo pirkinius ir nedelsdamas sumokės kitą dieną. Miriam, kuri paprašė manęs nevartoti jų tikrųjų vardų, nes bijodama kištis į vykstančius jų skyrybų procesus, sužinojo, kad tai padidino jos kredito balą. Užaugusi su vienu tėčiu mažas pajamas gaunančiame namų ūkyje, ji pasitikėjo Niko žiniomis, o ne savo. Jis lengvai skatino dinamišką, sakydamas jai, kad ji nesupranta finansų. Ji atvėrė jam daugiau kredito kortelių savo vardu.

Bėdos prasidėjo po trejų metų. Nikas paprašė jos mesti darbą, kad padėtų savo verslui. Ji padarė. Jis liepė jai eiti į vidurinę mokyklą ir nesijaudinti dėl turimos studentų skolos. Ji padarė. Jis pažadėjo viskuo pasirūpinti, o ji juo patikėjo. Netrukus po to jis nustojo apmokėti jos kredito kortelės likučius. Jos rezultatas pradėjo krateriuoti.

Vis dėlto Miriam liko su juo. Jie susituokė. Jie turėjo tris vaikus. Tada vieną dieną FTB atėjo į jų namus ir jį suėmė. Federaliniame teisme teisėjas jį nuteisė už beveik 250 000 USD sukčiavimą elektroninėmis priemonėmis. Miriam sužinojo visą dešimčių tūkstančių dolerių skolą, kurią jis buvo susikrovęs jos vardu. Tą dieną, kai jis pateko į kalėjimą, aš turėjau 250 USD grynųjų, namą buvo areštuotas, automobilį, kurį ketinama atsiimti, ir tris vaikus, sako ji. Per mėnesį nuo auklės, gyvenimo gražiame name ir visa kita atsidūriau tiesiog siaubingame skurde.

Miriam išgyveno tai, kas vadinama priverstine skola – prievartos forma, kurią dažniausiai patiria intymus partneris arba šeimos narys. Nors ekonominis piktnaudžiavimas yra ilgalaikė problema, skaitmeninė bankininkystė palengvino sąskaitų atidarymą ir paskolų paėmimą aukos vardu, sako Carla Sanchez-Adams, Teksaso RioGrande Legal Aid advokatė. Automatizuotų kredito balų skaičiavimo algoritmų eroje pasekmės taip pat gali būti daug niokojančios.

Kredito balai buvo naudojami dešimtmečius vartotojų kreditingumui įvertinti, tačiau dabar, kai juos veikia algoritmai, jų apimtis yra daug didesnė: jie ne tik atsižvelgia į daug daugiau duomenų (tiek apimties, tiek tipo), bet ir vis labiau įtakoja, ar galite nusipirkti automobilį, išsinuomoti butą arba gauti darbą visu etatu. Jų visapusiška įtaka reiškia, kad jei jūsų rezultatas bus sugadintas, gali būti beveik neįmanoma susigrąžinti. Dar blogiau, kad algoritmai priklauso privačioms įmonėms, kurios neatskleidžia, kaip priima savo sprendimus. Aukos gali būti siunčiamos spirale žemyn, kuri kartais baigiasi benamyste arba grįžimu pas skriaudiką.

Kredito vertinimo algoritmai nėra vieninteliai, turintys įtakos žmonių ekonominei gerovei ir pagrindinių paslaugų prieinamumui. Dabar algoritmai nusprendžia, kurie vaikai patenka į globos namus, kuriems pacientams teikiama medicininė priežiūra, kurios šeimos gauna stabilų būstą. Tie iš mūsų, kurie turi priemonių, gali praleisti savo gyvenimą nieko to nežinodami. Tačiau mažas pajamas gaunantiems asmenims spartus automatizuotų sprendimų priėmimo sistemų augimas ir įsisavinimas sukūrė paslėptą susipynusių spąstų tinklą.

Laimei, vis daugiau civilinių teisininkų pradeda burtis šia tema. Pasiskolinę knygą iš kriminalinės gynybos pasaulio pasipriešinimo rizikos vertinimo algoritmams, jie siekia mokytis apie šias sistemas, kurti bendruomenę ir kurti bylinėjimosi strategijas. Iš esmės kiekvienas civilinis teisininkas pradeda nagrinėti šiuos dalykus, nes visi mūsų klientai yra vienaip ar kitaip paliečiami šių sistemų, sako Michele Gilman, klinikinės teisės profesorė iš Baltimorės universiteto. Turime pabusti, treniruotis. Jei norime būti tikrai gerais holistiniais teisininkais, turime tai žinoti.

Ar aš išnagrinėsiu algoritmą?

Gilmanas 20 metų dirba advokato praktika Baltimorėje. Dirbant civiline teisininke ir skurdo teisininke, jos bylos visada buvo susijusios su tais pačiais dalykais: atstovavimu žmonėms, kurie prarado prieigą prie pagrindinių poreikių, pavyzdžiui, būsto, maisto, švietimo, darbo ar sveikatos priežiūros. Kartais tai reiškia, kad reikia susidurti su vyriausybine agentūra. Kitais atvejais tai yra kredito ataskaitų agentūra arba nuomotojas. Vis dažniau kova dėl kliento tinkamumo dabar apima tam tikrą algoritmą.

Tai vyksta mūsų klientams, sako ji. Jie yra įtraukti į daugybę skirtingų algoritmų, kurie neleidžia jiems teikti pagrindinių paslaugų. Ir klientai gali to nežinoti, nes daugelis šių sistemų yra nematomos.

Mažas pajamas gaunantiems asmenims vienas laikinas ekonominis sunkumas gali sukelti užburtą ratą, kuris kartais baigiasi bankrotu ar benamyste.

JON TYSON / UNSPLASH

Ji tiksliai neprisimena, kada suprato, kad kai kuriuos tinkamumo sprendimus priima algoritmai. Tačiau kai tas perėjimas pirmą kartą prasidėjo, tai retai buvo akivaizdu. Kartą ji atstovavo pagyvenusiam neįgaliam klientui, kuris buvo nepaaiškinamai atkirstas nuo Medicaid finansuojamos namų sveikatos priežiūros pagalbos. Negalėjome išsiaiškinti, kodėl, prisimena Gilmanas. Ji vis labiau sirgo, ir paprastai, jei susirgai, gauni daugiau valandų, o ne mažiau.

Tik tada, kai jie stovėjo teismo salėje viduryje posėdžio, valstybei atstovaujantis liudytojas atskleidė, kad vyriausybė ką tik priėmė naują algoritmą. Liudytoja, medicinos sesuo, nieko negalėjo paaiškinti. Žinoma, ne - jie nusipirko jį iš lentynos, sako Gilmanas. Ji slaugytoja, o ne informakė. Ji negalėjo atsakyti, kokie veiksniai tai lemia. Kaip jis pasvertas? Kokių rezultatų siekiate? Taigi aš esu su savo studentu advokatu, kuris yra mano klinikoje kartu su manimi, ir man atrodo: „O, ar aš išnagrinėsiu algoritmą?“

Kevinui De Libanui, Arkanzaso teisinės pagalbos advokatui, pasikeitimas buvo toks pat klastingas. 2014 m. jo valstybė taip pat sukūrė naują Medicaid finansuojamos pagalbos namuose paskirstymo sistemą, atkirdama daugybę žmonių, kurie anksčiau turėjo teisę gauti pagalbą. Tuo metu jis ir jo kolegos negalėjo nustatyti pagrindinės problemos. Jie tik žinojo, kad kažkas yra kitaip. Galėjome pripažinti, kad vertinimo sistemos pasikeitė iš 20 klausimų popierinio klausimyno į 283 klausimų elektroninį klausimyną, sako jis.

Po dvejų metų, kai dėl algoritmo klaidos vėl buvo pradėtas teisinis patikrinimas, De Libanas pagaliau suprato problemos esmę. Jis suprato, kad slaugytojos pacientams sako: Na, kompiuteris tai padarė – tai ne aš. Būtent tai mus paskatino, sako jis. Jei būčiau žinojęs tai, ką žinojau 2016 m., 2014 m. turbūt būčiau geriau pasisakęs, priduria jis.

Vienas žmogus kasdien pereina tiek daug sistemų

Nuo to laiko Gilmanas tapo daug išprusęs. Iš savo požiūrio taško, atstovaujančio klientams, turintiems įvairių problemų, ji pastebėjo dviejų algoritminių tinklų kilimą ir susidūrimą. Pirmąjį sudaro kredito ataskaitų teikimo algoritmai, pavyzdžiui, tie, kurie užklupo Miriam, kurie turi įtakos prieigai prie privačių prekių ir paslaugų, tokių kaip automobiliai, namai ir darbas. Antrasis apima vyriausybinių agentūrų priimtus algoritmus, kurie turi įtakos prieigai prie viešųjų išmokų, tokių kaip sveikatos priežiūra, nedarbas ir paramos vaikams paslaugos.

Kalbant apie kredito ataskaitų teikimą, algoritmų augimą lėmė daugybės duomenų, kuriuos lengviau nei bet kada rinkti ir dalytis. Kredito ataskaitos nėra naujiena, tačiau šiais laikais jų pėdsakas yra daug platesnis. Vartotojų ataskaitas teikiančios agentūros, įskaitant kredito biurus, nuomininkų tikrinimo įmones arba čekių tikrinimo paslaugas, kaupia šią informaciją iš įvairių šaltinių: viešųjų įrašų, socialinės žiniasklaidos, naršymo internete, bankininkystės, programų naudojimo ir kt. Tada algoritmai priskiria žmonėms vertingumo balus, kurie labai svarbūs atliekant skolintojų, darbdavių, nuomotojų ir net mokyklų atliekamus asmens patikrinimus.

Kita vertus, vyriausybinės agentūros yra skatinamos priimti algoritmus, kai nori modernizuoti savo sistemas. Siekiama taikyti žiniatinklio programas ir skaitmeninius įrankius prasidėjo 2000-ųjų pradžioje ir tęsėsi pereinant prie labiau duomenimis pagrįstų automatizuotų sistemų ir dirbtinio intelekto. Yra rimtų priežasčių ieškoti šių pakeitimų. Pandemijos metu daugeliui bedarbio pašalpų sistemų buvo sunku patenkinti didžiulį naujų prašymų skaičių, todėl buvo labai vėluojama. Šių senų sistemų modernizavimas žada greitesnius ir patikimesnius rezultatus.

Tačiau programinės įrangos pirkimo procesas retai būna skaidrus, todėl jam trūksta atskaitomybės. Valstybinės agentūros dažnai perka automatizuotas sprendimų priėmimo priemones tiesiai iš privačių pardavėjų. Rezultatas yra toks, kad sistemoms suklydus, nukentėjusieji asmenys – ir jų advokatai – lieka nežinioje. Jie niekur to nereklamuoja, sako Julia Simon-Mishel, Filadelfijos teisinės pagalbos advokatė. Tai dažnai neparašyta jokiuose politikos vadovuose ar politikos vadovuose. Esame nepalankioje padėtyje.

Dėl viešo patikrinimo stokos sistemos taip pat labiau linkusios į klaidas. Vienas baisiausių gedimų įvyko 2013 m. Mičigano valstijoje. Po didelių pastangų automatizuoti valstijos bedarbio pašalpų sistemą, algoritmas neteisingai pažymėjo daugiau nei 34 000 žmonių dėl sukčiavimo . Simon-Mishel sako, kad tai sukėlė didžiulį naudos praradimą. Buvo bankrotų; deja, buvo savižudybių. Tai buvo visa netvarka.

Gilmanas nerimauja, kad su koronavirusu susijusios skolos ir iškeldinimai bus koduojami į kredito balus, todėl žmonėms bus nuolat sunkiau gauti darbą, butą ir paskolas.

SCOTT HEINS / GETTY IMAGES

Mažas pajamas gaunantys asmenys patiria didžiausią perėjimo prie algoritmų naštą. Jie yra žmonės, labiausiai pažeidžiami laikinų ekonominių sunkumų, kurie yra koduojami vartotojų ataskaitose, ir tie, kuriems reikia visuomenės naudos ir jos siekia. Bėgant metams Gilmanas matė vis daugiau atvejų, kai klientai rizikuoja patekti į užburtą ratą. Ji sako, kad vienas žmogus kasdien pereina tiek daug sistemų. Turiu galvoje, mes visi taip. Tačiau to pasekmės neturtingiems žmonėms ir mažumoms yra daug skaudesnės.

Kaip pavyzdį ji pateikia dabartinį atvejį savo klinikoje. Šeimos narys neteko darbo dėl pandemijos ir jam buvo atsisakyta gauti bedarbio pašalpą dėl automatinės sistemos gedimo. Tada šeima atsiliko nuo nuomos mokėjimų, todėl jų šeimininkas padavė juos į teismą dėl iškeldinimo. Nors iškeldinimas nebus teisėtas, nes CDC moratoriumą , ieškinys vis tiek bus įrašytas į viešuosius įrašus. Tada šie įrašai galėtų būti panaudoti nuomininkų tikrinimo algoritmams, todėl šeimai ateityje gali būti sunkiau rasti stabilų būstą. Jų nemokėjimas nuomos ir komunalinių mokesčių taip pat gali pakenkti jų kredito balui, o tai vėl turi pasekmių. Jei jie bando sukurti mobiliojo telefono paslaugą, imti paskolą, nusipirkti automobilį ar kreipiasi dėl darbo, tai tiesiog turi tokį pakopinį bangavimą, sako Gilmanas.

Kiekvienas atvejis pavirs į algoritmo atvejį

Rugsėjo mėn. Gilmanas, kuris šiuo metu yra duomenų ir visuomenės tyrimų instituto dėstytojas, paskelbė pranešimą dokumentuoti visus įvairius algoritmus, su kuriais gali susidurti skurdo teisininkai. Skambino Skurdo dėsniai , tai turėtų būti vadovas jos kolegoms šioje srityje. Suskirstytas į konkrečias praktikos sritis, pvz., vartotojų teisę, šeimos teisę, būstą ir viešąsias išmokas, jame paaiškinama, kaip spręsti problemas, kylančias dėl algoritmų ir kitų duomenimis pagrįstų technologijų pagal galiojančius įstatymus.

Pavyzdžiui, jei klientui atsisakoma įsigyti butą dėl prasto kredito balo, ataskaitoje rekomenduojama, kad teisininkas pirmiausia patikrintų, ar į balų sistemą įvedami duomenys yra tikslūs. Pagal Sąžiningo kredito ataskaitų teikimo įstatymą atskaitingos agentūros privalo užtikrinti savo informacijos galiojimą, tačiau taip nutinka ne visada. Bet kokių klaidingų pretenzijų užginčymas gali padėti atkurti kliento kreditą, taigi ir galimybę gauti būstą. Tačiau ataskaitoje pripažįstama, kad esami įstatymai gali nueiti tik iki šiol. Vis dar yra reguliavimo spragų, kurias reikia užpildyti, sako Gilmanas.

Gilmanas tikisi, kad pranešimas bus pažadinimo skambutis. Daugelis jos kolegų vis dar nesuvokia, kad tai vyksta, ir jie negali užduoti tinkamų klausimų, kad atskleistų algoritmus. Tie, kurie žino apie problemą, yra išsibarstę po JAV, mokosi, naršo ir kovoja su jomis atskirai. Ji mato galimybę juos sujungti ir sukurti platesnę žmonių, galinčių padėti vieni kitiems, bendruomenę. Mums visiems reikia daugiau mokymų, daugiau žinių – ne tik teisės, bet ir šių sistemų srityse, sako ji. Galiausiai panašu, kad kiekvienas atvejis pavirs į algoritmo atvejį.

Susijusi istorija

Prisijungimas, kad būtumėte pašalintas: Amerikos virtualios iškeldinimo krizės viduje Tūkstančiai nuomininkų yra išmetami iš savo namų telefonu ir vaizdo skambučiais.

Ilgainiui ji įkvėpimo ieško kriminaliniame teisiniame pasaulyje. Ji sako, kad kriminaliniai teisininkai buvo priekyje, kur organizavosi kaip bendruomenė ir atsiribojo nuo rizikos vertinimo algoritmų, lemiančių bausmę. Ji nori, kad civiliniai teisininkai darytų tą patį: sukurtų judėjimą, kuris padėtų daugiau visuomenės dėmesio ir reguliavimo paslėptam algoritmų tinklui, su kuriuo susiduria jų klientai. Kai kuriais atvejais ji tikriausiai turėtų būti tiesiog uždaryta, nes nėra jokio būdo padaryti teisingą, sako ji.

Kalbant apie Miriam, po Niko teistumo ji pasitraukė visam laikui. Ji su trimis vaikais persikėlė į naują valstiją ir susisiekė su ne pelno organizacija, kuri remia priverstines skolas ir smurtą šeimoje. Per juos ji lankė keletą užsiėmimų, kuriuose išmokė tvarkyti savo finansus. Organizacija padėjo jai atleisti daugelį priverstinių skolų ir sužinoti daugiau apie kredito algoritmus. Kai ji nuėjo pirkti automobilio, jos kredito balas vos pasiekė minimumą, kai pasirašė jos tėtis. Nuo tada jos nuolatiniai mokėjimai už automobilį ir studentų skola pamažu papildė jos kredito balą.

Miriam vis tiek turi išlikti budri. Nikas turi savo socialinio draudimo numerį ir jie dar nėra išsiskyrę. Ji nuolat nerimauja, kad jis galėtų atsidaryti daugiau sąskaitų, paimti daugiau paskolų jos vardu. Kurį laiką ji kasdien tikrindavo savo kredito ataskaitą dėl nesąžiningos veiklos. Tačiau šiais laikais ji taip pat turi ko laukti. Jos tėtis, įpusėjęs 60 metų, nori išeiti į pensiją ir persikelti gyventi. Dabar jiedu lazeriu susikoncentravę ruošiasi pirkti namą. Esu labai susijaudinęs dėl to. Mano tikslas yra iki metų pabaigos pasiekti 700, sako ji apie savo rezultatą, ir tada aš tikrai būsiu pasiruošęs pirkti namus.

Niekada negyvenau nuosavame name, priduria ji. Jis ir aš dirbame kartu, kad sutaupytume amžiną namą.

paslėpti