Dvejus metus trukusi kova, siekiant neleisti „Amazon“ parduoti veido atpažinimo policijai

Ponia Tech | Getty

2018 metų vasarą beveik 70 pilietinių teisių ir tyrimų organizacijų parašė laišką Jeffui Bezosui, reikalaujančiam, kad „Amazon“ nustotų teikti veido atpažinimo technologijas vyriausybėms. Dėl didesnio dėmesio technologijų įmonių vaidmeniui leidžianti JAV vyriausybei sekti ir deportuoti imigrantus , ji paragino „Amazon“ ginti pilietines teises ir pilietines laisves. Kaip skelbiama, „Rekognition“ yra galinga stebėjimo sistema, kurią galima lengvai pažeidžiant teises ir nukreipti į spalvotas bendruomenes.

Kartu su laišku Vašingtono Amerikos piliečių laisvių sąjunga (ACLU) perdavė daugiau nei 150 000 peticijų parašų ir dar vieną pačios bendrovės akcininkų laiškas reiškiančius panašius reikalavimus. Po kelių dienų „Amazon“ darbuotojai pakartojo susirūpinimą vidinis atmintinė .

Nepaisant didėjančio spaudimo, „Amazon“ tęsė savo veiklą kaip įprasta. Tai paskatino „Rekognition“ kaip įrankį, leidžiantį stebėti dominančius žmones ir padvigubėjo dėl kitų stebėjimo technologijų teikimo vyriausybėms. Pavyzdžiui, vos kelis mėnesius anksčiau įsigyta bendrovės dukterinė įmonė „Ring“ greitai užmezgė partnerystę su daugiau nei 1300 teisėsaugos institucijų kriminaliniams tyrimams panaudoti savo namų apsaugos kamerų filmuotą medžiagą.

Tačiau trečiadienį, birželio 10 d., „Amazon“ sukrėtė pilietinių teisių aktyvistus ir tyrėjus, kai paskelbė, kad paskelbs vienerių metų moratoriumą policijos naudojimui „Rekognition“. Judėjimas sekė IBM sprendimas nutraukti veiklą jos bendros paskirties veido atpažinimo sistema. Kitą dieną, „Microsoft“ tai paskelbė ji nustotų parduoti savo sistemą policijos departamentams, kol federalinis įstatymas nereguliuos šios technologijos. Nors „Amazon“ padarė mažiausią nuolaidą iš trijų bendrovių, ji taip pat yra didžiausia technologijos tiekėja teisėsaugai. Šis sprendimas yra dvejus metus trukusių tyrimų ir išorinio spaudimo kulminacija, siekiant parodyti „Rekognition“ techninius trūkumus ir piktnaudžiavimo galimybę.

Neįtikėtina, kad „Amazon“ iš tikrųjų reaguoja į šį dabartinį pokalbį apie rasizmą, sakė Deborah Raji, AI atskaitomybės tyrėja, bendraautorė. pamatinis tyrimas dėl rasinių šališkumo ir netikslumų, įmontuotų įmonės technologijoje. Tai tik kalba apie šios dabartinės akimirkos galią.

Metai yra pradžia, sako Kade Crockford, Masačusetso ACLU technologijų laisvės programos direktorius. Tai absoliutus bendrovės pripažinimas, bent jau netiesiogiai, kad tai, ką jiems dvejus metus sakė rasinio teisingumo gynėjai, yra teisinga: veido stebėjimo technologija kelia pavojų juodaodžiams ir rudiems žmonėms Jungtinėse Valstijose. Tai nuostabus prisipažinimas.

Dveji metai kuriami

2018 m. vasario mėn. MIT tyrėjas Joy'us Buolamwini ir Timnitas Gebru, tuometinis „Microsoft“ tyrėjas, paskelbė novatoriškas tyrimas pavadintas „Gender Shades“ dėl lyties ir rasinio šališkumo, įtvirtinto komercinėse veido atpažinimo sistemose. Tuo metu tyrimas apėmė „Microsoft“, IBM ir „Megvii“, vienos didžiausių Kinijos veido atpažinimo paslaugų teikėjų, parduodamas sistemas. Tai neapėmė „Amazon“ atpažinimo.

Nepaisant to, tai buvo pirmasis tokio pobūdžio tyrimas, o rezultatai buvo šokiruojantys: blogiausia sistema, IBM, buvo 34,4 procentinio punkto prasčiau klasifikuojant tamsiaodžių moterų lytį nei šviesiaodžių vyrų. Išvados iš karto paneigė tvirtinimus, kuriuos įmonės naudojo pardavindamos savo produktus, ir paskatino diskusijas apie veido atpažinimą apskritai.

Vykstant diskusijoms, netrukus paaiškėjo, kad problema taip pat yra gilesnė nei iškreipti mokymo duomenys ar netobuli algoritmai. Net jei sistemos pasieks 100% tikslumą, jos vis tiek gali būti panaudotos pavojingais būdais, perspėjo daugelis tyrėjų ir aktyvistų.

Kadras iš Joy Buolamwini vaizdo poemos „AI, ar aš ne moteris?“ demonstruojant kai kurias žiaurias „Rekognition“ padarytas klaidas.

ALGORITMINIO TEISINGUMO LYGOS ATLAIKUMAS

Yra du būdai, kaip ši technologija gali pakenkti žmonėms, sako Raji, dirbęs su Buolamwini ir Gebru „Gender Shades“. Vienas iš būdų yra neveikti: dėl didesnio spalvų žmonių klaidų lygio jiems kyla didesnė rizika. Antra situacija, kai ji daro darbas – kur turite tobulą veido atpažinimo sistemą, tačiau ją lengva ginkluoti prieš bendruomenes, kad jas priekabiautumėte. Tai atskiras ir susijęs pokalbis.

„Gender Shades“ darbas buvo atskleisti pirmąją situaciją, sako ji. Tai darydamas, jis sukūrė angą, kad būtų galima atskleisti antrąjį.

„Amazon“ bandė diskredituoti jų tyrimus; ji bandė jas sumenkinti kaip juodaodes moteris, kurios vadovavo šiam tyrimui.

Meredith Whittaker

Taip atsitiko su IBM. Po to, kai buvo paskelbtas „Gender Shades“, IBM buvo viena iš pirmųjų įmonių, susisiekusių su mokslininkais, kad išsiaiškintų, kaip išspręsti šališkumo problemas. 2019 m. sausio mėn. ji išleido duomenų rinkinį, pavadintą Veidų įvairovė , kuriame yra daugiau nei 1 milijonas anotuotų veido vaizdų, siekiant patobulinti tokias sistemas. Bet judėjimas atsiliepė atgal po to, kai žmonės sužinojo, kad vaizdai buvo nubraukti iš „Flickr“, iškeliant sutikimo ir privatumo klausimus. Tai sukėlė dar vieną vidinių diskusijų seriją apie tai, kaip etiškai lavinti veido atpažinimą. Tai paskatino juos į triušių duobę atrasti daugybę problemų, kylančių naudojant šią technologiją, sako Raji.

Taigi galiausiai nenuostabu, kai bendrovė pagaliau ištraukė kištuką. (Kritikai nurodyti kad jos sistema ir taip nelabai įsitvirtino rinkoje.) IBM tiesiog suprato, kad „nauda“ jokiu būdu nėra proporcinga žalai, sako Raji. Ir šiuo konkrečiu momentu jiems buvo tinkamas laikas apie tai paskelbti viešai.

Tačiau nors IBM reagavo į išorinius atsiliepimus, Amazon reagavo priešingai. 2018 m. birželio mėn., tarp visų kitų laiškų, kuriuose reikalaujama, kad bendrovė sustabdytų policijos naudojimąsi Rekognition, Raji ir Buolamwini išplėtė Lyčių atspalvių auditą kad apimtų jo veikimą. Rezultatai, paskelbti po pusės metų a recenzuojamas darbas , dar kartą aptiko didžiulių techninių netikslumų. Atpažinimas tamsiaodžių moterų lytį klasifikavo 31,4 procentinio punkto tiksliau nei šviesiaodžių vyrų.

Liepos mėnesį taip pat Šiaurės Kalifornijos ACLU atliko savo tyrimą , nustatęs, kad sistema klaidingai suderino 28 JAV Kongreso narių nuotraukas su mugshots. Klaidingos degtukai buvo neproporcingai spalvoti žmonės.

Užuot pripažinę rezultatus, „Amazon“ paskelbė du Dienoraštis pranešimų teigdamas, kad Raji ir Buolamwini darbas buvo klaidinantis. Atsakant, beveik 80 AI tyrinėtojų , įskaitant Turingo apdovanojimo laureatą Yoshua Bengio, apgynė darbą ir dar kartą paragino įmonę nustoti pardavinėti veido atpažinimą policijai.

Tuo metu tai buvo tokia emocinga patirtis, prisimena Radži. Mes atlikome labai daug kruopštumo siekdami rezultatų. Ir tada pradinis atsakas buvo toks tiesiogiai konfrontuojantis ir agresyvus gynybinis.

„Amazon“ bandė diskredituoti jų tyrimus; ji bandė jas sumenkinti kaip juodaodes moteris, kurios vadovavo šiam tyrimui, sako Meredith Whittaker, AI Now instituto, tiriančio socialinį AI poveikį, įkūrėja ir direktorė. Bandė suformuluoti pasakojimą, kad jie suklydo – kad kiekvienas, kuris aiškiai suprato technologiją, žinotų, kad tai nėra problema.

Šis žingsnis iš tikrųjų sukėlė „Amazon“ politinį pavojų.

Mutale Nkonde

Tiesą sakant, „Amazon“, viešai atmetusi tyrimą, pradėjo investuoti į užkulisių pataisų tyrimus. Jis pasamdė sąžiningumo lyderį, investavo į NSF mokslinių tyrimų stipendija Kad būtų sušvelnintos problemos, ir po kelių mėnesių išleido naują „Rekognition“ versiją, tiesiogiai atsakydama į tyrimo susirūpinimą, sako Raji. Tuo pačiu tai atmušti akcininkų pastangas sustabdyti technologijų pardavimą ir atlikti nepriklausomą žmogaus teisių vertinimą. Taip pat išleido milijonus lobizmas Kongrese, kad būtų išvengta reguliavimo.

Bet paskui viskas pasikeitė. 2020 m. gegužės 25 d. pareigūnas Derekas Chauvinas nužudė George'ą Floydą ir sukėlė kibirkštį istorinis judėjimas JAV kovoti su instituciniu rasizmu ir nutraukti policijos brutalumą. Atsakydami į Atstovų rūmų ir Senato demokratus pristatė policijos reformos įstatymo projektą Tai apima pasiūlymą apriboti veido atpažinimą teisėsaugos kontekste, o tai žymi didžiausias federalines pastangas reguliuoti technologiją. Kai IBM paskelbė, kad nutrauks veido atpažinimo sistemą, ji taip pat išsiuntė laiškas Kongreso „Black Caucus“, ragindamas pradėti nacionalinį dialogą dėl to, ar ir kaip veido atpažinimo technologija turėtų būti naudojama šalies teisėsaugos institucijose.

Manau, kad IBM sprendimas išsiųsti šį laišką tuo metu, kai ta pati įstatymų leidžiamoji institucija svarsto policijos reformos įstatymo projektą, iš tikrųjų pakeitė aplinką, sako Mutale Nkonde, AI politikos patarėja ir Harvardo Berkmano Kleino centro bendradarbė. Nors jie nebuvo dideli žaidėjai veido atpažinimo srityje, šis žingsnis tikrai sukėlė „Amazon“ politinį pavojų. Jis nustatė aiškų ryšį tarp technologijos ir vykstančio nacionalinio pokalbio taip, kad reguliavimo institucijoms buvo sunku nepaisyti.

Atsargus optimizmas

Tačiau nors aktyvistai ir tyrinėtojai mano, kad „Amazon“ nuolaida yra didelė pergalė, jie taip pat pripažįsta, kad karas dar nesibaigė. Viena vertus, „Amazon“ 102 žodžių skelbime buvo neaiški informacija apie tai, ar moratoriumas apims teisėsaugos institucijas už policijos ribų, pavyzdžiui, JAV imigracijos ir muitinės tarnybos ar Tėvynės saugumo departamento. („Amazon“ neatsakė į prašymą pakomentuoti.) Kitam vienerių metų galiojimo laikas taip pat yra raudona vėliavėlė.

Ciniškoji mano dalis sako, kad „Amazon“ ketina palaukti, kol protestai nurims – kol nacionalinis pokalbis persikels į ką nors kita – ir grįš į savo ankstesnę poziciją, sako ACLU Crockford. Atidžiai stebėsime, kad šios bendrovės nesulauktų gero spaudos šiems naujausiems pranešimams, o kartu dirbsime užkulisiuose, kad sužlugdytume mūsų pastangas įstatymų leidybos institucijose.

Štai kodėl aktyvistai ir mokslininkai taip pat mano, kad reguliavimas vaidins svarbų vaidmenį judant į priekį. Pamoka čia nėra ta, kad įmonės turėtų savarankiškai valdyti, sako Whittaker. Pamoka ta, kad mums reikia didesnio spaudimo ir kad mums reikia taisyklių, kurios užtikrintų, kad nežiūrėtume tik į vienerių metų draudimą.

Ciniška mano dalis sako, kad „Amazon“ ketina palaukti, kol protestai nurims... kad grįš į savo ankstesnę padėtį.

Kade Crockford

Kritikai sako, kad dabartinio policijos reformos įstatymo nuostatos dėl veido atpažinimo, draudžiančios tik realiu laiku jį naudoti kūno kamerose, nėra pakankamai plačios, kad technologijų milžinai būtų visiškai atskaitingi. Tačiau Nkonde nusiteikusi optimistiškai: ji mano, kad šis pirmasis rekomendacijų rinkinys yra papildomo reguliavimo sėkla. Priėmę įstatymą, jie taps svarbiu atskaitos tašku kitiems įstatymų projektams, surašytiems siekiant uždrausti veido atpažinimą kitose programose ir kontekstuose.

Ji sako, kad federaliniu ir vietos lygmenimis tikrai vyksta didesnis įstatymų leidybos judėjimas. Ir dėmesys, kad Floydo mirtis nušvito rasistinei policijos veiklai, paspartino jos platų palaikymą.

Tikrai nereikėjo policijos nužudyti George'o Floydo, Breonnos Taylor ir per daug kitų juodaodžių žmonių – ir šimtų tūkstančių žmonių, einančių į gatves visoje šalyje –, kad šios bendrovės suprastų, jog Blacko reikalavimai. Browno vadovaujamos organizacijos ir mokslininkai iš ACLU ir daugelio kitų grupių buvo moraliai teisingi, sako Crockfordas. Bet štai mes. Geriau vėliau negu niekada.

paslėpti