Kas atsitinka, kai algoritmas suklysta

Pirmoje iš keturių dalių serijos „FaceID“ laidos vedėja Jennifer Strong tyrinėja, kaip Detroito policija melagingai suėmė Robertą Williamsą. Keistas dalykas Viljamso išbandyme buvo ne tai, kad policija naudojo veido atpažinimą, kad atpažintų jį, o tai, kad policininkai jam apie tai pasakė. Joks įstatymas nesako, kad jie turi. Epizodas pradeda atskleisti šios technologijos sudėtingumą ir pateikia keletą sudėtingų klausimų apie jos naudojimą.

Susitinkame:

• Robertas ir Melissa Williamsai
• Peteris Fussey, Esekso universitetas
• Hamidas Khanas, sustabdykite LAPD šnipinėjimo koaliciją

Kreditai:

Apie šį epizodą pranešė ir prodiusavo Jennifer Strong, Tate'as Ryanas-Mosley ir Emma Cillekens. Mums padėjo Karen Hao ir Benji Rosen. Mus redaguoja Michaelas Reilly ir Gideonas Lichfieldas. Mūsų techninis direktorius yra Jacob Gorski. Ypatingas ačiū Kyle'ui Thomasui Hemingway'ui ir Ericui Mongeonui.

Visas epizodo nuorašas:

Robertas Williamsas: Buvau visiškai sukrėstas ir priblokštas, kai mane suėmė vidury baltos dienos, prieš savo dukrą, prieš žmoną, prieš savo kaimynus. Tai buvo vienas labiausiai šokiruojančių dalykų, kurie man kada nors nutiko.

Jennifer Strong: Tai Robertas Williamsas. Jis aprašo, kas sausio mėnesį atsitiko už jo namų turtingame Detroito priemiestyje, vadinamame Farmington Hills.

Jennifer Strong: Diena prasidėjo kaip ir bet kuri kita.

Robertas Williamsas: Tai buvo tiesiog nuobodus ketvirtadienis.

Jennifer Strong: Jis atsikėlė, nuėjo į darbą. Bet tada viskas pasidarė keista.

Robertas Williamsas: Su Melissa telefonu apie 4 val.

Jennifer Strong: Melisa yra jo žmona. Jie yra pokalbio viduryje, kai jis išgirsta kitą liniją.

Robertas Williamsas: Paspaudžiu. Aš sakau: 'Labas?'

– Robertas?

Ir aš klausiu: 'Kas tai yra?'

„Tu turi nusileisti ir pasiduoti“.

'Kas čia?'

— Karininkas iš trečiosios nuovados.

'Ir aš turiu pasiduoti už ką?'

Taigi jis pasakė: „Aš negaliu tau to pasakyti“.

Ir aš sakau: „Tada aš negaliu nusileisti“.

„Na, jei tu nusileisi, tau būtų daug lengviau. Jūs nenorite, kad mes eitume į jūsų darbą, tiesa?

Šiuo metu manau, kad tai pokštas.

Taigi aš sakau: „Žmogau, jei nori manęs, ateik manęs pasiimti“. būsiu namie. Atnešk orderį. Ir padedu jam ragelį.

Jennifer Strong: Melissa namuose laukia mamos ir dukros ir eina jų pasveikinti, kai jos užsuka.

Melissa Williams: Eidamas pro šalį pažvelgiau į lauką ir lauke buvo policininko mašina.

Ir aš pasakiau: „Taigi, tai nebuvo pokštas. Čia tikrai yra žmonių“.

Ir jie priėjo prie durų.

Aš tai atsakiau.

Ir jie tarsi įkišo koją į duris ir pasakė: „Išsiųsk Robertą“.

Ir aš pasakiau: „Jo čia nėra“.

Ir jie pasakė: „Mes ką tik matėme jį išlipusį iš to furgono“.

Ir aš pasakiau: „Tai buvo mano mama. Jo čia nėra.

Jennifer Strong: Aišku, kažkas labai negerai, bet jie nežino, kas tai yra.

Robertas Williamsas: Turi būti klaidinga tapatybė ar kažkas panašaus. Nežinau, kodėl mano namuose yra Detroito policija.

Jennifer Strong: Paaiškėjo, kad jie ten buvo, nes veido atpažinimo programinė įranga neteisingai suderino jo vairuotojo pažymėjimo nuotrauką su apsaugos kameros filmuota medžiaga, kurioje asmuo vagia laikrodžius.

Robertas Williamsas: Patraukiu čia į važiuojamąją dalį, patraukiu įprastoje vietoje, iššoku. Kol uždariau dureles, automobilis stovi važiuojamojoje dalyje ir užstoja mane į vidų. Ir jie stovėjo taip, skersai mano važiuojamosios dalies, tarsi aš ketinu atsitraukti ir bandyti pakilti.

Melissa Williams: Kai tik jis uždarė duris, jie buvo tiesiai prieš jį.

Ir aš vis dar buvau čia, nes turėjau mergaites, ir jos jau pradėjo jį uždėti antrankiais, kai mes išėjome.

Jennifer Strong: Jis liepė dukrai grįžti į vidų, kad policija padarė klaidą, ir jis tuoj grįš. Bet jis ne tuoj grįžo.

Policija jį sulaikė, o naktį praleido kalėjime. Jis vis dar neįsivaizdavo, kas vyksta. Ir jis buvo piktas.

Tačiau jis sako, kad kaip juodaodis turėjo pagalvoti, kas galėtų nutikti, jei leis tai parodyti. Taigi jis išliko ramus ir laukė.

Kitą rytą pareigūnai jam parodė kelias nuotraukas, kuriose užfiksuotas laikrodžius vagiantis vyras. Išskyrus tai, kad tos nuotraukos buvo ne jo. Jie buvo kažkas kitas.

Robertas Williamsas: 'Taigi tai ne tu?'

Pažvelgiau. Aš pasakiau: „Ne, tai ne aš“.

Jis apverčia kitą popierių. Jis sako: „Manau, tai irgi ne tu?

Paėmiau tą popierių ir laikiau prie savo veido. Ir aš pasakiau: „Tai ne aš“.

Aš sakiau: „Tikiuosi, jūs nemanote, kad visi juodaodžiai atrodo vienodai“.

Ir tada jis sako: „Kompiuteris sako, kad tai tu“.

Jei jis būtų ką tik atsinešęs nuotrauką, būtų galėjęs pažvelgti į ją aukštyn ir žemyn, būtų galėjęs išeiti ir pasakyti: o, blogai. Aš nenorėjau tavęs trukdyti.

Jennifer Strong : Šioje istorijoje neįprasta ne tai, kad įtariamajam surasti buvo naudojamas veido ID. Neįprasta tai, kad Robertui Williamsui buvo pasakyta, nes policija neprivalo to atskleisti. Veido atpažinimas nėra reguliuojamas. Ne taip, kaip juo naudojasi teisėsauga. Ne taip, kaip juo naudojasi darbdaviai.

Aš esu Jennifer Strong. Ir tai yra vienas naujos serijos, kurioje tiriama, kas nutinka, kai viskas aplink mus tampa automatizuota, serija. Pradedame keturių dalių žvilgsniu į veido atpažinimą ir policijos veiklą. Susitiksime su žmonėmis, kurie kuria šią technologiją, kovoja su ja ir bando reguliuoti, kaip ji bus naudojama.

Jennifer Strong: Pagalvokite apie tai taip. Veido atpažinimas naudojamas kaip nusikaltėlių paieškos sistema. Ir jūsų veidas yra paieškos terminas.

Manoma, kad 2016 m. pusės visų JAV suaugusiųjų veidai buvo saugomi sistemose, kurias policija naudoja įvardydama įtariamuosius. Kai kas tai vadina nuolatine sudėtimi, tačiau tauta gali būti lūžio taške tiek santykiuose su policija, tiek su šia technologija. Birželio mėnesį technologijų milžinai „Amazon“ ir „Microsoft“ sustabdė savo veido ID produktų pardavimą teisėsaugai. IBM visiškai nustojo jį parduoti. Tada Niujorkas priėmė įstatymo projektą, numatantį visų stebėjimo technologijų priežiūrą, nepaisant NYPD pasipriešinimo. Ir po to, kai paaiškėjo neteisėtas Roberto Williamso areštas, Detroito policija teigia, kad smurtiniams nusikaltimams tirti naudos tik veido ID. Ir jie tai padarys su nejudančiomis nuotraukomis, nes labiau tikėtina, kad jos tiksliai atitiks. Bet ar užtenka?

Peteris Fusey: Gerai, šiuo metu mes esame Rytų Londone, vietoje, vadinamoje Stratfordu.

Jennifer Strong: Vasario mėnesį prieš pandemiją pasivaikščiojau su Peteriu Fussey.

Peteris Fusey: Kuri istoriškai buvo daug nepritekliaus sfera, kuri turėjo siaubingai daug investicijų prieš pat 2012 m. olimpines žaidynes, kurios čia buvo surengtos.

Jennifer Strong: Tai vieta, kur Londono policija realiuoju laiku išbando kameras, kurios veidus atitinka tapatybes. Esate komandos, kuriančios nacionalinę priežiūros strategiją, narys. Ar taip?

Peteris Fusey: Taigi mes esame tyrimo projekto dalis. Mes žiūrime į naujas technologijas ir žmogaus teisių pasekmes atskirai. Taip pat dirbu su JK stebėjimo kamerų reguliavimo institucija ir vadovauju jo žmogaus teisių strategijos daliai.

Jennifer Strong: Jis daugiau nei 20 metų studijavo technologinę priežiūrą.

Piteris Fusėjus : Pradėjau žiūrėti į uždaros grandinės televiziją, vaizdo stebėjimo kameras. Jie labai pažįstami gatvėje, CCTV. Mane visada nustebino, kaip mažai žmonių atrodo tai susirūpinę. Žinote, aš keisčiau, kodėl turėtume reguliuoti. Ir iš esmės tai buvo sutikta abejingai. O veido atpažinimas atrodo labai skirtingas. Tai patraukė visuomenės vaizduotę. Tai kasdien skelbiama žiniasklaidoje.

Žinių pranešėjas: Na, jūsų veidas gali pasakyti žmonėms daug daugiau, nei jūs manote. Naujame veido atpažinimo technologijų pasaulyje kiekvienas jūsų judesys gali būti stebimas.

Žinių pranešėjas: Šie pirkėjai to nežino, bet kompiuteris nuskaito jų veidus ir lygina jų bruožus su žinomų parduotuvių vagių.

Pakalbintas vyras: Tai siaubinga. Tai privatumo pažeidimas.

Pakalbinta moteris: Ši technologija diegiama be jokios viešosios priežiūros ir atskaitomybės.

Antroji kalbinta moteris: Esame verčiami nusifotografuoti, kad gautume raktus.

Žinių pranešėjas: Net popžvaigždė Taylor Swift slapta panaudojo technologiją, kad išnaikintų persekiotojus.

Jennifer Strong: Tačiau nors dėl visuomenės pasipiktinimo kai kuriose vietose ši technologija buvo uždrausta, įskaitant technologijų centrus, tokius kaip San Franciskas ir Kembridžas, Masačusetsas, kur yra įsikūrusi MIT, Londono policija išbandė labai agresyvią jos versiją 10 skirtingų viešųjų erdvių.

Peteris Fusey: JK matote tiesioginį veido atpažinimą, o tai reiškia, kad yra asmenų, kuriais domisi policija, duomenų bazė. Tada, kai visuomenė eina pro kamerą, kiekvienas iš tų žmonių yra nuskaitomas ir suderinamas su ta duomenų baze. Čia jūs vykdote stebėjimą prieš, žinote, bet kokį nusikaltimą.

Jennifer Strong: Vienas dalykas, kai policijos departamentas pakelia asmens nuotrauką, kad bandytų jį identifikuoti sistemoje. O tai, kad identifikavimas vyksta realiu laiku, yra visai kas kita.

Peteris Fusey: Taip, būtent taip. Ir manau, kad tai tikrai svarbi diskusijų dalis, kuri dažnai pasimeta.

Kitas skirtumas yra tai, kad esamos vaizdo stebėjimo kameros arba žemų technologijų analoginis žmogaus stebėjimas neapima biometrinių duomenų fiksavimo, apdorojimo, priežiūros ir tvarkymo, o tai yra speciali duomenų kategorija ir visuotinai vertinama kaip įkyri informacija. praktika.

Jennifer Strong: Ir ta speciali duomenų kategorija turi būti saugiai rūšiuojama ir saugoma. Ir kaip jis pabrėžia, joks žmogus negali apdoroti tūrio, kurį užfiksuoja šios sistemos.

Peteris Fusey: Tai kelia rimtų klausimų, pavyzdžiui, kiek tai proporcinga. Kaip būtina biometriniu būdu nuskaityti dešimtis tūkstančių žmonių, nes jums įdomu su kuo nors pasikalbėti. Dabar, jei tai žinomas laisvėje esantis žudikas arba visada pateikiamas pavyzdys, kaip žinote, netrukus įvyks teroristinis išpuolis, tada viskas kitaip. Galite pateikti daug svarbesnį reikalingumo ir proporcingumo argumentą, bet mažiau, jei tai tik kažkas, su kuriuo norėtumėte pasikalbėti apie antisocialaus elgesio incidentą ar kažką panašaus.

Jennifer Strong: Na, kitas klausimas, kai sakote, kad žmonės negali apdoroti tos informacijos, bet taip pat neaišku, ar technologija dar gali. Kas atsitiks, jei jūsų tapatybė bus klaidinga?

Peteris Fusey: Jei fotoaparatas sako, kad esate įtariamasis, esate kažkas iš jų stebėjimo sąrašo, kiek kartų mes žinome, kad tai teisinga? Atlikdami tyrimą nustatėme, kad tai buvo teisinga aštuonis kartus iš 42. Taigi šešias dienas sėdint policijos furgonuose aštuonis kartus.

Jennifer Strong: Jis atliko vienintelę nepriklausomą šių bandymų apžvalgą ir nustatė, kad ji buvo tiksli mažiau nei 20 % laiko.

Peteris Fusey: Jis gali puikiai veikti laboratorinėmis sąlygomis. Bet, žinote, lauke, kaip aplinka, kurioje dabar esame, šviesa blėsta, žiemos šviesa. Didžioji dalis žvalgybos duomenų apie daugelį nusikaltimų yra susijusi su naktine ekonomika. Taigi veido atpažinimas veikia prasčiau esant silpnam apšvietimui ir su tuo susijusių problemų.

Jennifer Strong: Jis taip pat ne toks veiksmingas įvairiose demografinėse grupėse.

Peteris Fusey: Taigi, ne tik etninė ar rasinė etninė priklausomybė, bet ir lytis. Ir tai susilieja į visą problemą, susijusią su transseksualų teisėmis ir amžiumi. Pavyzdžiui, vaikų veidai atskleidžia mažiau informacijos nei 40 metų amžiaus, kaip aš. Kodėl tai svarbu, jei policija naudoja technologiją, kuri nėra tokia efektyvi skirtingoms grupėms, tada, nebent jie žinotų apie tuos apribojimus ir negalėtų kažkaip juos sušvelninti, neįmanoma teigti, kad jie naudoja technologija, suderinama su žmogaus teisėmis.

Jennifer Strong: Kaip suderinate žmogaus teises ir stebėjimo strategiją?

Peteris Fusey: Mes dažnai galvojame apie tokius dalykus kaip saugumas kaip opoziciją žmogaus teisėms.

Žinoma, pirmoji valstybių pareiga pagal JT žmogaus teisių deklaraciją yra valstybėms užtikrinti savo piliečių saugumą ir saugumą. Taigi dažnai yra toks laisvės ir saugumo rėmimas, kuris man ir mano kolegoms būtų visai nenaudingas. Žinote, jūs galite turėti abu, o jūs galite neturėti nei vieno.

Jennifer Strong: Mes einame į kitą vietą, kurią jis nori man parodyti.

Peteris Fusey: Tiesiog šio tilto gale galite pamatyti stulpą su keliomis kameromis. Jei eitumėte šiuo tiltu link tų kamerų, patektumėte į tašką, kur buvo ženklas, kad veikia veido atpažinimas. Dabar, jei norėtumėte tęsti kelionę, turėtumėte praeiti pro tas kameras. Tačiau policija teigė, kad tai buvo teismo procesas. Taigi, jei nenorėjote dalyvauti tame tyrime, turėjote apsisukti. Ir norint patekti į tą patį tašką už tų kamerų, reikėtų maždaug 20 minučių.

Jennifer Strong: Gerai, taigi ši dalis yra tikrai svarbi.

Peteris Fusey: Čia nėra tikro prasmingo sutikimo. Jei atšaukiate sutikimą, nes nenorite būti kameroje, turėtumėte galėti atšaukti sutikimą be baudos. Priešingu atveju tai nėra sutikimas.

Jennifer Strong: Kažkas kito. Ar eidami gatve žinote, kada nuo viešo šaligatvio pereinate ant betono, kuris priklauso įmonei? Ar žinojote, kad jūsų teisės į privatumą gali skirtis vos keliais žingsniais?

Peteris Fusey: Taigi čia, kur mes stovime, už Westfield prekybos centro, yra privati ​​erdvė. Bet mes manome, kad tai vieša. Aplink čia daug žmonių. Tai turi viešosios erdvės pojūtį. Tačiau nutinka taip, kad eidami 30 metrų į kairę, esate viešoje vietoje, o visos kameros priklauso valdžios institucijoms. O jei einate 30 metrų į dešinę, jie priklauso privačioms įmonėms.

Jennifer Strong: O kas ant galvos?

Peteris Fusey: Kuris? tą? Taip, tai priklauso privačiai įmonei.

Jennifer Strong: Skirtumas grįžta į paprastą dalyką. Viešosios grupės yra atskaitingos visuomenei.

Face ID veikia nustatydamas unikalų matmenų rinkinį tarp jūsų bruožų, tokių kaip atstumas tarp akių, nosies ilgis ir lūpų kreivumas. Ankstyviausios sistemos buvo išrastos septintajame dešimtmetyje. Tačiau dešimtmečius ši technologija tikrai nebuvo naudinga. Tada, 2000-ųjų pradžioje, Floridos vietos teisėsauga sukūrė veido atpažinimo programą visoje valstijoje. Praėjus dešimtmečiui, „Facebook“ išrado naują būdą, kaip pradėti atpažinti ir automatiškai pažymėti žmones nuotraukose, greitai pagerindama veidų atpažinimą iki dabar. Dabar jis plačiai naudojamas oro uostuose ir policijoje, tačiau mažai aišku, kokios sistemos naudojamos ir kaip jos naudojamos.

Hamidas Khanas: Algoritmams nėra vietos policijoje. Manau, kad labai svarbu tai suprasti, nes ant kortos gresia gyvybės.

Jennifer Strong: Hamidas Khanas yra aktyvistas, kovojantis prieš stebėjimo ir daugelio kitų Los Andželo policijos naudojamų technologinių priemonių naudojimą.

Hamidas Khanas: Bet kuriuo metu stebėjimas įteisinamas, vėliau jis gali būti plečiamas laikui bėgant ir istoriškai buvo naudojamas tam tikroms bendruomenėms sekti ir sekti, stebėti ir persekioti.

Bendruomenės, kurios yra neturtingos, bendruomenės, kurios yra juodos ir rudos, bendruomenės, kurios būtų laikomos įtariamomis, keistomis, transkūnais. Tai socialinės kontrolės procesas.

Jennifer Strong: Khanas sukūrė „Stop LAPD Spying Coalition“, grupę, kurią jis apibūdina kaip įnirtingą panaikinimo šalininką.

Jis nemano, kad apriboti, kaip policija naudoja veido ID, veiks. Taigi, per tai, ką geriausiai būtų galima apibūdinti kaip įvaikinimo cunamį, kai diskusijos daugiausia buvo nukreiptos į geriausią praktiką, jis daugiausia dėmesio skiria šių technologijų uždraudimui. Ir tai pasisekė. Kelios duomenų kontrolės ir nuspėjamosios policijos programos Los Andžele baigėsi po viešo ir teisinio jo grupės spaudimo. Khano nuomone, dalis to, kaip mes pasiekėme šią akimirką, yra pakeitę įtartinos veiklos apibrėžimo būdą,

Hamidas Khanas: Apibrėžimas yra toks, kad stebimas elgesys pagrįstai rodo nusikalstamos ir (arba) teroristinės veiklos planavimą prieš operaciją. Taigi, jūs stebite kažkieno elgesį, o ne faktą, o susirūpinimą, kad žmogus gali galvoti apie ką nors blogo, tiesa? Taigi, dabar kalbame apie tai, kad spekuliatyvi ir nuojauta pagrįsta policijos veikla yra tikra.

Jennifer Strong: Akademinių ir vyriausybės tyrimų dėka mes žinome, kad veido atpažinimas geriausiai veikia baltiesiems vyrams.

Joy Buolamwini : Sveiki, fotoaparatas. Aš turiu veidą. Ar matai mano veidą? Nėra akinių veido? Tu gali matyti...

Jennifer Strong: Tai MIT tyrėjas Joy'us Buolamwini, skaitęs TED kalbą.

Joy Buolamwini: Taigi kas vyksta? Kodėl mano veidas neaptinkamas? Na, turime pažvelgti į tai, kaip suteikiame mašinoms regėjimą. Taigi, kaip tai veikia, sukurkite treniruočių rinkinį su veidų pavyzdžiais. Tai veidas, tai veidas, tai ne veidas. Ir laikui bėgant galite išmokyti kompiuterį atpažinti kitus veidus.

Jennifer Strong: Tačiau jei treniruočių komplektai tikrai nėra tokie įvairūs, bet kokį veidą, kuris per daug nukrypsta nuo nustatytos normos, bus sunkiau aptikti, o tai nutiko man.

2018 m. ji vadovavo novatoriškam tyrimui, rodančiam, kad komercinės veido atpažinimo sistemos pakartotinai nesugebėjo klasifikuoti tamsiaodžių moterų.

Po metų didelėje federalinės agentūros NIST arba Nacionalinio standartų ir technologijų instituto ataskaitoje apie veido atpažinimą nustatyta, kad kai kurie veido ID algoritmai šimtą kartų labiau atitiko spalvotų žmonių nuotraukas. Tačiau net jei šios sistemos gali būti sukurtos taip, kad būtų pasiektas tobulas tikslumas, jos gali būti naudojamos pavojingais būdais. Ir šios problemos yra gilesnės nei tik iškreipti duomenys ir netobula matematika.

Hamidas Khanas: Technologijos neveikia savaime. Nuo projektavimo, gamybos ir diegimo nuolat atsiranda šališkumo. Ir tai ne tik pačių žmonių šališkumas. Tai tik viena dalis. Tai būdingas sistemos šališkumas.

Jennifer Strong: Kitas epizodas, ar būtų nuostabu, kad jūsų nuotraukas, įskaitant kai kurias, kurių galbūt niekada nematėte, įmonės naudoja veido atpažinimo sistemoms kurti?

Hoanas Ton-That: Ar išvis prisimeni šią nuotrauką „Twitter“?

Jennifer Strong: Ne. Aš nežinojau, kad tai buvo paimta, ir aš atrodžiau labai...

Hoanas Ton-That: Tu darai. Atrodėte labai rimtai tame.

Jennifer Strong: Antroje dalyje susitinkame su vienos kontroversiškiausių šioje erdvėje dirbančių įmonių įkūrėju, Clearview AI vadovu Hoanu Ton-Thatu.

Hoanas Ton-That: Kurdami veido atpažinimo technologiją, ištyrėme daug įvairių idėjų įvairiuose sektoriuose – nuo ​​privataus saugumo iki svetingumo. Kai atidavėme jį kai kuriems teisėsaugos žmonėms, pakilimas buvo didžiulis. O mums perskambino kitą dieną ir pasakė, mes sprendžiame bylas. Tai beprotiška. Per savaitę turėjome tikrai storą knygelę.

Jennifer Strong: Apie šį epizodą pranešė ir prodiusavau aš, Tate'as Ryanas-Mosley ir Emma Cillekens. Mums padėjo Karen Hao ir Benji Rosen. Mus redaguoja Michaelas Riley ir Gideonas Lichfieldas. Mūsų techninis direktorius yra Jacob Gorski. Ypatingas ačiū Kyle'ui Thomasui Hemingway'ui, Ericui Mongeonui ir ACLU už pasidalinimą Roberto Williamso įrašais.

Jennifer Strong: Ačiū, kad klausėte. Aš esu Jennifer Strong.

paslėpti