Kai sutrinka algoritmai, kaltas tenka artimiausiam žmogui

Vaizdas, kuriame pavaizduotos savaiminio vairavimo automobilio avarijos padariniai, ant šono stovi „uber“ transporto priemonė Tempės policijos departamentas

Anksčiau šį mėnesį Bloomberg paskelbė straipsnį apie vykstantį ieškinį dėl investicijų, prarastų dėl algoritmo. Honkongo magnatas prarado daugiau nei 20 milijonų dolerių, kai dalį savo turto patikėjo automatizuotai platformai. Neturėdamas teisinės bazės paduoti technologiją į teismą, jis suvertė kaltę artimiausiam žmogui: žmogui, kuris jį pardavė jam.

Tai pirmas žinomas atvejis dėl automatizuotų investicijų nuostolių, bet ne pirmasis, susijęs su algoritmų atsakomybe. 2018 m. kovo mėn. savarankiškai vairuojantis „Uber“. sumušė ir nužudė pėsčiasis Tempe, Arizonoje, siunčiantis teismui kitą bylą. Po metų Uber buvo išteisintas visos baudžiamosios atsakomybės, tačiau saugos vairuotojas gali būti apkaltintas netyčia transporto priemonės žmogžudyste.

Abu atvejai sprendžia vieną iš pagrindinių klausimų, su kuriais susiduriame, kai automatizuotos sistemos įsilieja į visus visuomenės aspektus: kas ar kas nusipelno kaltės, kai algoritmas padaro žalą? Kas ar kas iš tikrųjų kaltas, yra kitas, bet ne mažiau svarbus klausimas.

Madeleine Clare Elish, „Data & Society“ tyrėja ir kultūros antropologė, pastaruosius kelerius metus tyrinėjo pastarąjį klausimą, kad sužinotų, kaip jis gali padėti atsakyti į pirmąjį. Norėdami tai padaryti, ji atsigręžė į istorinius atvejų tyrimus. Nors šiuolaikinės AI sistemos egzistuoja jau seniai, su jų atsakomybe susiję klausimai nėra nauji.

Savarankiško „Uber“ avarija yra lygiagreti, pavyzdžiui, 2009 m. „Air France“ skrydžio 447 katastrofai, o pažvelgus į tai, kaip tada elgėmės su atsakomybe, galima suprasti, ką galime padaryti dabar. Per tą tragišką avariją lėktuvas, skridęs iš Brazilijos į Prancūziją, nukrito į Atlanto vandenyną ir žuvo visi 228 juo skridę žmonės. Lėktuvo automatizuota sistema buvo sukurta taip, kad ji būtų visiškai patikima, galinti valdyti beveik visus scenarijus, išskyrus retus kraštutinius atvejus, kai reikėjo žmogaus piloto. Šia prasme pilotai buvo labai panašūs į šiuolaikinius savarankiškai važiuojančių automobilių vairuotojus – jie turėjo pasyviai stebėti skrydį, bet ima veikti ekstremaliais atvejais.

Susijusi istorija

Susijusi istorija Tik keli įstatymų leidėjai tikrai žino, apie ką kalba, bet tai tik pradžia.

Tai, kas nutiko avarijos naktį, šiuo metu yra gerai žinoma istorija. Praėjus maždaug pusantros valandos, lėktuvo oro greičio jutikliai nustojo veikti dėl susidariusio ledo. Po to, kai autopiloto sistema grąžino valdymą pilotams, dėl sumišimo ir nesusikalbėjimo lėktuvas sustojo. Kol vienas iš pilotų bandė apversti staklę, nukreipdamas lėktuvo nosį žemyn, kitas, tikriausiai panikavęs, pakėlė nosį, kad galėtų toliau kopti. Tačiau sistema buvo sukurta taip, kad vienas pilotas visą laiką galėtų jį valdyti, ir neteikė jokių signalų ar jautrių atsiliepimų, rodančių, kuris iš jų iš tikrųjų valdo, o ką darė kitas. Galiausiai lėktuvas pakilo į tokį statų kampą, kad sistema jį pripažino negaliojančiu ir visiškai nustojo teikti grįžtamąjį ryšį. Pilotai, skrisdami visiškai aklai, toliau blaškėsi, kol lėktuvas nukrito į jūrą.

A naujausias popierius Elishas išnagrinėjo tragedijos pasekmes ir nustatė svarbų visuomenės supratimo, kas nutiko, modelį. Nors federalinis incidento tyrimas padarė išvadą, kad prasta sistemų projektavimo ir nepakankamo pilotų mokymo derinys sukėlė katastrofišką gedimą, visuomenė greitai įsitraukė į pasakojimą, dėl kurio kaltas buvo tik pastarasis. Visų pirma žiniasklaidos vaizdavimas išlaikė įsitikinimą, kad sudėtinga autopiloto sistema nėra kaltas, nepaisant reikšmingų žmogiškųjų faktorių tyrimų, rodančių, kad žmonės visada buvo gana nemokami paskutinę minutę lėkti į avarines situacijas lygia galva ir aiškiu protu. .

Žmonės elgiasi kaip „atsakomybės kempinė“.

Kituose atvejų tyrimuose Elishas nustatė, kad galioja tas pats modelis: net ir labai automatizuotoje sistemoje, kurioje žmonės ribotai kontroliuoja jos elgesį, jie vis tiek daugiausia kalti dėl jos gedimų. Elišas šį reiškinį vadina moralinio susiglamžymo zona. Nors glamžymo zona automobilyje skirta apsaugoti vairuotoją žmogų, rašo ji savo darbe, moralinio susiglamžymo zona saugo technologinės sistemos vientisumą artimiausio operatoriaus sąskaita. Žmonės elgiasi kaip atsakomybės kempinė, sako ji, prisiimdami visą teisinę ir moralinę atsakomybę algoritminių nelaimingų atsitikimų atveju, nesvarbu, kiek mažai ar netyčia jie dalyvauja.

Šis modelis suteikia svarbios informacijos apie nerimą keliantį būdą kalbėti apie šiuolaikinių AI sistemų atsakomybę. Iškart po Ubero avarijos antraštės pirštais parodė į Uberį, tačiau mažiau nei po kelių dienų pasakojimas pasislinko sutelkti dėmesį į vairuotojo išsiblaškymą.

Turime pradėti klausti, kas prisiima [technologinių įmonių] technologinių eksperimentų riziką, sako Elishas. Saugos vairuotojai ir kiti žmonės operatoriai dažnai turi mažai galios ar įtakos technologijų platformų, su kuriomis jie sąveikauja, dizainui. Tačiau esant dabartiniam reguliavimo vakuumui, jie ir toliau mokės didžiausias išlaidas.

Reguliavimo institucijos taip pat turėtų turėti daugiau niuansų pokalbių apie tai, kokia sistema padėtų sąžiningai paskirstyti atsakomybę. Jie turi gerai pagalvoti apie sociotechninių sistemų reguliavimą, o ne tik algoritmines juodąsias dėžes, sako Elishas. Kitaip tariant, jie turėtų apsvarstyti, ar sistemos dizainas veikia kontekste, kuriame ji veikia, ir ar ji nustato žmones, kurie pakeliui į nesėkmę ar sėkmę. Pavyzdžiui, savarankiškai važiuojantys automobiliai turėtų būti reguliuojami taip, kad būtų pagrįstas veiksnys, lemiantis, ar saugumo vairuotojų vaidmuo yra pagrįstas.

Ji rašo, kad moralinio sugniuždymo zonos koncepcijai pavoju ne tik tai, kaip atsakomybė gali būti paskirstyta bet kurioje robotizuotoje ar autonominėje sistemoje, bet ir kaip galima leisti vystytis žmonių vertei ir potencialui žmogaus ir mašinos komandų kontekste. .

Ši istorija iš pradžių pasirodė mūsų Webby nominuotame AI informaciniame biuletenyje „The Algorithm“. Jei norite, kad daugiau tokių istorijų būtų pristatyta tiesiai į gautuosius, prisiregistruokite čia. Tai nemokama.

paslėpti