Turime sukurti nepasitikėjimą AI sistemomis, kad jos būtų saugesnės

ACM sutikimu

Ayanna Howard visada siekė naudoti robotus ir dirbtinį intelektą, kad padėtų žmonėms. Per beveik 30 metų trukusią karjerą ji sukonstravo begalę robotų: Marsui tyrinėti, pavojingoms atliekoms valyti ir specialiųjų poreikių turintiems vaikams padėti. Proceso metu ji sukūrė įspūdingą robotų manipuliavimo, autonominės navigacijos ir kompiuterinio matymo metodų spektrą. Ji vadovavo šiai sričiai, tirdama dažną žmonių daromą klaidą: mes per daug pasitikime automatizuotomis sistemomis.

Gegužės 12 d. Kompiuterinių mašinų asociacija Howardui įteikė šių metų „Athena Lecturer Award“ apdovanojimą, kuriuo pripažįstamos moterys, kurios prisidėjo prie kompiuterių mokslo. Organizacija pagerbė ne tik įspūdingą Howardo mokslinių laimėjimų sąrašą, bet ir jos aistrą bei įsipareigojimą grąžinti savo bendruomenei. Kol ji buvo garsi technologė, ji taip pat sukūrė ir vadovavo daugeliui programų, skirtų padidinti jaunų moterų ir nepakankamai atstovaujamų mažumų dalyvavimą ir išlaikymą šioje srityje.

Kovo mėnesį, po 16 metų profesoriaus pareigas Džordžijos technologijos institute, ji pradėjo eiti naujas Ohajo valstijos universiteto inžinerijos kolegijos dekanės pareigas. Ji yra pirmoji moteris, užėmusi šias pareigas. Tą dieną, kai ji gavo ACM apdovanojimą, aš kalbėjau su Howardu apie jos karjerą ir naujausius tyrimus.

Toliau pateikta informacija buvo redaguota siekiant apimties ir aiškumo.

Pastebėjau, kad savo tyrimams apibūdinti vartojate terminą humanizuotas intelektas, o ne dirbtinis intelektas. Kodėl taip?

Taip, aš pradėjau tai naudoti straipsnyje 2004 m. Galvojau, kodėl mes dirbame su robotų ir AI sistemų intelektu. Tai nereiškia, kad norime sukurti šias protingas savybes ne bendraudami su žmonėmis. Mus motyvuoja žmogaus patirtis, žmogaus duomenys, žmonių įnašai. Dirbtinis intelektas reiškia, kad tai kitokio tipo intelektas, o humanizuotas intelektas teigia, kad jis protingas, bet motyvuotas žmogaus konstrukcijos. O tai reiškia, kad kurdami šias sistemas taip pat užtikriname, kad jos taip pat turėtų tam tikrų mūsų visuomenės vertybių.

Kaip patekote į šį darbą?

Tai pirmiausia paskatino mano doktorantūros studijos. Tuo metu ligoninėje mokiau robotą manipuliatorių, kuris pašalintų pavojus. Tai buvo tais laikais, kai neturėjote gražių saugių vietų adatoms dėti. Adatos buvo dedamos į tą pačią šiukšliadėžę, kaip ir visa kita, pasitaikydavo atvejų, kai susirgdavo ligoninės darbuotojai. Taigi aš galvojau apie tai: kaip sukurti robotus, kurie padėtų toje aplinkoje?

Taigi labai anksti buvo kalbama apie žmonėms naudingų robotų kūrimą. Ir tai buvo pripažinimas, kad mes nežinojome, kaip sukurti robotus, kad jie labai gerai atliktų kai kurias iš šių užduočių. Tačiau žmonės tai daro nuolat, todėl pamėgdžiokime, kaip žmonės tai daro. Taip ir prasidėjo.

Tada dirbau su NASA ir bandžiau galvoti apie būsimą marsaeigio navigaciją. Ir vėl buvo taip: Mokslininkai gali tai padaryti tikrai labai gerai. Taigi norėčiau, kad mokslininkai nuotoliniu būdu valdytų šiuos marsaeigius ir pažiūrėtų, ką jie matė šių marsaeigių kamerose, tada pabandytų pagal tai nustatyti, kaip jie važiuoja. Tai visada buvo tema: kodėl man tiesiog nenueinu pas žmonių ekspertus, nesurašiu, ką jie daro pagal algoritmą, ir tada nesuteikiu, kad robotas tai suprastų?

Ar tada kiti žmonės galvojo ir kalbėjo apie dirbtinį intelektą ir robotiką tokiu į žmogų orientuotu būdu? O gal buvai keistas svetimšalis?

Oi, aš buvau visiškai keista svetimšalė. Į dalykus žiūrėjau kitaip nei visi kiti. Ir tada nebuvo vadovo, kaip atlikti tokį tyrimą. Tiesą sakant, dabar, kai pažvelgiu atgal į tai, kaip atlikau tyrimą, daryčiau jį visiškai kitaip. Yra visa ši patirtis ir žinios, kurios nuo to laiko atsirado šioje srityje.

Kuriuo momentu jūs perėjote nuo mąstymo apie robotų, kurie padėtų žmonėms, kūrimą, prie daugiau galvojate apie robotų ir žmonių santykius?

Tai daugiausia paskatino tai studijuoti mes padarėme dėl avarinės evakuacijos ir robotų pasitikėjimo. Ką norėjome pamatyti, kai žmonės atsiduria didelės rizikos, laiko kritinėje situacijoje, ar jie pasitikės roboto vadovavimu? Taigi mes įvedėme žmones į apleistą biurų pastatą, esantį už miestelio, ir juos įleido robotas-gidas. Mes sukūrėme istoriją apie robotą ir apie tai, kaip jie turėjo atlikti apklausą – toks dalykas. Kol jie ten buvo, pripylėme pastatą dūmų ir įjungėme priešgaisrinę signalizaciją.

Taigi mes norėjome pamatyti, ar jiems išplaukiant jie eis į priekines duris, ar prieis prie išėjimo ženklo, ar vadovausis roboto, vedančio juos kita kryptimi, nurodymais?

Manėme, kad žmonės eis į priekines duris, nes taip jie įeidavo, o ankstesni tyrimai parodė, kad kai žmonės atsiduria kritinėje situacijoje, jie linkę eiti ten, kur yra pažįstami. Arba manėme, kad jie laikysis išvažiavimo ženklų, nes tai yra išmokytas elgesys. Tačiau dalyviai tai padarė ne daryk tai. Jie iš tikrųjų seka roboto nurodymus.

Tada padarėme keletą klaidų. Sugedome robotui, leidome jį sukti ratu, nuvedėme jus ta kryptimi, kur reikėjo perkelti baldus. Manėme, kad kažkuriuo momentu žmogus pasakys: „Leisk man eiti prie lauko durų arba leisk man eiti prie išėjimo ženklo“. Žodžiu, prireikė mus iki galo, kol žmonės nustojo sekti roboto nurodymus.

Tai buvo pirmas kartas, kai mūsų hipotezės buvo visiškai klaidingos. Negaliu patikėti, kad žmonės taip pasitiki sistema. Tai įdomu ir žavu, ir tai yra problema.

Ar po to eksperimento matėte šį reiškinį atkartojusį realiame pasaulyje?

Kiekvieną kartą matau Tesla avariją. Ypač ankstesniųjų. Man atrodė, taip, štai. Žmonės per daug pasitiki šiomis sistemomis. Ir prisimenu, ką jie padarė po pirmos? Jie buvo tokie, kad dabar jūs turite laikyti vairą maždaug penkių sekundžių žingsniais. Jei nelaikysite rankos ant vairo, sistema išsijungs.

Bet, žinote, jie niekada neatėjo ir nekalbėjo su manimi ar mano grupe, nes tai neveiks. Ir kodėl tai neveikia, nes labai lengva žaisti su sistema. Jei žiūrite į mobilųjį telefoną ir išgirstate pyptelėjimą, tiesiog pakeliate ranką, tiesa? Tai pasąmonė. Jūs vis tiek nekreipiate dėmesio. Taip yra todėl, kad manote, kad su sistema viskas gerai ir kad vis tiek galite daryti tai, ką darėte – skaityti knygą, žiūrėti televizorių ar žiūrėti į telefoną. Taigi tai neveikia, nes jie nepadidino rizikos ar netikrumo, netikėjimo ar nepasitikėjimo lygio. Jie to nepadidino tiek, kad kas nors galėtų vėl įsitraukti.

Susijusi istorija

Kai sutrinka algoritmai, kaltas tenka artimiausiam žmogui Žvilgsnis į istorinius atvejų tyrimus parodo, kaip tvarkome automatizuotų sistemų atsakomybę.

Įdomu tai, kad kalbate apie tai, kaip tokiais atvejais turite aktyviai kurti nepasitikėjimą sistema, kad ji būtų saugesnė.

Taip, tai jūs turite padaryti. Iš tikrųjų šiuo metu bandome eksperimentą, susijusį su atsisakymo teikti paslaugas idėja. Mes dar neturime rezultatų, o mes kovojame su kai kuriais etiniais klausimais. Nes kai apie tai pakalbėsime ir paskelbsime rezultatus, turėsime paaiškinti, kodėl kartais nenorėsite suteikti AI galimybės atsisakyti paslaugos. Kaip pašalinti paslaugą, jei kažkam jos tikrai reikia?

Bet čia yra „Tesla“ nepasitikėjimo pavyzdys. Paslaugų atsisakymas būtų toks: aš sukuriu jūsų pasitikėjimo profilį, kurį galiu padaryti pagal tai, kiek kartų išjungėte arba atjungėte vairą. Atsižvelgdamas į šiuos atsiskyrimo profilius, galiu modeliuoti, kada esate visiškai tokio pasitikėjimo būsenoje. Mes tai padarėme ne su „Tesla“ duomenimis, o su savo duomenimis. Ir tam tikru momentu, kai kitą kartą įeisite į automobilį, jums bus atsisakyta aptarnauti. Jūs neturite prieigos prie sistemos X laikotarpį.

Tai beveik kaip tada, kai baudžiate paauglį atimdami iš jo telefoną. Jūs žinote, kad paaugliai nepadarys to, ko nenorėjote, jei susiesite tai su jų bendravimo būdu.

Kokius kitus mechanizmus ištyrėte, kad padidintumėte nepasitikėjimą sistemomis?

Kita metodologija, kurią ištyrėme, yra apytiksliai vadinama paaiškinamu AI, kai sistema pateikia paaiškinimą, atsižvelgdama į kai kurias rizikas ar neapibrėžtumus. Kadangi visos šios sistemos turi neapibrėžtumą – nė viena iš jų nėra 100%. Ir sistema žino, kada ji neaiški. Taigi tai gali suteikti žmogui suprantamą informaciją, todėl žmonės pakeis savo elgesį.

Pavyzdžiui, tarkime, kad esu savarankiškas automobilis, turiu visą žemėlapio informaciją ir žinau, kad tam tikrose sankryžose įvyksta daugiau avarijų nei kitose. Kai artėjame prie vieno iš jų, sakyčiau: artėjame prie sankryžos, kurioje pernai žuvo 10 žmonių. Jūs tai paaiškinate taip, kad tai verčia ką nors eiti. O, palauk, gal aš turėčiau būti sąmoningesnis.

Jau kalbėjome apie kai kuriuos jūsų susirūpinimą dėl mūsų tendencijos per daug pasitikėti šiomis sistemomis. Kas yra kiti? Kita vertus, ar yra ir naudos?

Neigiami dalykai iš tikrųjų yra susiję su šališkumu. Štai kodėl aš visada kalbu apie šališkumą ir pasitikėjimą pakaitomis. Nes jei aš per daug pasitikiu šiomis sistemomis ir šios sistemos priima sprendimus, kurių pasekmės skirtingoms asmenų grupėms skiriasi – tarkime, medicininės diagnostikos sistema skiriasi tarp moterų ir vyrų – dabar mes kuriame sistemas, kurios padidina šiuo metu egzistuojančią nelygybę. . Tai yra problema. Ir kai susiejate jį su dalykais, kurie yra susiję su sveikata ar transportu, kurie abu gali sukelti gyvybės ar mirties situacijas, blogas sprendimas iš tikrųjų gali sukelti tai, nuo ko negalite atsigauti. Taigi mes tikrai turime tai pataisyti.

Teigiama yra tai, kad automatizuotos sistemos yra geresnės nei žmonės apskritai. Manau, kad jie gali būti net geriau, bet aš asmeniškai tam tikrose situacijose mieliau bendraučiau su AI sistema, o ne su tam tikrais žmonėmis kitose situacijose. Žinau, kad turi tam tikrų problemų, bet duok man AI. Duok man robotą. Jie turi daugiau duomenų; jie tikslesni. Ypač jei turite naujoką. Tai geresnis rezultatas. Tik gali būti, kad rezultatas nėra vienodas.

Be savo robotikos ir AI tyrimų, per visą savo karjerą buvote didžiulis šios srities įvairovės didinimo šalininkas. Prieš 20 metų pradėjote programą, skirtą rizikos grupei priklausančių jaunesniųjų klasių merginų patarimui, tai yra gerokai anksčiau, nei daugelis žmonių susimąstė apie šią problemą. Kodėl tai svarbu jums, o kodėl tai svarbu ir sričiai?

Man tai svarbu, nes galiu atpažinti savo gyvenimo momentus, kai kažkas iš esmės suteikė man prieigą prie inžinerijos ir informatikos. Aš net nežinojau, kad tai dalykas. Štai kodėl vėliau niekada neturėjau problemų žinodamas, kad galiu tai padaryti. Taigi aš visada jaučiau, kad tai tik mano pareiga padaryti tą patį tiems, kurie tai padarė už mane. Kai aš taip pat seniau, pastebėjau, kad kambaryje buvo daug žmonių, kurie nebuvo panašūs į mane. Taigi aš supratau: palauk, čia tikrai yra problema, nes žmonės tiesiog neturi sektinų pavyzdžių, neturi prieigos, net nežino, kad tai yra dalykas.

Ir kodėl tai svarbu šiai sričiai, nes kiekvienas turi skirtingą patirtį. Lygiai taip pat, kaip aš galvojau apie žmogaus ir roboto sąveiką, kol tai net nebuvo dalykas. Taip buvo ne dėl to, kad buvau puikus. Taip buvo todėl, kad į problemą pažiūrėjau kitaip. Ir kai aš kalbu su žmogumi, turinčiu kitokį požiūrį, tai tarsi: o, pabandykime sujungti ir išsiaiškinti, kas geriausia iš abiejų pasaulių.

Oro pagalvės nužudo daugiau moterų ir vaikų. Kodėl taip? Na, aš pasakysiu, kad taip yra todėl, kad kažkas nebuvo kambaryje, kad pasakytų: „Ei, kodėl mums to neišbandžius su priekinėje sėdynėje sėdinčiomis moterimis? Yra daugybė problemų, kurios pražudė arba buvo pavojingos tam tikroms žmonių grupėms. Ir aš sakyčiau, kad jei grįšite atgal, tai dėl to, kad neturėjote pakankamai žmonių, kurie galėtų pasakyti Ei, ar pagalvojote apie tai? nes jie kalba iš savo patirties ir iš savo aplinkos bei bendruomenės.

Kaip tikitės, kad AI ir robotikos tyrimai laikui bėgant vystysis? Kokia jūsų šios srities vizija?

Jei galvojate apie kodavimą ir programavimą, beveik visi gali tai padaryti. Dabar yra tiek daug organizacijų, tokių kaip Code.org. Ištekliai ir įrankiai yra. Norėčiau vieną dieną pasikalbėti su studentu ir paklausti: ar žinote apie AI ir mašininį mokymąsi? ir jie sako: daktare H, aš tai darau nuo trečios klasės! Noriu taip sukrėsti, nes tai būtų nuostabu. Žinoma, tada turėčiau galvoti, koks bus kitas mano darbas, bet tai visai kita istorija.

Tačiau manau, kad turėdami įrankius su kodavimu, dirbtiniu intelektu ir mašininiu mokymusi, galite susikurti savo darbo vietas, susikurti savo ateitį, galite sukurti savo sprendimą. Tai būtų mano svajonė.

paslėpti