211service.com
Tamsi paslaptis AI širdyje
Niekas iš tikrųjų nežino, kaip pažangiausi algoritmai daro tai, ką daro. Tai gali būti problema. 2017 m. balandžio 11 d
Keithas Rankinas
Praėjusiais metais į tylius Monmuto apygardos kelius Naujajame Džersyje buvo paleistas keistas savarankiškai važiuojantis automobilis. Eksperimentinė transporto priemonė, kurią sukūrė lustų gamintojos Nvidia mokslininkai, savo išvaizda nesiskyrė nuo kitų autonominių automobilių, tačiau ji nepanaši į nieką, ką demonstravo Google, Tesla ar General Motors, ir rodė augančią dirbtinio intelekto galią. Automobilis nesilaikė nei vienos inžinieriaus ar programuotojo instrukcijos. Vietoj to, jis visiškai rėmėsi algoritmu, kuris išmoko vairuoti stebėdamas, kaip tai daro žmogus.
Priversti automobilį važiuoti tokiu būdu buvo įspūdingas žygdarbis. Tačiau tai taip pat kelia nerimą, nes nėra visiškai aišku, kaip automobilis priima sprendimus. Informacija iš transporto priemonės jutiklių patenka tiesiai į didžiulį dirbtinių neuronų tinklą, kuris apdoroja duomenis ir tada pateikia komandas, reikalingas valdyti vairą, stabdžius ir kitas sistemas. Atrodo, kad rezultatas atitinka atsakymus, kurių tikitės iš žmogaus vairuotojo. Bet kas, jei vieną dieną jis padarytų ką nors netikėto – atsitrenktų į medį arba sėdėtų prie žalios šviesos? Esant dabartinei situacijai, gali būti sunku išsiaiškinti, kodėl. Sistema tokia sudėtinga, kad net ją sukūrusiems inžinieriams gali būti sunku išskirti bet kurio vieno veiksmo priežastį. Ir jūs negalite to klausti: nėra akivaizdaus būdo sukurti tokią sistemą, kad ji visada galėtų paaiškinti, kodėl ji padarė tai, ką padarė.
Ši istorija buvo mūsų 2017 m. gegužės mėnesio numerio dalis
- Žr. likusią numerio dalį
- Prenumeruoti
Paslaptingas šios transporto priemonės protas rodo gresiančią dirbtinio intelekto problemą . Automobilyje naudojama dirbtinio intelekto technologija, žinoma kaip gilus mokymasis, pastaraisiais metais pasirodė esąs labai galingas sprendžiant problemas ir buvo plačiai naudojamas atliekant tokias užduotis kaip vaizdų antraštės, balso atpažinimas ir kalbos vertimas. Dabar yra vilties, kad tais pačiais metodais bus galima diagnozuoti mirtinas ligas, priimti milijonų dolerių prekybos sprendimus ir padaryti daugybę kitų dalykų, kad pakeistų visas pramonės šakas.
Tačiau tai neįvyks – arba neturėtų įvykti – nebent rasime būdų, kaip tokius metodus, kaip gilus mokymasis, padaryti suprantamesnius jų kūrėjams ir atskaitingesnius naudotojams. Priešingu atveju bus sunku numatyti, kada gali įvykti gedimų, ir tai neišvengiama. Tai viena iš priežasčių, kodėl „Nvidia“ automobilis vis dar yra eksperimentinis.
Jau dabar naudojami matematiniai modeliai, padedantys nustatyti, kas lygtinai paleidžiamas, kam suteikta paskola ir kas samdomas darbui. Jei gautumėte prieigą prie šių matematinių modelių, būtų galima suprasti jų samprotavimus. Tačiau bankai, kariuomenė, darbdaviai ir kiti dabar atkreipia dėmesį į sudėtingesnius mašininio mokymosi metodus, dėl kurių automatizuotas sprendimų priėmimas gali būti visiškai neįdomus. Gilus mokymasis, labiausiai paplitęs iš šių metodų, yra iš esmės kitoks kompiuterių programavimo būdas. Tai jau aktuali problema, kuri bus daug aktualesnė ateityje, sako Tommi Jaakkola, MIT profesorius, dirbantis su mašininio mokymosi programomis. Nesvarbu, ar tai investicinis, medicininis, o gal karinis sprendimas, jūs nenorite pasikliauti tik „juodosios dėžės“ metodu.
Jau yra argumentas, kad galimybė tirti AI sistemą apie tai, kaip ji padarė išvadas, yra pagrindinė teisinė teisė. Nuo 2018 m. vasaros Europos Sąjunga gali reikalauti, kad įmonės galėtų vartotojams paaiškinti sprendimus, kuriuos priima automatizuotos sistemos. Tai gali būti neįmanoma net sistemoms, kurios iš pirmo žvilgsnio atrodo gana paprastos, pvz., programose ir svetainėse, kuriose skelbimams teikti ar dainoms rekomenduoti naudojamas gilus mokymasis. Kompiuteriai, kuriuose naudojamos šios paslaugos, užsiprogramavo patys ir padarė tai mums nesuprantamais būdais. Netgi šias programas kuriantys inžinieriai negali iki galo paaiškinti savo elgesio.
Tai kelia protu nesuvokiamus klausimus. Technologijoms tobulėjant, netrukus galime peržengti tam tikrą slenkstį, kurį peržengus dirbtinio intelekto naudojimas reikalauja tikėjimo šuolio. Žinoma, mes, žmonės, taip pat ne visada galime iš tikrųjų paaiškinti savo mąstymo procesus, bet randame būdų, kaip intuityviai pasitikėti žmonėmis ir juos įvertinti. Ar tai taip pat bus įmanoma naudojant mašinas, kurios mąsto ir priima sprendimus kitaip nei žmogus? Mes niekada anksčiau nekūrėme mašinų, kurios veiktų taip, kaip jų kūrėjai nesupranta. Kaip gerai galime tikėtis bendrauti ir sugyventi su išmaniosiomis mašinomis, kurios gali būti nenuspėjamos ir nepastebimos? Šie klausimai nuvedė mane į AI algoritmų tyrimų kraštą – nuo Google iki Apple ir daug kur tarp jų, įskaitant susitikimą su vienu didžiausių šių laikų filosofų.

Menininkas Adamas Ferrissas sukūrė šį vaizdą ir žemiau esantį, naudodamas „Google Deep Dream“ programą, kuri koreguoja vaizdą, kad paskatintų giliojo neuroninio tinklo modelio atpažinimo galimybes. Nuotraukos buvo padarytos naudojant vidutinio lygio neuroninio tinklo sluoksnį. Adomas Ferrisas
2015 m. Niujorko Sinajaus kalno ligoninės tyrimų grupė buvo įkvėpta pritaikyti giluminį mokymąsi didžiulėje ligoninės pacientų įrašų duomenų bazėje. Šiame duomenų rinkinyje yra šimtai pacientų kintamųjų, paimtų iš jų tyrimų rezultatų, apsilankymų pas gydytoją ir pan. Gauta programa, kurią mokslininkai pavadino „Deep Patient“, buvo apmokyta naudojant maždaug 700 000 asmenų duomenis, o išbandyta pagal naujus įrašus pasirodė neįtikėtinai gera prognozuojant ligas. Be jokių ekspertų nurodymų, Deep Patient aptiko ligoninės duomenų paslėptus modelius, kurie, atrodo, rodo, kai žmonės buvo pakeliui į daugybę negalavimų, įskaitant kepenų vėžį. Yra daug metodų, kurie gana gerai nuspėja ligą pagal paciento įrašus, sako Joelis Dudley, vadovaujantis Sinajaus kalno komandai. Tačiau jis priduria, kad tai buvo daug geriau.
Galime sukurti šiuos modelius, bet nežinome, kaip jie veikia.
Tuo pačiu metu „Deep Patient“ šiek tiek glumina. Atrodo, kad jis stebėtinai gerai numato psichikos sutrikimų, tokių kaip šizofrenija, atsiradimą. Tačiau kadangi gydytojams šizofreniją sunku numatyti, Dudley susimąstė, kaip tai įmanoma. Jis vis dar nežino. Naujasis įrankis nesuteikia jokio supratimo, kaip tai daroma. Jei kažkas panašaus į „Deep Patient“ iš tikrųjų padės gydytojams, tai idealiu atveju suteiks jiems savo prognozės pagrindimą, įtikins, kad prognozė yra tiksli, ir pateisins, tarkime, kažkam skiriamų vaistų pakeitimą. Galime sukurti šiuos modelius, apgailestaudamas sako Dudley, bet nežinome, kaip jie veikia.
Dirbtinis intelektas ne visada buvo toks. Nuo pat pradžių buvo dvi mintys apie tai, koks AI turėtų būti suprantamas ar paaiškinamas. Daugelis manė, kad prasmingiausia kurti mašinas, kurios mąstytų pagal taisykles ir logiką, kad jų vidinis darbas būtų skaidrus visiems, kuriems rūpi išnagrinėti kokį nors kodą. Kiti manė, kad intelektas lengviau atsirastų, jei mašinos įkvėptų biologiją ir išmoktų stebėdamos bei patirdamos. Tai reiškė, kad kompiuterių programavimas buvo apverstas ant galvos. Vietoj to, kad programuotojas rašytų komandas, kad išspręstų problemą, programa sukuria savo algoritmą, pagrįstą pavyzdiniais duomenimis ir norima išvestimi. Mašininio mokymosi metodai, kurie vėliau išsivystė į galingiausias šiandienos AI sistemas, ėjo pastaruoju keliu: mašina iš esmės programuoja pati save.
Iš pradžių šis metodas buvo ribotas praktinis panaudojimas, o septintajame ir aštuntajame dešimtmečiuose jis iš esmės apsiribojo lauko pakraščiais. Tuomet susidomėjimą vėl sukėlė daugelio pramonės šakų kompiuterizavimas ir didelių duomenų rinkinių atsiradimas. Tai įkvėpė sukurti galingesnius mašininio mokymosi metodus, ypač naujas tokio, žinomo kaip dirbtinis neuroninis tinklas, versijas. Iki dešimtojo dešimtmečio neuroniniai tinklai galėjo automatiškai skaitmeninti ranka rašytus simbolius.
Tačiau tik šio dešimtmečio pradžioje, po kelių protingų pataisymų ir patobulinimų, labai dideli arba gilūs neuroniniai tinklai parodė dramatišką automatinio suvokimo pagerėjimą. Gilus mokymasis yra atsakingas už šiandieninį AI sprogimą. Tai suteikė kompiuteriams nepaprastų galių, pavyzdžiui, gebėjimą atpažinti ištartus žodžius beveik taip gerai, kaip galėtų žmogus, įgūdį, per daug sudėtingą, kad būtų galima koduoti į mašiną ranka. Gilus mokymasis pakeitė kompiuterinį matymą ir žymiai pagerino mašininį vertimą. Dabar jis naudojamas priimant įvairius pagrindinius sprendimus medicinos, finansų, gamybos ir kitose srityse.

Adomas Ferrisas
Bet kurios mašininio mokymosi technologijos veikimas iš prigimties yra neaiškesnis net kompiuterių mokslininkams nei rankiniu būdu užkoduota sistema. Tai nereiškia, kad visi būsimi AI metodai bus vienodai nežinomi. Tačiau pagal savo prigimtį gilus mokymasis yra ypač tamsi juodoji dėžė.
Negalite tiesiog pažvelgti į gilų neuroninį tinklą, kad pamatytumėte, kaip jis veikia. Tinklo samprotavimai yra įterpti į tūkstančių imituojamų neuronų, išdėstytų į dešimtis ar net šimtus sudėtingai tarpusavyje susijusių sluoksnių, elgseną. Kiekvienas pirmojo sluoksnio neuronai gauna įvestį, pavyzdžiui, vaizdo pikselio intensyvumą, ir tada, prieš išvesdami naują signalą, atlieka skaičiavimą. Šie išėjimai sudėtingame tinkle tiekiami kito sluoksnio neuronams ir pan., kol gaunama bendra produkcija. Be to, yra procesas, vadinamas atgaliniu sklidimu, kuris koreguoja atskirų neuronų skaičiavimus taip, kad tinklas išmoktų gaminti norimą išvestį.
Daugybė sluoksnių giliame tinkle leidžia atpažinti dalykus skirtingais abstrakcijos lygiais. Pavyzdžiui, sistemoje, skirtoje šunims atpažinti, apatiniai sluoksniai atpažįsta paprastus dalykus, tokius kaip kontūrai ar spalva; aukštesni sluoksniai atpažįsta sudėtingesnius dalykus, tokius kaip kailis ar akys; o viršutinis sluoksnis visa tai identifikuoja kaip šunį. Tą patį metodą, grubiai tariant, galima taikyti ir kitoms įvestims, dėl kurių mašina mokosi pati: garsams, iš kurių susidaro žodžiai kalboje, raidėms ir žodžiams, kurie kuria sakinius tekste, arba vairo judesiams, reikalingiems vairuojant.
Gali būti, kad intelekto prigimtis yra dalis, kad tik dalis jo yra racionaliai paaiškinama. Kai kurie iš jų yra tiesiog instinktyvūs.
Išradingos strategijos buvo panaudotos bandant užfiksuoti ir taip išsamiau paaiškinti, kas vyksta tokiose sistemose. 2015 m. „Google“ mokslininkai modifikavo giluminiu mokymusi pagrįstą vaizdų atpažinimo algoritmą, kad užuot pastebėję objektus nuotraukose, juos generuotų arba modifikuotų. Veiksmingai paleisdami algoritmą atvirkščiai, jie galėtų atrasti funkcijas, kurias programa naudoja atpažindama, tarkime, paukštį ar pastatą. The gautus vaizdus Projektas, žinomas kaip Deep Dream, sukūrė groteskiškus, į ateivius panašius gyvūnus, kylančius iš debesų ir augalų, ir haliucinacines pagodas, žydinčias miškuose ir kalnų grandinėse. Vaizdai įrodė, kad gilus mokymasis nebūtinai turi būti visiškai neišmatuojamas; jie atskleidė, kad algoritmai remiasi žinomomis vaizdinėmis savybėmis, tokiomis kaip paukščio snapas ar plunksnos. Tačiau vaizdai taip pat užsiminė, kaip gilus mokymasis skiriasi nuo žmogaus suvokimo, nes jis gali sukurti kažką iš artefakto, kurį žinotume ignoruoti. „Google“ tyrėjai pastebėjo, kad kai jo algoritmas generuodavo hantelio vaizdus, jis taip pat sugeneravo jį laikančią žmogaus ranką. Mašina padarė išvadą, kad ranka yra daikto dalis.
Tolesnė pažanga buvo padaryta naudojant idėjas, pasiskolintas iš neurologijos ir pažinimo mokslų. Vajomingo universiteto profesoriaus asistento Jeffo Clune'o vadovaujama komanda panaudojo optinių iliuzijų AI ekvivalentą, kad išbandytų giluminius neuroninius tinklus. 2015 m. Clune'o grupė parodė, kaip tam tikri vaizdai gali apgauti tokį tinklą, kad suvoktų dalykus, kurių ten nėra, nes vaizdai išnaudoja žemo lygio modelius, kurių ieško sistema. Vienas iš Clune bendradarbių Jasonas Yosinskis taip pat sukūrė įrankį, kuris veikia kaip zondas, įstrigęs smegenyse. Jo įrankis nusitaiko į bet kurį tinklo viduryje esantį neuroną ir ieško jį labiausiai suaktyvinančio vaizdo. Rodomi vaizdai yra abstraktūs (įsivaizduokite impresionistinį flamingo ar mokyklinio autobuso vaizdą), išryškinantys paslaptingą mašinos suvokimo gebėjimų prigimtį.

Šis ankstyvas dirbtinis neuroninis tinklas Kornelio aeronautikos laboratorijoje Bafale, Niujorke, maždaug 1960 m., apdorojo šviesos jutiklių įvestis.
Ferrissas buvo įkvėptas paleisti Kornelio dirbtinį neuroninį tinklą per „Deep Dream“, sukuriant vaizdus aukščiau ir apačioje. Adomas Ferrisas
Tačiau mums reikia daugiau nei žvilgsnio į AI mąstymą, ir nėra lengvo sprendimo. Tai yra skaičiavimų sąveika giliame neuroniniame tinkle, kuri yra labai svarbi aukštesnio lygio modelio atpažinimui ir sudėtingų sprendimų priėmimui, tačiau šie skaičiavimai yra matematinių funkcijų ir kintamųjų liūnas. Jei turėtumėte labai mažą neuroninį tinklą, galbūt galėtumėte jį suprasti, sako Jaakkola. Bet kai jis tampa labai didelis ir turi tūkstančius vienetų viename sluoksnyje, o gal ir šimtus sluoksnių, tada jis tampa visiškai nesuprantamas.
Kabinete šalia Jaakkolos yra Regina Barzilay, MIT profesorė, pasiryžusi pritaikyti mašininį mokymąsi medicinoje. Prieš porą metų, jai buvo 43 metai, jai buvo diagnozuotas krūties vėžys. Diagnozė pati savaime buvo šokiruojanti, tačiau Barzilay taip pat buvo sunerimęs, kad pažangiausi statistiniai ir mašininio mokymosi metodai nebuvo naudojami onkologiniams tyrimams padėti ar vadovauti. paciento gydymas. Ji sako, kad dirbtinis intelektas turi didžiulį potencialą padaryti revoliuciją medicinoje, tačiau suvokus šį potencialą reikės ne tik medicininių įrašų. Ji numato naudoti daugiau neapdorotų duomenų, kurie, jos teigimu, šiuo metu nepakankamai išnaudojami: vaizdo gavimo duomenys, patologijos duomenys, visa ši informacija.
Kaip gerai galime sutarti su mašinomis, kurios yra nenuspėjamos ir nepastebimos?
Praėjusiais metais baigusi vėžio gydymą, Barzilay ir jos studentai pradėjo dirbti su Masačusetso bendrosios ligoninės gydytojais, kad sukurtų sistemą, galinčią išgauti patologijos ataskaitas, kad būtų galima nustatyti pacientus, turinčius specifinių klinikinių savybių, kurias mokslininkai galbūt norėtų ištirti. Tačiau Barzilay suprato, kad sistemai reikės paaiškinti savo motyvus. Taigi, kartu su Jaakkola ir studentu ji pridėjo žingsnį: sistema ištraukia ir paryškina teksto fragmentus, atspindinčius jos atrastą modelį. Barzilay ir jos mokiniai taip pat kuria giluminio mokymosi algoritmą, galintį rasti ankstyvus krūties vėžio požymius mamografijos vaizduose, ir jie siekia, kad ši sistema galėtų paaiškinti ir savo samprotavimus. Jums tikrai reikia kilpos, kurioje mašina ir žmogus bendradarbiautų, - sako Barzilay.
JAV kariuomenė skiria milijardus projektams, kuriuose bus naudojamas mašininis mokymasis transporto priemonėms ir orlaiviams pilotuoti, nustatyti taikinius ir padėti analitikams atsijoti didžiules žvalgybos duomenų krūvas. Čia daugiau nei bet kur kitur, net labiau nei medicinoje, mažai vietos algoritminei paslapčiai, o Gynybos departamentas paaiškinamumą įvardijo kaip pagrindinį suklupimo akmenį.
Deividas Gunningas, Gynybos pažangių tyrimų projektų agentūros programos vadovas, prižiūri taikliai pavadintą „Explainable Artificial Intelligence“ programą. Sidabrinis agentūros veteranas, anksčiau prižiūrėjęs DARPA projektą, po kurio galiausiai buvo sukurta Siri, Gunningas sako, kad automatika šliaužia į daugybę kariuomenės sričių. Žvalgybos analitikai išbando mašininį mokymąsi kaip būdą nustatyti modelius dideliame stebėjimo duomenų kiekyje. Kuriama ir išbandoma daug autonominių antžeminių transporto priemonių ir orlaivių. Tačiau kariai tikriausiai nesijaus patogiai robotizuotame tanke, kuris jiems nepaaiškina, o analitikai bus nelinkę veikti pagal informaciją be jokių argumentų. Šių mašininio mokymosi sistemų prigimtis dažnai lemia tai, kad jos sukuria daug klaidingų pavojaus signalų, todėl „Intel“ analitikui tikrai reikia papildomos pagalbos, kad suprastų, kodėl buvo pateikta rekomendacija, sako Gunningas.
Šį kovą DARPA pasirinko 13 projektų iš akademinės bendruomenės ir pramonės finansuoti pagal Gunning programą. Kai kurie iš jų galėtų remtis Vašingtono universiteto profesoriaus Carloso Guestrino vadovaujamu darbu. Jis ir jo kolegos sukūrė būdą, kaip mašininio mokymosi sistemos galėtų pagrįsti savo rezultatus. Iš esmės pagal šį metodą kompiuteris automatiškai suranda kelis pavyzdžius iš duomenų rinkinio ir pateikia juos trumpame paaiškinime. Pavyzdžiui, sistema, skirta klasifikuoti el. pašto pranešimą kaip gautą iš teroristo, mokydama ir priimdama sprendimus gali panaudoti daugybę milijonų pranešimų. Tačiau naudojant Vašingtono komandos požiūrį, ji galėtų pabrėžti tam tikrus pranešime esančius raktinius žodžius. „Guestrin“ grupė taip pat sukūrė būdus, kaip vaizdo atpažinimo sistemos galėtų užsiminti apie jų samprotavimus, išryškindamos svarbiausias vaizdo dalis.
Adomas Ferrisas
Vienas šio ir kitų panašių metodų, pvz., Barzilay's, trūkumas yra tas, kad pateikti paaiškinimai visada bus supaprastinti, o tai reiškia, kad kai kuri svarbi informacija gali būti prarasta. Mes nepasiekėme visos svajonės, kur AI su jumis kalbasi ir gali paaiškinti, sako Guestrin. Mums dar toli iki tikrai interpretuojamo AI.
Kad tai taptų problema, tai nebūtinai turi būti didelė situacija, pavyzdžiui, vėžio diagnozė ar kariniai manevrai. AI samprotavimų žinojimas taip pat bus labai svarbus, jei norime, kad technologija taptų įprasta ir naudinga mūsų kasdienio gyvenimo dalimi. Tomas Gruberis, vadovaujantis „Siri“ komandai „Apple“, sako, kad paaiškinamumas yra pagrindinis jo komandos veiksnys, siekiant, kad „Siri“ būtų išmanesnis ir pajėgesnis virtualus asistentas. Gruberis nekalbėtų apie konkrečius Siri ateities planus, tačiau nesunku įsivaizduoti, kad jei gausite restorano rekomendaciją iš Siri, norėsite sužinoti, kokia buvo priežastis. Ruslanas Salakhutdinovas, „Apple“ dirbtinio intelekto tyrimų direktorius ir Carnegie Mellon universiteto docentas, mano, kad paaiškinamumas yra besivystančio žmogaus ir protingų mašinų santykių pagrindas. Jis sako, kad tai įves pasitikėjimą.
Susijusi istorija

Lygiai taip pat kaip daugelio žmogaus elgesio aspektų neįmanoma išsamiai paaiškinti, galbūt dirbtinis intelektas negalės paaiškinti visko, ką daro. Net jei kas nors gali pateikti jums pagrįstą paaiškinimą [dėl savo veiksmų], jis tikriausiai yra neišsamus ir tas pats gali būti pasakytina apie AI, sako Clune iš Vajomingo universiteto. Tai gali būti tik dalis intelekto prigimties, kad tik dalis jo yra veikiama racionalaus paaiškinimo. Kai kurie iš jų yra tiesiog instinktyvūs, pasąmoningi, arba nesuvokiami.
Jei taip, tada tam tikru etapu mums gali tekti tiesiog pasitikėti AI sprendimu arba jo nenaudoti. Taip pat šis sprendimas turės apimti socialinį intelektą. Lygiai taip pat, kaip visuomenė yra sukurta remiantis tikėtino elgesio sutartimi, turėsime kurti AI sistemas, kurios gerbtų mūsų socialines normas ir atitiktų jas. Jei norime sukurti robotų tankus ir kitas žudymo mašinas, svarbu, kad jų sprendimai atitiktų mūsų etinius sprendimus.
Norėdamas ištirti šias metafizines sąvokas, nuvykau į Tuftso universitetą susitikti su Danieliu Dennetu, žinomu filosofu ir pažinimo mokslininku, tyrinėjančiu sąmonę ir protą. Naujausios Dennett knygos skyrius, Nuo bakterijų iki Bacho ir atgal Enciklopedinis traktatas apie sąmonę teigia, kad natūrali paties intelekto evoliucijos dalis yra sistemų, galinčių atlikti užduotis, kurių jų kūrėjai nežino, kūrimas. Kyla klausimas, kokias priemones turime padaryti, kad tai padarytume išmintingai – kokių standartų reikalaujame iš jų ir iš savęs? – pasakoja jis man savo netvarkingame kabinete idiliškame universiteto miestelyje.
Jis taip pat turi perspėjimo žodį apie paaiškinamumo siekį. Manau, kad bet kokiu atveju, jei ketiname naudoti šiuos dalykus ir jais pasikliauti, tada kuo tvirčiau supraskime, kaip ir kodėl jie mums pateikia atsakymus, sako jis. Tačiau kadangi tobulo atsakymo nėra, turėtume būti tokie pat atsargūs AI paaiškinimams, kaip ir vieni kitiems – kad ir kokia protinga atrodytų mašina. Jis sako, kad jei jis negali geriau nei mes paaiškinti, ką daro, nepasitikėkite.