DI ekspertų diskusijos rodo kovą dėl technologijos ateities

Gary Marcus ir Danny Lange Marcusas: R. Farrell/ITU; Lange: Cody Glenn / Web Summit

Nuo šeštojo dešimtmečio dirbtinis intelektas ne kartą žadėjo per daug ir nepasiteisino. Nors pastaraisiais metais dėl gilaus mokymosi įvyko neįtikėtinų šuolių, AI šiandien vis dar yra siauras: jis yra trapus atakų akivaizdoje, negali apibendrinti, kad prisitaikytų prie besikeičiančios aplinkos ir yra pilnas šališkumo. Dėl visų šių iššūkių technologijomis sunku pasitikėti ir ribojamas jos potencialas būti naudingas visuomenei.

Kovo 26 d. kasmetiniame „MIT Technology Review“ renginyje „EmTech Digital“ dvi žinomos dirbtinio intelekto asmenybės užlipo į virtualią sceną, kad padiskutuotų, kaip ši sritis galėtų išspręsti šias problemas.

Gary Marcus, NYU profesorius emeritas ir Robust.AI įkūrėjas bei generalinis direktorius, yra gerai žinomas gilaus mokymosi kritikas. Savo knygoje AI perkrovimas , paskelbtame praėjusiais metais, jis teigė, kad dirbtinio intelekto trūkumai yra būdingi šiai technikai. Todėl mokslininkai turi žvelgti ne tik į gilų mokymąsi, teigia jis, ir derinti jį su klasikinėmis arba simbolinėmis AI sistemomis, kurios koduoja žinias ir geba samprotauti.

Danny Lange, „Unity“ dirbtinio intelekto ir mašininio mokymosi viceprezidentas, sėdi gilaus mokymosi stovykloje. Jis sukūrė savo karjerą, remdamasis šios technikos pažadais ir potencialu, dirbdamas Uber mašininio mokymosi vadovu, „Amazon Machine Learning“ generaliniu direktoriumi ir „Microsoft“ produkto vadovu, daugiausia dėmesio skiriant didelio masto mašininiam mokymuisi. „Unity“ dabar jis padeda tokioms laboratorijoms kaip „DeepMind“ ir „OpenAI“ kurti virtualias mokymo aplinkas, kurios moko jų algoritmus suvokti pasaulį.

Renginio metu kiekvienas pranešėjas skaitė trumpą pristatymą, o vėliau susėdo į panelinę diskusiją. Jų išreikšti nesutarimai atspindi daugelį susidūrimų šioje srityje, išryškindami, kaip stipriai technologija buvo suformuota dėl nuolatinės idėjų kovos ir kiek mažai aiškumo dėl to, kur ji bus toliau.

Žemiau jų panelinė diskusija buvo sutrumpinta ir šiek tiek redaguota siekiant aiškumo.

Gary, jūs naudojatės savo patirtimi neurologijos ir psichologijos srityse, kad išsiaiškintumėte, ko šiuo metu trūksta AI. Kaip manote, kaip klasikinis AI yra tinkama sistema derinti su giliu mokymusi?

Gary Marcus: Pirmas dalykas, kurį pasakysiu, yra tai, kad mums gali prireikti hibridų, kurie yra sudėtingesni nei tik gilus mokymasis ir klasikinis AI. Mums reikia pas mažiausiai kad. Tačiau gali būti visa krūva dalykų, apie kuriuos dar net nesvajojome. Turime būti atviri.

Kodėl į mišinį įtraukti klasikinį AI? Na, mes darome įvairius samprotavimus, remdamiesi savo žiniomis pasaulyje. Gilus mokymasis to tiesiog neatspindi. Šiose sistemose nėra būdo pavaizduoti, kas yra rutulys ar butelis ir ką šie dalykai daro vienas kitam. Taigi rezultatai atrodo puikūs, tačiau paprastai jie nėra labai apibendrinami.

Klasikinis AI – tai jo vairinė. Pavyzdžiui, jis gali išanalizuoti sakinį pagal jo semantinį vaizdą arba turėti žinių apie tai, kas vyksta pasaulyje, ir padaryti apie tai išvadas. Jis turi savų problemų: dažniausiai nepakanka aprėpties, nes per daug jos parašyta ranka ir pan. Tačiau bent jau iš principo tai yra vienintelis būdas sukurti sistemas, galinčias daryti tokius dalykus kaip loginės išvados ir indukcinės išvados per abstrakčias žinias. Tai dar nereiškia, kad tai visiškai teisinga, bet tai yra geriausia, ką turime.

Ir tada yra daug psichologinių įrodymų, kad žmonės gali atlikti tam tikrą simbolinį vaizdavimą. Ankstesniame gyvenime, kaip kognityvinio vystymosi žmogus, atlikau eksperimentus su septynių mėnesių kūdikiais ir parodžiau, kad tie kūdikiai gali apibendrinti simbolines žinias. Taigi, jei septynių mėnesių kūdikis gali tai padaryti, kodėl mes laikome rankas už nugaros ir bandome sukurti dirbtinį intelektą be mechanizmų, kuriuos turi kūdikiai?

Ar matėte kokių nors projektų, kuriuose jie sėkmingai derino gilųjį mokymąsi ir simbolinį AI daug žadančiais būdais?

GM: Straipsnyje, kurį parašiau, vadinosi Kitas AI dešimtmetis , išvardijau apie 20 skirtingų naujausių projektų, kuriuose bandoma sudaryti hibridinius modelius, turinčius gilaus mokymosi ir tam tikrų simbolinių žinių. Vienas iš pavyzdžių, kurį žino visi, yra „Google“ paieška. Kai įvedate paieškos užklausą, yra klasikinis AI, kuris bando atskirti žodžius. Naudojant „Google“ žinių diagramą, bandoma išsiaiškinti, ar kalbate apie Paryžių, ar kalbate apie Paris Hilton, Paryžių, Teksasą, ar Paryžių, Prancūziją. Tada jis naudoja gilų mokymąsi, kad atliktų kai kuriuos kitus dalykus, pavyzdžiui, kad surastų sinonimus naudojant BERT modelis . Žinoma, „Google“ paieška nėra AI, kurio galiausiai tikimės pasiekti, tačiau tai gana tvirtas įrodymas, kad tai nėra neįmanoma svajonė.

Danny, ar sutinkate, kad turėtume pažvelgti į šiuos hibridinius modelius?

Danny Lange: Ne, nesutinku. Problema, susijusi su simboliniu dirbtiniu intelektu, yra bandymas imituoti žmogaus smegenis labai gilia prasme. Tai man šiek tiek primena, žinote, XVIII amžiuje, jei norėjote greitesnio transportavimo, dirbdavote kurdami mechaninį arklį, o ne išradę vidaus degimo variklį. Taigi aš labai skeptiškai žiūriu į bandymą išspręsti AI bandant imituoti žmogaus smegenis.

Gilusis mokymasis nebūtinai yra sidabrinė kulka, bet jei pateiksite jam pakankamai duomenų ir turite tinkamą neuroninio tinklo architektūrą, jis gali išmokti abstrakcijas, kurių mes, kaip žmonės, negalime interpretuoti, tačiau dėl to sistema labai efektyvi sprendžiant platų spektrą. užduočių.

Atrodo, kad iš esmės jūs abu nesutariate dėl AI tikslo.

GM: Manau, kad yra ironija. Kai gruodį diskutavau su Yoshua Bengio, Bengio pasakė, kad vienintelis gilaus mokymosi įsipareigojimas yra tai, kad jis būtų pagrįstas neurologiniu požiūriu. Taigi iš gilaus mokymosi girdėjau abu priešingus kraštutinumus. Tai šiek tiek keista, ir nemanau, kad turėtume rimtai žiūrėti į šiuos argumentus.

Vietoj to turėtume pasakyti: Ar simboliai gali mums padėti? Ir atsakymas didžiąja dalimi yra taip. Beveik visa pasaulio programinė įranga yra sukurta remiantis simboliais. Ir tada jūs turite pasakyti: empiriškai, ar giluminio mokymosi dalykai daro tai, ko mes norime? Ir iki šiol problema yra ta, kad ji buvo nemokama. Vicarious [dirbtinio intelekto varomas pramoninės robotikos startuolis] turėjo a puiki demonstracija „Atari“ žaidimų mokymosi sistema, kurią „DeepMind“ išpopuliarino ir išmoko žaisti „Breakout“ antžmogišku lygiu. Bet tada Vicariousas perkėlė irklą keliais pikseliais ir viskas subyrėjo, nes mokymosi lygis buvo per žemas. Jame nebuvo irklo, kamuoliuko, plytų rinkinio koncepcijos. Simbolinis Breakout algoritmas labai lengvai galėtų kompensuoti tuos dalykus.

Priežastis žiūrėti į žmones yra ta, kad yra tam tikrų dalykų, kuriuos žmonės daro daug geriau nei gilaus mokymosi sistemos. Tai nereiškia, kad žmonės galiausiai bus tinkamas modelis. Norime sistemų, kurios turėtų tam tikras kompiuterių savybes ir kai kurias savybes, kurios buvo pasiskolintos iš žmonių. Nenorime, kad mūsų dirbtinio intelekto sistemos turėtų blogą atmintį vien todėl, kad taip elgiasi žmonės. Tačiau kadangi žmonės yra vienintelis sistemos modelis, galintis giliai ką nors suprasti – pažodžiui vienintelis modelis, kurį turime – turime į šį modelį žiūrėti rimtai.

DL: Taip, taigi pavyzdys, kad pasaulio programavimo kalbos yra pagrįstos simboliu – tai tiesa, nes jos skirtos žmonėms įgyvendinti savo idėjas ir mintis.

Gilus mokymasis nėra žmogaus smegenų replikacija. Galbūt galite sakyti, kad tai įkvėpė neuroninis pasaulis, bet tai yra programinės įrangos dalis. Mes dar tikrai nesigilinome su giliu mokymusi. Iki šiol turėjome ribotą treniruočių duomenų kiekį. Mes turėjome ribotas struktūras su ribota skaičiavimo galia. Tačiau svarbiausia yra tai, kad gilus mokymasis išmoksta sąvoką, išmoksta ypatybių. Tai nėra žmogaus sukurtas dalykas. Manau, kad didelis skirtumas tarp Gary požiūrio ir mano požiūrio yra tas, ar žmonių inžinieriai sistemai suteikia intelekto, ar sistema pati mokosi intelekto.

Danny, minėjote, kad dėl duomenų ir skaičiavimo apribojimų dar nematėme gilaus mokymosi galimybių. Ar neturėtume kurti naujų metodų, atsižvelgiant į tai, kad gilus mokymasis yra toks neveiksmingas? Turėjome drastiškai padidinti skaičiavimą, kad galėtume atskleisti naujus gilaus mokymosi gebėjimus.

DL: Viena iš gilaus mokymosi problemų yra ta, kad jis iki šiol buvo pagrįstas tam tikru klasikiniu požiūriu: sugeneruojate didelį mokymo duomenų rinkinį, o tada įvedate jį. Vienas dalykas, kuris tikrai galėtų pagerinti gilų mokymąsi, yra aktyvus mokymasis. mokymosi procesas, kurio metu tinklas mokomas optimizuoti mokymo duomenis. Kad pagerintumėte mokymosi procesą, jums nereikės tiesiog tiekti stulbinančio duomenų kiekio. Galite nuolat pritaikyti savo treniruočių duomenis pagal konkrečią sritį.

Gary, atkreipiate dėmesį į gilaus mokymosi pažeidžiamumą šališkumas ir priešiškų išpuolių . Danny, minėjote, kad sintetiniai duomenys yra šios problemos sprendimas, nes nėra šališkumo ir galite paleisti milijonus modeliavimų, kurie tikriausiai pašalins priešingus pažeidžiamumus. Kokie yra jūsų atsakymai į tai?

GM: Vien duomenys dar nėra sprendimas. Sintetiniai duomenys nepadės tokiems dalykams kaip paskolų šališkumas ar šališkumas darbo pokalbiuose. Tikroji problema yra ta, kad šios sistemos turi tendenciją išlaikyti šališkumą, kuris buvo dėl istorinių priežasčių. Nėra akivaizdu, kad sintetiniai duomenys yra sprendimas, o ne kuriant sistemas, kurios yra pakankamai sudėtingos, kad suprastų kultūrinį šališkumą, kurį bandome pakeisti.

Priešingi išpuoliai yra kitoks dalykas. Duomenys gali padėti kai kuriems iš jų, bet iki šiol tikrai nepašalinome daugybės skirtingų priešiškų išpuolių. Parodžiau jums beisbolo kamuolį su putomis, apibūdintą kaip espreso. Jei kas nors iš anksto sugalvos pasigaminti beisbolo kamuoliukus su espreso kavinuku ir atidžiai juos paženklinti, gerai. Visada bus atvejų, apie kuriuos niekas nepagalvojo. Sistema, kuri yra grynai pagrįsta duomenimis, ir toliau bus pažeidžiama.

DL: Realaus pasaulio duomenys yra labai neobjektyvūs, kad ir ką darytumėte. Jūs renkate duomenis tam tikroje aplinkoje, tarkime, apie savarankiškai važiuojančias transporto priemones, o gatvėse yra gal 90% suaugusiųjų ir 10% vaikų. Tai normalus pasiskirstymas. Tačiau mašininio mokymosi sistema turi treniruotis tolygiai suaugusiems ir vaikams, kad būtų išvengta susidūrimo su vienu iš jų. Taigi naudodami sintetinius duomenis iš esmės galite subalansuoti ir išvengti šališkumo, jei esate atsargūs. Tai nereiškia, kad negalite sukurti naujų šališkumo. Turite to saugotis. Tikrai išspręsite privatumo problemas, nes jokiuose jūsų treniruočių duomenyse nėra tikrų žmonių ar tikrų vaikų.

Kalbant apie priešpriešinius pavyzdžius, daugelio jų problema yra ta, kad jie iš esmės kuriami prieš silpnus kompiuterinio matymo modelius – modelius, kurie buvo išmokyti naudoti 10 ar 20 milijonų vaizdų, tarkime, iš „ImageNet“. Tai toli gražu nepakanka duomenų modeliui apibendrinti. Norint apibendrinti šiuos kompiuterinio matymo modelius, kad jie nebūtų apgauti, mums reikia daug duomenų rinkinių su neįtikėtinu domenų atsitiktiniu atskyrimu.

Kas jus labiausiai jaudina dėl AI ateities?

GM: Pastaraisiais metais įvyko tikras judėjimas hibridinių modelių link. Žmonės tyrinėja naujus dalykus, kurių anksčiau nebuvo, ir tai įdomu.

DL: Manau, kad tai tikrai kelių modelių sistemos – sistemos, sudarytos iš daugybės skirtingų suvokimo ir elgesio modelių kartu, siekiant išspręsti tikras sudėtingas užduotis.

paslėpti