Geoffrey'us Hintonas nujaučia, kas bus toliau su AI

Kylis Mutschelknausas

Dar lapkritį kompiuterių mokslininkas ir kognityvinis psichologas Geoffrey Hintonas turėjo nuojautą. Po pusę amžiaus trukusių bandymų – kai kurie buvo nepaprastai sėkmingi – jis pasiekė dar vieną daug žadančią įžvalgą apie tai, kaip veikia smegenys ir kaip atkartoti jų grandines kompiuteryje.

Tai šiuo metu mano geriausias pasirinkimas, kaip viskas dera, sako Hintonas iš savo namų biuro Toronte, kur jis buvo izoliuotas per pandemiją. Jei jo statymas pasiteisins, tai gali paskatinti naujos kartos dirbtinius neuroninius tinklus – matematines skaičiavimo sistemas, laisvai įkvėptas smegenų neuronų ir sinapsių, kurios yra šiandieninio dirbtinio intelekto pagrindas. Jo sąžininga motyvacija, kaip jis sako, yra smalsumas. Tačiau praktinė motyvacija ir, idealiu atveju, pasekmė – yra patikimesnis ir patikimesnis AI.

„Google“ inžinierius ir Dirbtinio intelekto vektoriaus instituto įkūrėjas Hintonas parašė savo nuojautą dėl priepuolių ir pradžios, o vasario mėn. paskelbė per Twitter kad jis paskelbė a 44 puslapių popierius apie arXiv išankstinio spausdinimo serveris. Jis pradėjo nuo atsakomybės: šis dokumentas neaprašo veikiančios sistemos, rašė jis. Atvirkščiai, ji pristato įsivaizduojamą sistemą. Jis pavadino tai GLOM. Terminas kilęs iš aglomerato ir posakio glom kartu.

Hintonas mano, kad GLOM yra būdas modeliuoti žmogaus suvokimą mašinoje – tai naujas būdas apdoroti ir pateikti vaizdinę informaciją neuroniniame tinkle. Techniniu lygmeniu tai apima panašių vektorių susiliejimą. Vektoriai yra pagrindiniai neuroninių tinklų elementai – vektorius yra skaičių masyvas, koduojantis informaciją. Paprasčiausias pavyzdys yra xyz taško koordinatės – trys skaičiai, nurodantys, kur yra taškas trimatėje erdvėje. Šešių dimensijų vektoriuje yra dar trys informacijos dalys – galbūt taško spalvos raudonos-žalia-mėlynos reikšmės. Neuroniniame tinkle šimtų ar tūkstančių matmenų vektoriai reiškia ištisus vaizdus ar žodžius. Kalbant apie dar aukštesnes dimensijas, Hintonas mano, kad tai, kas vyksta mūsų smegenyse, apima didelius nervinės veiklos vektorius.

Pagal analogiją Hintonas lygina savo panašių vektorių glombavimą su aido kameros dinamika – panašių įsitikinimų sustiprinimu. Aido kamera yra visiška katastrofa politikai ir visuomenei, tačiau neuroniniams tinklams tai puikus dalykas, sako Hintonas. Aido kamerų, susietų su neuroniniais tinklais, sąvoką jis vadina identiškų vektorių salomis arba, šnekamojoje kalboje, susitarimo salomis – kai vektoriai sutaria dėl savo informacijos pobūdžio, jie nukreipia ta pačia kryptimi.

Jei neuroniniai tinklai būtų panašesni į žmones, bent jau jie gali suklysti taip pat, kaip ir žmonės, todėl sužinosime, kas gali juos suklaidinti.

Džofris Hintonas

Dvasioje GLOM taip pat siekia sunkiai suvokiamo tikslo modeliuoti intuiciją – Hintonas mano, kad intuicija yra labai svarbi suvokimui. Jis apibrėžia intuiciją kaip mūsų gebėjimą be vargo daryti analogijas. Nuo vaikystės per visą savo gyvenimą suvokiame pasaulį naudodamiesi analogiškais samprotavimais, atvaizduodami vieno objekto, idėjos ar koncepcijos panašumus į kitą – arba, kaip sako Hintonas, vieną didelį vektorių į kitą. Didžiųjų vektorių panašumai paaiškina, kaip neuroniniai tinklai atlieka intuityvų analogišką samprotavimą, sako jis. Kalbant plačiau, intuicija užfiksuoja tą neapsakomą būdą, kaip žmogaus smegenys sukuria įžvalgą. Pats Hintonas dirba labai intuityviai – moksliškai jis vadovaujasi intuicija ir analogijos kūrimo įrankiu. Ir jo smegenų veikimo teorija yra susijusi su intuicija. Esu labai nuoseklus, sako jis.

Hintonas tikisi, kad GLOM gali būti vienas iš kelių laimėjimų, kurių, jo manymu, reikia, kad dirbtinis intelektas iš tiesų galėtų greitai išspręsti problemas. remtis panašumais iš praeities patirties, žaisti idėjomis, apibendrinti, ekstrapoliuoti, suprasti. Jis sako, kad jei neuroniniai tinklai būtų panašesni į žmones, bent jau jie gali suklysti taip pat, kaip ir žmonės, todėl mes sužinosime, kas gali juos suklaidinti.

Tačiau kol kas pats GLOM yra tik intuicija – tai garų įranga, sako Hintonas. Ir jis pripažįsta, kad kaip akronimas puikiai atitinka Geoffo paskutinį originalų modelį. Tai bent jo naujausias.

Už dėžutės ribų

Hintono atsidavimas dirbtiniams neuroniniams tinklams (XX amžiaus vidurio išradimas) datuojamas aštuntojo dešimtmečio pradžioje. Iki 1986 m. jis padarė didelę pažangą: iš pradžių tinklus sudarė tik keli neuronų sluoksniai, įvestis ir išvestis, Hintonas ir bendradarbiai sugalvojo gilesnio, daugiasluoksnio tinklo techniką. Tačiau prireikė 26 metų, kol skaičiavimo galia ir duomenų talpa pasivijo ir pasinaudojo gilia architektūra.

2012 m. Hintonas įgijo šlovę ir turtus dėl gilaus mokymosi proveržio. Su dviem studentais jis įdiegė daugiasluoksnį neuroninį tinklą, kuris buvo išmokytas atpažinti objektus didžiuliuose vaizdo duomenų rinkiniuose. Neuroninis tinklas išmoko nuolat tobulėti klasifikuodamas ir identifikuodamas įvairius objektus, pavyzdžiui, erkę, grybą, motorolerį, Madagaskaro katę. Ir tai atliko netikėtai įspūdingai tiksliai.

Susijusi istorija

Ar AI jodinėja vieno triuko ponis? Beveik kiekvienas AI pažanga, apie kurią girdėjote, priklauso nuo trijų dešimtmečių senumo proveržio. Norint išlaikyti pažangos tempą, reikės susidurti su rimtais AI apribojimais.

Gilus mokymasis sukėlė naujausią AI revoliuciją, pakeitusią kompiuterinę viziją ir visą lauką. Hintonas tiki gilus mokymasis turėtų būti beveik viskas, ko reikia visiškai atkartoti žmogaus intelektą.

Tačiau nepaisant sparčios pažangos, vis dar yra didelių iššūkių. Atskleiskite neuroninį tinklą nepažįstamam duomenų rinkiniui arba svetimai aplinkai, ir jis bus trapus ir nelankstus. Savarankiškai važiuojantys automobiliai ir esė rašantys kalbos generatoriai daro įspūdį, bet viskas gali pasisekti. AI vizualines sistemas galima lengvai supainioti: kavos puodelis, atpažintas iš šono, būtų nežinomas iš viršaus, jei sistema nebūtų išmokyta šio vaizdo; o manipuliuojant keliais pikseliais pandą galima supainioti su stručiu ar net mokykliniu autobusu.

GLOM sprendžia dvi sudėtingiausias vizualinio suvokimo sistemų problemas: suprasti visą sceną objektų ir jų natūralių dalių požiūriu; ir objektų atpažinimas, kai žiūrima iš naujo požiūrio. (GLOM daugiausia dėmesio skiria regėjimui, tačiau Hintonas tikisi, kad idėja gali būti pritaikyta ir kalbai.)

Pavyzdžiui, tokį objektą kaip Hintono veidas sudaro jo gyvos, nuo šuns pavargusios akys (per daug žmonių klausinėja, per mažai miega), burna ir ausys bei iškili nosis, kurių viršuje yra ne per daug. -netvarkinga dažniausiai pilka gūželė. O turint omenyje jo nosį, profilio vaizde jį lengva atpažinti net iš pirmo žvilgsnio.

Abu šie veiksniai – visos dalies santykis ir požiūris – Hintono požiūriu yra labai svarbūs žmonių regėjimui. Jis sako, kad jei GLOM kada nors veiks, suvokimas bus daug panašesnis į žmogų nei dabartiniai neuroniniai tinklai.

Tačiau dalių grupavimas į visumą kompiuteriams gali būti sudėtinga problema, nes dalys kartais būna dviprasmiškos. Apskritimas gali būti akis, spurga arba ratas. Kaip paaiškina Hintonas, pirmosios kartos AI regėjimo sistemos bandė atpažinti objektus daugiausia remdamosi dalies ir visumos santykio geometrija – erdvine orientacija tarp dalių ir tarp dalių bei visumos. Vietoj to antroji karta daugiausia rėmėsi giluminiu mokymusi – leisdama neuroniniam tinklui treniruotis dideliu duomenų kiekiu. Su GLOM Hinton sujungia geriausius abiejų metodų aspektus.

Man patinka tam tikras intelektualinis nuolankumas, sako Gary Marcus, Robust.AI įkūrėjas ir generalinis direktorius bei gerai žinomas didelio pasitikėjimo giliu mokymusi kritikas. Marcusas žavisi Hintono noru mesti iššūkį tam, kas jam atnešė šlovę, ir pripažinti, kad tai ne visai veikia. Tai drąsu, sako jis. Ir tai yra puikus pataisymas pasakyti: „Aš stengiuosi mąstyti už langelio ribų“.

GLOM architektūra

Į GLOM kūrimas , Hintonas bandė modeliuoti kai kuriuos mentalinius sparčiuosius klavišus – intuityvias strategijas arba euristiką – kurias žmonės naudoja suvokdami pasaulį. GLOM ir, tiesą sakant, didžioji dalis Geoffo darbų, yra susijęs su euristikos, kurią, atrodo, turi žmonės, kūrimas, neuroninių tinklų, kurie patys galėtų turėti tokią euristiką, kūrimas, o tada parodyti, kad dėl to tinklai geriau mato regėjimą, sako kompiuteris Nickas Frosstas. mokslininkas kalbų paleidimo įmonėje Toronte, dirbęs su Hinton „Google Brain“.

Naudojant vizualinį suvokimą, viena strategija yra išanalizuoti objekto dalis, pvz., skirtingus veido bruožus, ir taip suprasti visumą. Jei matote tam tikrą nosį, galite ją atpažinti kaip Hintono veido dalį; tai ištisa hierarchija. Norėdamas sukurti geresnę vizijos sistemą, sako Hintonas, turiu tvirtą intuiciją, kad turime naudoti dalį visos hierarchijos. Žmogaus smegenys supranta šią dalies visumos kompoziciją sukurdamos vadinamąjį analizės medį – išsišakojusią diagramą, rodančią hierarchinį santykį tarp visumos, jos dalių ir poskyrių. Pats veidas yra medžio viršuje, o akys, nosis, ausys ir burna sudaro šakas apačioje.

Vienas iš pagrindinių Hintono tikslų naudojant GLOM yra pakartoti analizavimo medį neuroniniame tinkle – tai išskirtų jį nuo anksčiau buvusių neuroninių tinklų. Dėl techninių priežasčių tai sunku padaryti. Tai sunku, nes kiekvieną atskirą vaizdą asmuo išnagrinėtų į unikalų analizės medį, todėl norėtume, kad neuroninis tinklas padarytų tą patį, sako Frosstas. Sunku pasiekti, kad kažkas su statine architektūra – neuroniniu tinklu – įgytų naują struktūrą – analizavimo medį – kiekvienam naujam matomam vaizdui. Hintonas padarė įvairių bandymų. GLOM yra pagrindinė jo ankstesnio bandymo 2017 m. peržiūra, kartu su kitais susijusiais šios srities pasiekimais.

Aš esu nosies dalis!

GLOM vektorius

MS TECH | EVIATAR BACH PER WIKIMEDIA

Apibendrintas mąstymo būdas apie GLOM architektūrą yra toks: dominantis vaizdas (tarkim, Hintono veido nuotrauka) yra padalintas į tinklelį. Kiekviena tinklelio sritis yra vaizdo vieta – vienoje vietoje gali būti akies rainelė, o kitoje – jo nosies galiukas. Kiekvienai tinklo vietai yra maždaug penki sluoksniai arba lygiai. Ir lygis po lygmens, sistema numato, kad vektorius atspindi turinį arba informaciją. Netoli apačios esantis vektorius, nurodantis nosies galiuko vietą, gali numatyti: aš esu nosies dalis! Ir kitame lygyje, kuriant nuoseklesnį to, ką jis mato, vaizdą, vektorius gali nuspėti: aš esu veido dalis žiūrint į šoną!

Bet tada kyla klausimas, ar kaimyniniai vektoriai tame pačiame lygyje sutampa? Kai sutariame, vektoriai rodo ta pačia kryptimi, link tos pačios išvados: Taip, mes abu priklausome tai pačiai nosiai. Arba toliau į analizavimo medį. Taip, mes abu priklausome tam pačiam veidui.

Siekdami sutarimo dėl objekto prigimties – apie tai, kas tiksliai yra objektas, galiausiai – GLOM vektoriai kartojasi, kiekviena vieta ir sluoksnis po sluoksnio, vidurkis, kai šalia yra gretimi vektoriai, taip pat numatomi vektoriai iš aukščiau ir žemiau esančių lygių. .

Tačiau tinklas norom nenorom yra vidutiniškas, kai šalia yra bet kas, sako Hintonas. Vidurkis nustatomas pasirinktinai, su gretimomis prognozėmis, kurios rodo panašumus. Tai Amerikoje gerai žinoma, tai vadinama aido kamera, sako jis. Jūs priimate tik nuomones iš žmonių, kurie jau sutinka su jumis; ir tada atsitinka taip, kad jūs gaunate aido kamerą, kurioje daugybė žmonių turi lygiai tokią pačią nuomonę. GLOM iš tikrųjų tai naudoja konstruktyviai. Analogiškas reiškinys Hintono sistemoje yra tos susitarimo salelės.

Geoffas yra labai neįprastas mąstytojas...

Sue Becker

Įsivaizduokite krūvą žmonių kambaryje, šaukiančių nedidelius tos pačios idėjos variantus, sako Frosstas, arba įsivaizduokite tuos žmones kaip vektorius, rodančius nežymius tos pačios krypties pokyčius. Po kurio laiko jie susiartintų su viena idėja ir visi ją jaustų stipriau, nes ją patvirtino kiti aplinkiniai žmonės. Taip GLOM vektoriai sustiprina ir sustiprina jų kolektyvines prognozes apie vaizdą.

GLOM naudoja šias sutampančių vektorių salas, kad atliktų gudrybę pavaizduoti analizavimo medį neuroniniame tinkle. Tuo tarpu kai kurie naujausi neuroniniai tinklai naudoja vektorių susitarimą aktyvinimas , GLOM naudoja sutartį atstovavimas - daiktų atvaizdų kūrimas tinkle. Pavyzdžiui, kai keli vektoriai sutaria, kad jie visi žymi dalį nosies, jų nedidelė susitarimų grupė kartu atstoja nosį tinklo veido analizavimo medyje. Kitas mažas sutampančių vektorių spiečius gali reikšti burną analizavimo medyje; o didelis spiečius medžio viršūnėje reikštų iškylančią išvadą, kad vaizdas kaip visuma yra Hintono veidas. Hintonas paaiškina, kad analizės medis čia pavaizduotas taip, kad objekto lygyje turite didelę salą; objekto dalys – mažesnės salelės; poskyriai yra dar mažesnės salos ir pan.

2 paveikslas iš Hintono GLOM popieriaus. Identiškų vektorių salelės (tos pačios spalvos rodyklės) įvairiuose lygiuose žymi analizavimo medį.

DŽEFRIS HINTONAS

Pasak ilgamečio Hintono draugo ir bendradarbio, Monrealio universiteto kompiuterių mokslininko Yoshua Bengio, jei GLOM pavyktų išspręsti inžinerinį iššūkį pavaizduoti analizavimo medį neuroniniame tinkle, tai būtų žygdarbis – tai būtų svarbu kad neuroniniai tinklai veiktų tinkamai. Geoffas daug kartų per savo karjerą sukūrė nuostabiai galingą intuiciją, daugelis jų pasitvirtino, sako Bengio. Todėl kreipiu į juos dėmesį, ypač kai jis taip stipriai jaučia juos kaip ir GLOM.

Hintono įsitikinimo stiprybė slypi ne tik aido kameros analogijoje, bet ir matematinėse bei biologinėse analogijose, kurios įkvėpė ir pateisino kai kuriuos dizaino sprendimus naujojoje GLOM inžinerijoje.

Geoffas yra labai neįprastas mąstytojas, nes jis gali remtis sudėtingomis matematinėmis sąvokomis ir integruoti jas su biologiniais suvaržymais, kad sukurtų teorijas, sako Sue Becker, buvusi Hintono studentė, dabar McMaster universiteto skaičiavimo pažinimo neurologė. Tyrėjai, kurie yra labiau susitelkę į matematinę teoriją arba neurobiologiją, daug rečiau išspręs be galo įtikinamą galvosūkį, kaip mašinos ir žmonės gali mokytis ir mąstyti.

Filosofijos pavertimas inžinerija

Iki šiol nauja Hintono idėja buvo gerai priimta, ypač kai kuriose didžiausiose pasaulio aido kamerose. „Twitter“ sulaukiau daug teigiamų įvertinimų, sako jis. Ir a Youtube pamoka pretenduoja į terminą MeGLOMania.

Hintonas pirmasis pripažįsta, kad šiuo metu GLOM yra šiek tiek daugiau nei filosofinis mąstymas (prieš pereidamas prie eksperimentinės psichologijos, jis praleido metus studijuodamas filosofijos bakalaurą). Jei idėja filosofijoje skamba gerai, ji yra gera, sako jis. Kaip jums kada nors kiltų filosofinė idėja, kuri skamba kaip šiukšlė, bet iš tikrųjų pasirodo esanti tiesa? Tai nebūtų filosofinė mintis. Palyginimui, mokslas yra pilnas dalykų, kurie skamba kaip visiška šiukšlė, bet pasirodo puikiai veikiantys, pavyzdžiui, neuroniniai tinklai, sako jis.

GLOM sukurtas taip, kad skambėtų filosofiškai patikimai. Bet ar pavyks?

Chrisas Williamsas, mašininio mokymosi profesorius Edinburgo universiteto Informatikos mokykloje, tikisi, kad GLOM gali sukurti puikių naujovių. Tačiau jis sako, kad AI nuo filosofijos skiriasi tuo, kad galime naudoti kompiuterius tokioms teorijoms išbandyti. Gali būti, kad tokie eksperimentai gali atskleisti idėjos trūkumą – galbūt ir pataisyti –, sako jis. Šiuo metu nemanau, kad turime pakankamai įrodymų, kad galėtume įvertinti tikrąją idėjos reikšmę, nors manau, kad ji daug žada.

GLOM bandymo modelio įvestis yra dešimt elipsių, kurios sudaro avį arba veidą.

LAURA KULP

Kai kurie Hintono kolegos iš „Google Research“ Toronte yra labai ankstyvoje eksperimentinio GLOM tyrimo stadijoje. Laura Culp, programinės įrangos inžinierius, diegiantis naujas neuroninio tinklo architektūras, naudoja kompiuterinį modeliavimą, kad patikrintų, ar GLOM gali sukurti Hintono susitarimo salas, kad suprastų objekto dalis ir visumą, net jei įvesties dalys yra dviprasmiškos. Eksperimentų metu dalys yra 10 elipsių, įvairaus dydžio ovalų, kurie gali būti išdėstyti taip, kad sudarytų veidą arba avelę.

Atsitiktinai įvedant vieną ar kitą elipsę, modelis turėtų sugebėti prognozuoti, sako Culp, ir susidoroti su netikrumu, ar elipsė yra veido ar avies dalis ir ar tai yra avies koja. , arba avies galva. Susidūręs su bet kokiais trikdžiais, modelis taip pat turėtų sugebėti pasitaisyti pats. Kitas žingsnis – nustatyti bazinę liniją, nurodant, ar standartinis giluminio mokymosi neuroninis tinklas nesujauks tokios užduoties. Kol kas GLOM yra labai prižiūrimas – „Culp“ kuria ir žymi duomenis, ragindamas ir spaudžia modelį, kad jis rastų teisingas prognozes ir laikui bėgant pasisektų. (Neprižiūrima versija pavadinta GLUM – tai pokštas, sako Hintonas.)

Esant tokiai preliminariai būsenai, dar per anksti daryti kokias nors dideles išvadas. Kulpas laukia daugiau numerių. Vis dėlto Hintonas jau yra sužavėtas. Paprasta GLOM versija gali pažvelgti į 10 elipsių ir pamatyti veidą bei avį, remiantis erdviniais elipsių ryšiais, sako jis. Tai sudėtinga, nes atskira elipsė nieko neperteikia apie tai, kokiam objekto tipui ji priklauso arba kuriai to objekto daliai ji priklauso.

Ir apskritai Hintonas yra patenkintas atsiliepimais. Aš tiesiog norėjau jį paskelbti bendruomenei, kad visi, kuriems patinka, galėtų tai išbandyti, sako jis. Arba išbandykite keletą šių idėjų derinių. Ir tada tai pavers filosofiją mokslu.

paslėpti