Ar AI jodinėja vieno triuko ponis?

Beveik kiekvienas AI pažanga, apie kurią girdėjote, priklauso nuo trijų dešimtmečių senumo proveržio. Norint išlaikyti pažangos tempą, reikės susidurti su rimtais AI apribojimais. Autorius

• Jamesas Somersas archyvo puslapis

2017 m. rugsėjo 29 d

Adomas aplinkkelis

Aš stoviu toje vietoje, kuri netrukus taps pasaulio centru, o gal tik labai dideliame kambaryje septintame blizgančio bokšto aukšte Toronto centre. Man rodos Jordanas Jacobsas, įkūręs šią vietą: besikuriantį Vektorių institutą, kuris duris atvers šį rudenį ir kuris siekia tapti pasauliniu dirbtinio intelekto epicentru.

Esame Toronte, nes Geoffrey'us Hintonas yra Toronte, o Geoffrey'us Hintonas yra gilaus mokymosi, technikos, kuri slepia dabartinį susidomėjimą dirbtiniu intelektu, tėvas. Po 30 metų žvelgsime atgal ir sakysime, kad Geoffas yra Einšteinas – dirbtinis intelektas, gilus mokymasis, dalykas, kurį vadiname DI, sako Jacobsas. Iš gilaus mokymosi srities aukščiausių tyrėjų Hintonas turi daugiau citatų nei kiti trys kartu paėmus. Jo studentai ir postdocs toliau vadovavo AI laboratorijoms Apple, Facebook ir OpenAI; Pats Hintonas yra pagrindinis „Google Brain AI“ komandos mokslininkas. Tiesą sakant, beveik visi pastarojo AI dešimtmečio pasiekimai – vertimo, kalbos atpažinimo, vaizdo atpažinimo ir žaidimo srityse – tam tikru būdu yra susiję su Hintono darbu.

Ši istorija buvo mūsų 2017 m. lapkričio mėn. numerio dalis

• Žr. likusią numerio dalį
• Prenumeruoti

Vektorių institutas, šis paminklas Hintono idėjų kilimui, yra tyrimų centras, kuriame įmonės iš viso JAV ir Kanados, tokios kaip „Google“, „Uber“ ir „Nvidia“, rems pastangas komercializuoti AI technologijas. Pinigai pasipylė greičiau, nei Jacobsas galėjo jų paprašyti; du jo įkūrėjai apklausė Toronto srities įmones, o dirbtinio intelekto ekspertų paklausa 10 kartų viršijo Kanados kasmet pagaminamus produktus. Vektorius tam tikra prasme yra nulis dabartiniam pasauliniam bandymui sutelkti dėmesį į gilų mokymąsi: užsidirbti pinigų iš technikos, ją išmokyti, tobulinti ir pritaikyti. Statomi duomenų centrai, bokštai pildosi startuoliais, į šią sritį eina visa studentų karta.

Susidaro įspūdis, kad stovi ant Vector grindų plikas ir aidas ir tuoj bus užpildytas, kad esi kažko pradžioje. Tačiau giluminio mokymosi ypatumas yra tai, kiek senos yra pagrindinės jo idėjos. Hintono perversmo darbas su kolegomis Davidu Rumelhartu ir Ronaldu Williamsu buvo paskelbtas 1986 m. Straipsnyje buvo nagrinėjama technika, vadinama backpropagation arba sutrumpintai backprop. Backpropas, Prinstono skaičiavimo psichologo Jono Coheno žodžiais, yra tai, kuo grindžiamas visas gilus mokymasis – tiesiog viskas.

Kai viską sumenkinate, AI šiandien yra gilus mokymasis, o gilus mokymasis yra backprop – tai nuostabu, turint omenyje, kad backprop yra daugiau nei 30 metų. Verta suprasti, kaip tai atsitiko – kaip technika gali taip ilgai laukti ir tada sukelti tokį sprogimą – nes supratę backprop istoriją, pradėsite suprasti dabartinę AI akimirką ir ypač faktą. kad gal iš tikrųjų nesame revoliucijos pradžioje. Galbūt mes esame vieno pabaigoje.

Patvirtinimas

Pėsčiomis nuo Vector instituto iki Hintono biuro Google, kur jis praleidžia didžiąją laiko dalį (dabar jis yra Toronto universiteto profesorius emeritas), yra tam tikra miesto reklama, bent jau vasarą. Galite suprasti, kodėl Hintonas, kilęs iš JK, persikėlė čia devintajame dešimtmetyje po darbo Carnegie Mellon universitete Pitsburge.

Kai išeini į lauką, net į miesto centrą netoli finansinio rajono, jautiesi taip, lyg iš tikrųjų būtum išvykęs į gamtą. Tai kvapas, manau: šlapias priemolis ore. Torontas buvo pastatytas ant miškingų daubų, ir sakoma, kad tai miestas parke; Kadangi jis buvo urbanizuotas, vietos valdžia nustatė griežtus medžių lajų priežiūros apribojimus. Kai skrendate, išorinės miesto dalys atrodo beveik karikatūriškai sodrios.

Galbūt mes iš tikrųjų nesame revoliucijos pradžioje.

Torontas yra ketvirtas pagal dydį miestas Šiaurės Amerikoje (po Meksikos, Niujorko ir Los Andželo) ir yra pats įvairiausias: daugiau nei pusė gyventojų gimė už Kanados ribų. Tai matai vaikščiojant. Minia technologijų koridoriuje atrodo ne tokia San Francisko – jauni balti vaikinai su gobtuvais – ir labiau tarptautiniai. Yra nemokama sveikatos apsauga ir geros valstybinės mokyklos, žmonės draugiški, o politinė santvarka gana kairioji ir stabili; ir tai traukia tokius žmones kaip Hintonas, kuris sako, kad paliko JAV dėl Irano ir Kontros aferos. Tai vienas iš pirmųjų dalykų, apie kuriuos kalbame, kai einu jo susitikti, prieš pat pietus.

Dauguma CMU žmonių manė, kad JAV buvo visiškai pagrįsta įsiveržti į Nikaragvą, sako jis. Jie kažkaip manė, kad tai jiems priklauso. Jis man sako, kad neseniai įgyvendindamas projektą padarė didelį proveržį: gavo labai gerą jaunesnįjį inžinierių, kuris dirba su manimi, moterį, vardu Sara Sabour. Sabour yra iranietė, todėl jai buvo atsisakyta išduoti vizą dirbti JAV. „Google“ biuras Toronte ją užfiksavo.

69 metų Hintonas turi malonų, liesą, angliškai atrodantį Didžiojo Draugiško Milžino veidą, plona burna, didelėmis ausimis ir išdidžia nosimi. Jis gimė Vimbldone, Anglijoje, o kalbėdamas skamba kaip vaikiškos knygos apie mokslą pasakotojas: smalsus, įtraukiantis, norintis viską paaiškinti. Jis juokingas ir šiek tiek šoumenas. Jis stovi visą laiką, kol kalbamės, nes, pasirodo, sėdėti per daug skausminga. Aš atsisėdau 2005 m. birželį ir tai buvo klaida, sako jis, leisdamas nusileisti keistai linijai prieš paaiškindamas, kad diskas nugaroje jam kelia problemų. Tai reiškia, kad jis nemoka skraidyti, o anksčiau tą dieną į odontologo kabinetą turėjo atsinešti įrankį, kuris atrodė kaip banglentė, kad galėtų ant jos gulėti tirdamas įskilusią danties šaknį.

Devintajame dešimtmetyje Hintonas, kaip ir dabar, buvo neuroninių tinklų, labai supaprastinto mūsų smegenų neuronų ir sinapsių tinklo modelio, ekspertas. Tačiau tuo metu buvo tvirtai nuspręsta, kad neuroniniai tinklai yra AI tyrimų aklavietė. Nors ankstyviausias neuroninis tinklas, Perceptronas, kuris buvo pradėtas kurti šeštajame dešimtmetyje, buvo įvertintas kaip pirmasis žingsnis žmogaus lygio mašininio intelekto link, 1969 m. MIT mokslininko Marvino Minsky ir Seymouro Paperto knyga, pavadinta Perceptronai , matematiškai įrodė, kad tokie tinklai gali atlikti tik pačias pagrindines funkcijas. Šie tinklai turėjo tik du neuronų sluoksnius: įvesties ir išvesties. Tinklai, turintys daugiau sluoksnių tarp įvesties ir išvesties neuronų, teoriškai galėtų išspręsti daugybę problemų, tačiau niekas nežinojo, kaip jų išmokyti, todėl praktiškai jie buvo nenaudingi. Išskyrus keletą sulaikymų, tokių kaip Hintonas, Perceptronai dėl to dauguma žmonių visiškai atsisakė neuroninių tinklų.

Hintono proveržis 1986 m. buvo parodyti, kad platinimas atgal gali išugdyti gilų nervinį tinklą, ty tinklą, turintį daugiau nei du ar tris sluoksnius. Tačiau prireikė dar 26 metų, kol didėjanti skaičiavimo galia padėjo atradimui. 2012 metų laikraštis Hintonas ir du jo Toronto mokiniai parodė, kad gilieji neuroniniai tinklai, išmokyti naudojant atgalinį sklidimą, įveikia pažangiausias vaizdo atpažinimo sistemas. Atsirado gilus mokymasis. Išoriniam pasauliui AI atrodė, kad pabunda per naktį. Hintonui tai buvo seniai lauktas atlygis.

Realybės iškraipymo laukas

Neuroninis tinklas paprastai brėžiamas kaip sumuštinis, kai sluoksniai yra sukrauti vienas ant kito. Sluoksniuose yra dirbtinių neuronų, kurie yra kvaili maži skaičiavimo vienetai, kurie susijaudina – taip, kaip susijaudina tikras neuronas – ir perduoda tą jaudulį kitiems neuronams, su kuriais yra prisijungę. Neurono susijaudinimas pavaizduotas skaičiumi, pvz., 0,13 arba 32,39, kuris parodo, koks jis susijaudinęs. Ir yra dar vienas svarbus skaičius, kiekviename iš dviejų neuronų jungčių, kuris lemia, kiek susijaudinimo turėtų perduoti vienas kitam. Šis skaičius skirtas modeliuoti smegenų neuronų sinapsių stiprumą. Kai skaičius didesnis, tai reiškia, kad ryšys yra stipresnis, todėl daugiau vienas susijaudinimas patenka į kitą.

Diagrama iš pagrindinio Hintono, Davido Rumelharto ir Ronaldo Williamso klaidų sklaidos darbo.

Vienas iš sėkmingiausių giliųjų neuroninių tinklų pritaikymo būdų yra vaizdo atpažinimas – kaip įsimintinoje HBO scenoje. Silicio slėnis kur komanda sukuria programą, kuri gali nustatyti, ar nuotraukoje yra dešrainis. Tokios programos iš tikrųjų egzistuoja, o prieš dešimtmetį jų nebūtų buvę. Kad jie pradėtų dirbti, pirmiausia reikia padaryti nuotrauką. Tarkime, kad būtų paprasčiau, tai mažas nespalvotas vaizdas, kurio plotis yra 100 pikselių ir 100 pikselių aukštis. Šį vaizdą perduodate į savo neuroninį tinklą, nustatydami kiekvieno imituojamo neurono sužadinimą įvesties sluoksnyje, kad jis būtų lygus kiekvieno pikselio ryškumui. Tai yra apatinis klubo sumuštinio sluoksnis: 10 000 neuronų (100 x 100), atspindinčių kiekvieno vaizdo pikselio ryškumą.

Tada sujungiate šį didelį neuronų sluoksnį su kitu dideliu neuronų sluoksniu virš jo, tarkime, kelis tūkstančius, o šie savo ruožtu su kitu sluoksniu, susidedančiu iš kelių tūkstančių neuronų, ir taip toliau kelis sluoksnius. Galiausiai, viršutiniame sumuštinio sluoksnyje, išvesties sluoksnyje, turite tik du neuronus – vieną atstovauja dešrainį, o kitą – ne dešrainį. Idėja yra išmokyti neuroninį tinklą sužadinti tik pirmąjį iš šių neuronų, jei nuotraukoje yra dešrainis, ir tik antrąjį, jei jo nėra. Atgalinis propagavimas – technika, kuria remdamasis Hintonas sukūrė savo karjerą – yra būdas tai padaryti.

„Backprop“ yra nepaprastai paprastas, nors jis geriausiai veikia su didžiuliu duomenų kiekiu. Štai kodėl dideli duomenys yra tokie svarbūs dirbtiniu intelektu – kodėl „Facebook“ ir „Google“ jų taip ištroškę ir kodėl Vektorių institutas nusprendė įkurti parduotuvę gatvėje iš keturių didžiausių Kanados ligoninių ir plėtoti duomenų partnerystę su jomis.

Šiuo atveju duomenys pateikiami kaip milijonai nuotraukų, kai kuriose su dešrainiais, o kai kuriose be jų; gudrybė ta, kad šiose nuotraukose yra pažymėtos, kuriose yra dešrainių. Kai pirmą kartą sukuriate savo neuroninį tinklą, ryšiai tarp neuronų gali turėti atsitiktinių svorių – atsitiktinių skaičių, nurodančių, kiek jaudulio reikia perduoti kiekvienam ryšiui. Atrodo, kad smegenų sinapsės dar nebuvo sureguliuotos. Backprop tikslas yra pakeisti tuos svorius, kad tinklas veiktų: kad kai dešrainio vaizdas perduodamas žemiausiam sluoksniui, viršutinio sluoksnio dešrainio neuronas susijaudintų.

Tarkime, kad padarėte savo pirmąjį treniruočių vaizdą, o tai yra fortepijono nuotrauka. Jūs konvertuojate 100x100 paveikslėlio pikselių intensyvumą į 10 000 skaičių, po vieną kiekvienam apatiniame tinklo sluoksnyje esančiam neuronui. Kai jaudulys plinta tinkle pagal gretimų sluoksnių neuronų ryšio stiprumą, galiausiai jis atsidurs paskutiniame sluoksnyje, tame, kuriame yra du neuronai, kurie sako, ar nuotraukoje yra dešrainis. Kadangi paveikslėlyje pavaizduotas fortepijonas, idealiu atveju dešrainio neurono skaičius turėtų būti nulis, o ne dešrainio neurono skaičius turėtų būti didelis. Bet tarkime, kad taip neišeina. Tarkime, kad tinklas neteisingas dėl šios nuotraukos. „Backprop“ yra procedūra, skirta pakeisti kiekvieno tinklo ryšio stiprumą, kad būtų ištaisyta konkretaus mokymo pavyzdžio klaida.

Tai veikia taip, kad pradedate nuo dviejų paskutinių neuronų ir išsiaiškinate, kaip jie buvo klaidingi: koks skirtumas tarp to, kokie turėjo būti sužadinimo skaičiai ir kokie jie buvo iš tikrųjų? Kai tai bus padaryta, pažvelkite į kiekvieną jungtį, vedančią į tuos neuronus – esančius kitame apatiniame sluoksnyje – ir išsiaiškinkite jų indėlį į klaidą. Tai darote tol, kol pasiekiate pirmąjį jungčių rinkinį, esantį pačioje tinklo apačioje. Tuo metu žinote, kiek kiekviena atskira jungtis prisidėjo prie bendros klaidos, o paskutiniame žingsnyje kiekvieną svorį pakeičiate ta kryptimi, kuri geriausiai sumažina bendrą klaidą. Ši technika vadinama atgaliniu platinimu, nes jūs platinate klaidas atgal (arba žemyn) per tinklą, pradedant nuo išvesties.

Neįtikėtina yra tai, kad kai tai darote su milijonais ar milijardais vaizdų, tinklas pradeda gana gerai pasakyti, ar vaizde yra dešrainis. Ir dar nuostabiau yra tai, kad atskiri šių vaizdų atpažinimo tinklų sluoksniai pradeda matyti vaizdus panašiai kaip mūsų vizualinė sistema. Tai reiškia, kad pirmasis sluoksnis gali aptikti kraštus ta prasme, kad jo neuronai susijaudina, kai yra kraštų, o nesijaudina, kai jų nėra; virš jo esantis sluoksnis gali aptikti kraštų rinkinius, pvz., kampus; virš jo esantis sluoksnis gali pradėti matyti formas; o virš jo esantis sluoksnis gali pradėti rasti tokius dalykus kaip atvira bandelė arba uždara bandelė, ty turėti neuronų, kurie reaguoja į bet kurį atvejį. Tinklas organizuojasi, kitaip tariant, į hierarchinius sluoksnius, niekada nebuvo taip aiškiai užprogramuotas.

Tikras intelektas nepalūžta, kai šiek tiek pakeičiate problemą.

Tai yra dalykas, kuris visus sužavėjo. Tai ne tik tai, kad neuroniniai tinklai gerai klasifikuoja dešrainių nuotraukas ar dar ką nors: atrodo, kad jie gali sukurti idėjų reprezentacijas. Su tekstu galite tai pamatyti dar aiškiau. Daug milijardų žodžių ilgio Vikipedijos tekstą galite įterpti į paprastą neuroninį tinklą, išmokydami jį išspjauti kiekvienam žodžiui didelį skaičių sąrašą, atitinkantį kiekvieno sluoksnio neurono susijaudinimą. Jei manote, kad kiekvienas iš šių skaičių yra koordinatė sudėtingoje erdvėje, iš esmės tai, ką darote, yra rasti tašką, šiame kontekste žinomą kaip vektorius, kiekvienam žodžiui kur nors toje erdvėje. Dabar apmokykite savo tinklą taip, kad žodžiai, esantys šalia vienas kito Vikipedijos puslapiuose, baigtųsi su panašiomis koordinatėmis, ir voilà, atsitinka kažkas beprotiško: žodžiai, turintys panašias reikšmes, erdvėje pradeda rodytis vienas šalia kito. Tai reiškia, kad bepročių ir nesujungtų koordinatės bus arti viena kitos, kaip ir trys, septynios ir pan. Be to, vadinamoji vektorinė aritmetika leidžia, tarkime, atimti Prancūzijos vektorių iš Paryžiaus vektoriaus, pridėti Italijos vektorių ir atsidurti Romos kaimynystėje. Tai veikia niekam aiškiai nepasakant tinklui, kad Roma yra Italijai kaip Paryžius Prancūzijai.

Tai nuostabu, sako Hintonas. Tai šokiruoja. Galima manyti, kad neuroniniai tinklai bando paimti daiktus – vaizdus, ​​žodžius, kieno nors pokalbio įrašus, medicininius duomenis – ir įdėti juos į tai, ką matematikai vadina didelės dimensijos vektorine erdve, kur daiktų artumas arba atstumas atspindi kokią nors svarbią savybę. tikrojo pasaulio. Hintonas mano, kad tai daro pačios smegenys. Jei norite sužinoti, kas yra mintis, sako jis, galiu ją išreikšti žodžiais. Galiu pasakyti: „Jonas pagalvojo, oi“. Bet jei paklausite: „Kokia mintis? Ką reiškia Jonui tokia mintis?“ Ne tai, kad jo galvoje yra įžanginė citata, „Oho“, ir baigiamoji citata, ar net išvalyta to versija. Jo galvos viduje yra tam tikras didelis nervinės veiklos modelis. Didelius neuronų veiklos modelius, jei esate matematikas, galima užfiksuoti vektorinėje erdvėje, kai kiekvieno neurono veikla atitinka skaičių, o kiekvienas skaičius – tikrai didelio vektoriaus koordinatę. Hintono nuomone, tokia mintis yra: vektorių šokis.

Geoffrey Hintonas „Google“ sutikimu

Neatsitiktinai Toronto pavyzdinė AI institucija buvo pavadinta dėl šio fakto. Hintonas buvo tas, kuris sugalvojo Vector instituto pavadinimą.

Hintonas sukuria tam tikrą tikrovės iškraipymo lauką, tikrumo ir entuziazmo orą, kuris suteikia jausmą, kad vektoriai negali padaryti nieko. Juk pažiūrėkite, ką jie jau sugebėjo pagaminti: automobilius, kurie patys vairuoja, kompiuterius, aptinkančius vėžį, mašinas, kurios akimirksniu verčia šnekamąją kalbą. Ir pažiūrėkite į šį žavų britų mokslininką, kalbantį apie gradientinį nusileidimą didelėse erdvėse!

Tik išeidami iš kambario prisimeni: šios giluminio mokymosi sistemos vis dar yra gana kvailos, nepaisant to, kokios protingos kartais atrodo. Kompiuteris, kuris mato ant stalo sukrautos spurgų krūvos paveikslėlį ir automatiškai jį užrašo, kaip ant stalo sukrauta spurgų krūva, atrodo, supranta pasaulį; bet kai ta pati programa mato merginos, besivalončios dantis, nuotrauką ir sako: „Berniukas laiko beisbolo lazdą“, supranti, koks iš tikrųjų menkas tas supratimas, jei apskritai jis ten buvo.

Neuroniniai tinklai yra tik neapgalvoti neaiškūs modelių atpažinimo įrenginiai ir kad ir kokie būtų naudingi neaiškių modelių atpažinimo įrenginiai (todėl skubama juos integruoti į beveik bet kokios rūšies programinę įrangą), geriausiu atveju jie atstovauja ribotam intelekto ženklui, kurį lengva apgauti. . Gilus neuroninis tinklas, atpažįstantis vaizdus, ​​gali būti visiškai sugadintas, kai pakeičiate vieną pikselį arba pridedamas žmogaus nepastebimas vaizdinis triukšmas. Iš tiesų, beveik taip pat dažnai, kai ieškome naujų giluminio mokymosi taikymo būdų, atrandame daugiau jo ribų. Savarankiškai važiuojantys automobiliai gali nesugebėti naršyti tokiomis sąlygomis, kokių dar nebuvo matę. Mašinoms sunku analizuoti sakinius, kuriems reikia sveiko proto supratimo, kaip veikia pasaulis.

Gilus mokymasis kai kuriais atžvilgiais imituoja tai, kas vyksta žmogaus smegenyse, bet tik negiliai – galbūt tai paaiškina, kodėl jo intelektas kartais gali atrodyti toks paviršutiniškas. Iš tiesų, backprop buvo atrastas ne zonduojant giliai į smegenis, dekoduojant pačią mintį; ji išaugo iš modelių, kaip gyvūnai mokosi per bandymus ir klaidas senuose klasikinio kondicionavimo eksperimentuose. Ir dauguma didelių šuolių, atsiradusių jam vystantis, neapėmė kažkokios naujos įžvalgos apie neuromokslą; tai buvo techniniai patobulinimai, pasiekti per ilgus matematikos ir inžinerijos metus. Tai, ką žinome apie intelektą, neprieštarauja tam, ko dar nežinome.

Davidas Duvenaudas, Toronto universiteto to paties katedros docentas, kaip ir Hintonas, sako, kad gilus mokymasis buvo panašus į inžineriją prieš fiziką. Kažkas parašo dokumentą ir sako: „Aš padariau šį tiltą ir jis atsistojo!“ Kitas vaikinas turi popierių: „Padariau šį tiltą ir jis nukrito, bet tada pridėjau stulpus, o tada jis liko aukštyn.“ Tada stulpai yra. karštas naujas dalykas. Kažkas sugalvoja arkas ir atrodo: „Arkos yra puikios!“ Su fizika, anot jo, iš tikrųjų gali suprasti, kas veiks ir kodėl. Jis sako, kad tik neseniai pradėjome pereiti į tą tikrojo supratimo etapą naudojant dirbtinį intelektą.

Pats Hintonas sako: „Dauguma konferencijų susideda iš nedidelių pakeitimų..., o ne įdėmiai mąstyti ir pasakyti: „Kas iš tikrųjų yra dėl to, ką mes darome dabar? Su kuo tai turi sunkumų? Sutelkime dėmesį į tai.

Gali būti sunku tai įvertinti iš išorės, kai viskas, ką matote, yra vienas didelis žingsnis po kito. Tačiau naujausias AI pažangos šuolis buvo ne toks mokslas nei inžinerija, netgi gudravimas. Ir nors pradėjome geriau suprasti, kokie pakeitimai pagerins giluminio mokymosi sistemas, vis dar nežinome, kaip tos sistemos veikia ir ar jos kada nors galėtų sukurti kažką tokio galingo kaip žmogaus protas.

Verta paklausti, ar beveik viską, ką galime, ištraukėme iš backprop. Jei taip, tai gali reikšti dirbtinio intelekto pažangos plynaukštę.

Kantrybės

Jei norite pamatyti kitą didelį dalyką, ką nors, kas galėtų būti daug lankstesnio intelekto mašinų pagrindas, tikriausiai turėtumėte peržiūrėti tyrimus, panašius į tai, ką būtumėte radę, jei devintajame dešimtmetyje būtumėte susidūrę su backpropu: protingus žmones. pasinerti į idėjas, kurios dar tikrai neveikia.

Prieš kelis mėnesius nuvykau į Protų, smegenų ir mašinų centrą – daugiainstitucinį institutą, kurio būstinė yra MIT, ir pamačiau, kaip mano draugas Eyalas Dechteris apgynė disertaciją pažinimo mokslų srityje. Prieš pat pokalbį jo žmona Amy, jų šuo Ruby ir dukra Susannah šėlo linkėdami jam sėkmės. Ekrane buvo Ruby nuotrauka, o šalia jos - Susannah kaip kūdikis. Kai tėtis paprašė Suzanos atkreipti dėmesį į save, ji su džiaugsmu trinktelėjo ilgu ištraukiamu žymekliu prie savo kūdikio paveikslo. Išeidama iš kambario ji vairavo žaislinį vežimėlį už mamos ir šūktelėjo Sėkmės, tėti! per petį. Vámanos! - pagaliau pasakė ji. Jai dveji.

Tai, kad tai neveikia, yra tik laikinas susierzinimas.

Eyalas savo pokalbį pradėjo gąsdinančiu klausimu: kaip gali būti, kad Susannah po dvejų metų patirties gali išmokti kalbėti, žaisti, sekti istorijas? Kas yra žmogaus smegenyse, dėl kurios jos taip gerai mokosi? Ar kompiuteris kada nors galės mokytis taip greitai ir taip sklandžiai?

Mes įprasminame naujus reiškinius pagal tai, ką jau suprantame. Mes suskaidome domeną į dalis ir išmokstame dalis. Eyalas yra matematikas ir kompiuterių programuotojas, o apie užduotis, pavyzdžiui, suflė gaminimą, jis galvoja kaip apie tikrai sudėtingas kompiuterines programas. Tačiau nėra taip, kad išmoktumėte pasigaminti suflė išmokdami kiekvieną iš daugybės programos mikroinstrukcijų, pavyzdžiui, pasukite alkūnę 30 laipsnių, tada pažiūrėkite į stalviršį, tada ištieskite rodyklės pirštą, tada… kad kiekvienai naujai užduočiai mokytis būtų per sunku ir užstrigtumėte to, ką jau žinote. Vietoj to, mes atliekame programą kaip aukšto lygio veiksmus, pvz., Plakkite kiaušinių baltymus, kurios pačios yra sudarytos iš subprogramų, pvz., „Crack the eggs“ ir „Atskirkite trynius“.

Susijusi istorija

Susijusi istorija Niekas iš tikrųjų nežino, kaip pažangiausi algoritmai daro tai, ką daro. Tai gali būti problema.

Kompiuteriai to nedaro, ir tai yra didelė priežastis, kodėl jie kvaili. Kad giluminio mokymosi sistema atpažintų dešrainį, gali tekti jai pamaitinti 40 milijonų dešrainių nuotraukų. Kad Susannah atpažintų dešrainį, parodykite jai dešrainį. Ir netrukus ji supras kalbą giliau, nei supras, kad tam tikri žodžiai dažnai pasirodo kartu. Kitaip nei kompiuteris, jos mintyse bus modelis, kaip veikia visas pasaulis. Man neįtikėtina, kad žmonės bijo, kad kompiuteriai imtų dirbti, sako Eyalas. Tai nereiškia, kad kompiuteriai negali pakeisti teisininkų, nes advokatai daro tikrai sudėtingus dalykus. Taip yra todėl, kad teisininkai skaito ir kalbasi su žmonėmis. Nėra taip, kad būtume artimi. Mes taip toli.

Tikras intelektas nepalūžta, kai šiek tiek pakeičiate problemos, kurią ji bando išspręsti, reikalavimus. Ir pagrindinė Eyalo disertacijos dalis buvo iš principo jo demonstravimas, kaip galite priversti kompiuterį taip veikti: sklandžiai pritaikyti tai, ką jis jau žino naujoms užduotims, greitai paleisti kelią beveik nieko nežinant apie naują domeną. būti ekspertu.

Hintonas padarė šį eskizą savo kitai didelei idėjai, organizuoti neuroninius tinklus su „kapsulėmis“.

Iš esmės tai yra procedūra, kurią jis vadina tyrinėjimo-glaudinimo algoritmu. Kompiuteris veikia kaip programuotojas, kuris, kurdamas vis sudėtingesnes programas, kaupia daugkartinio naudojimo modulinių komponentų biblioteką. Nieko nesakydamas apie naują domeną, kompiuteris bando susisteminti žinias apie jį tiesiog žaisdamas, sutvirtindamas tai, kas rasta, ir dar žaisdamas aplinkui, kaip tai daro žmogaus vaikas.

Jo patarėjas Joshua Tenenbaumas yra vienas iš labiausiai cituojamų AI tyrinėtojų. Tenenbaumo vardas atsirado per pusę pokalbių, kuriuos turėjau su kitais mokslininkais. Kai kurie pagrindiniai DeepMind – AlphaGo komandos, kuri sukrėtė kompiuterių mokslininkus, 2016 m. įveikusi pasaulio čempioną sudėtingame žaidime „Go“ – žmonės dirbo jo postdoc. Jis yra susijęs su startuoliu, kuris bando suteikti savarankiškai vairuojantiems automobiliams tam tikrą intuiciją apie pagrindinę fiziką ir kitų vairuotojų ketinimus, kad jie galėtų geriau numatyti, kas atsitiks tokioje situacijoje, kurios jie dar nematė, pavyzdžiui, kai sunkvežimis trenkia priešais. juos arba kai kas nors bando labai agresyviai susilieti.

Eyalo tezė dar nevirsta tokiais praktiniais pritaikymais, jau nekalbant apie bet kokias programas, kurios atsidurtų antraštėse apie žmogaus tobulėjimą. Tenenbaumas sakė, kad problemos, su kuriomis dirba Eyalas, yra tikrai labai sunkios. Tai užtruks daug, daug kartų.

Tenenbaumas turi ilgus, garbanotus, balinančius plaukus, o kai sėdome išgerti kavos, jis vilkėjo susisagstomus marškinius su juodomis kelnėmis. Jis man pasakė, kad įkvėpimo ieško „backprop“ istorijoje. Dešimtmečius backprop buvo šauni matematika, kuri iš tikrųjų nieko nepasiekdavo. Kai kompiuteriai tapo greitesni, o inžinerija tapo sudėtingesnė, staiga tai padarė. Jis tikisi, kad tas pats gali nutikti su jo paties ir jo mokinių darbais, bet tai gali užtrukti dar porą dešimtmečių.

Kalbant apie Hintoną, jis įsitikinęs, kad norint įveikti AI apribojimus, reikia nutiesti tiltą tarp kompiuterių mokslo ir biologijos. Šiuo požiūriu Backpropas buvo biologiškai įkvėpto skaičiavimo triumfas; idėja iš pradžių kilo ne iš inžinerijos, o iš psichologijos. Taigi dabar Hintonas bando padaryti panašų triuką.

Šiandien neuroniniai tinklai yra sudaryti iš didelių plokščių sluoksnių, tačiau žmogaus neokortekse tikrieji neuronai yra išdėstyti ne tik horizontaliai į sluoksnius, bet ir vertikaliai į kolonas. Hintonas mano, kad žino, kam skirtos stulpeliai – pavyzdžiui, regėjimui jie yra labai svarbūs mūsų gebėjimui atpažinti objektus net keičiantis požiūriui. Taigi jis kuria dirbtinę versiją – vadina jas kapsulėmis, kad patikrintų teoriją. Iki šiol tai nepasitvirtino; kapsulės nepagerino jo tinklų našumo. Bet tai buvo ta pati situacija, kurioje jis buvo su backprop beveik 30 metų.

Šis dalykas tiesiog turi būti teisingas, – sako jis apie kapsulės teoriją, juokdamasis iš savo drąsos. O tai, kad tai neveikia, yra tik laikinas susierzinimas.

James Somers yra rašytojas ir programuotojas, gyvenantis Niujorke. Jo ankstesnis straipsnis skirtas MIT technologijų apžvalga buvo Toolkits for the Mind 2015 m. gegužės/birželio mėn., kuris parodė, kaip interneto startuolius formuoja jų naudojamos programavimo kalbos.

paslėpti