AI pradininkas Geoffas Hintonas: Išsamus mokymasis padės padaryti viską

Nojus Bergeris / AP

• Apie AI srities spragas: „Turės būti nemažai konceptualių proveržių... mums taip pat reikia didžiulio masto padidėjimo“.
• Apie neuroninių tinklų trūkumus: „Neuroniniai tinklai stebėtinai gerai tvarko gana nedidelį duomenų kiekį, turi daug parametrų, bet žmonės yra dar geresni“.
• Apie tai, kaip veikia mūsų smegenys: „Smegenyse yra šie dideli nervinės veiklos vektoriai“.

Šiuolaikinė AI revoliucija prasidėjo per neaiškių tyrimų konkursą. Tai buvo 2012 m., trečiieji kasmetinio „ImageNet“ konkurso metai, per kuriuos komandos buvo išbandytos sukurti kompiuterinės regos sistemas, kurios atpažintų 1000 objektų – nuo ​​gyvūnų iki peizažų iki žmonių.

Per pirmuosius dvejus metus geriausioms komandoms nepavyko pasiekti net 75% tikslumo. Tačiau trečiajame trijų tyrėjų grupė – profesorius ir jo studentai – staiga pramušė šias lubas. Jie konkursą laimėjo stulbinančiu 10,8 procentinio punkto skirtumu. Tas profesorius buvo Geoffrey Hintonas, o jų naudojama technika buvo vadinama giliuoju mokymusi.

Hintonas iš tikrųjų dirbo su giluminiu mokymusi nuo devintojo dešimtmečio, tačiau jo efektyvumą ribojo duomenų ir skaičiavimo galios trūkumas. Jo tvirtas tikėjimas šia technika galiausiai davė didžiulių vaisių. Ketvirtaisiais „ImageNet“ konkurso metais beveik kiekviena komanda mokėsi giliai ir pasiekė stebuklingo tikslumo. Netrukus gilus mokymasis buvo pritaikytas atliekant užduotis, kurių negalima atpažinti, taip pat įvairiose pramonės šakose.

Praėjusiais metais už pagrindinį indėlį šioje srityje Hintonas kartu su kitais AI pradininkais Yannu LeCunu ir Yoshua Bengio buvo apdovanotas Turingo apdovanojimu. Spalio 20 d. kalbėjausi su juo kasmetinėje „MIT Technology Review“ konferencijoje „EmTech MIT“ apie šios srities būklę ir jo nuomone, kur ji turėtų būti toliau.

Toliau pateikta informacija buvo redaguota ir sutrumpinta siekiant aiškumo.

Manote, kad gilaus mokymosi pakaks, kad atkartotų visą žmogaus intelektą. Kas tave taip tikina?

Aš tikiu, kad gilus mokymasis gali padaryti viską, bet manau, kad reikės nemažai konceptualių proveržių. Pavyzdžiui, 2017 m Ashish Vaswani ir kt . pristatė transformatoriai , kurie išveda tikrai gerus vektorius, vaizduojančius žodžių reikšmes. Tai buvo konceptualus lūžis. Dabar jis naudojamas beveik visuose geriausiuose natūralios kalbos apdorojimuose. Mums reikės dar daugybės tokių proveržių.

Ir jei turėsime tuos proveržius, ar giliai mokydamiesi galėsime apytiksliai įvertinti visą žmogaus intelektą?

Taip. Ypač tai susiję su tuo, kaip įgyjate didelius nervinės veiklos vektorius, kad įgyvendintumėte tokius dalykus kaip protas. Tačiau mums taip pat reikia didžiulio masto didinimo. Žmogaus smegenyse yra apie 100 trilijonų parametrų arba sinapsių. Tai, ką dabar vadiname tikrai dideliu modeliu, pvz GPT-3 , turi 175 mlrd. Tai tūkstantį kartų mažesnė už smegenis. GPT-3 dabar gali generuoti gana patikimai atrodantį tekstą, tačiau jis vis dar yra mažas, palyginti su smegenimis.

Kai sakote mastelį, ar turite omenyje didesnius neuroninius tinklus, daugiau duomenų ar abu?

Abu. Yra tam tikras neatitikimas tarp to, kas vyksta kompiuterių moksle, ir to, kas vyksta su žmonėmis. Žmonės turi daug parametrų, palyginti su gaunamų duomenų kiekiu. Neuroniniai tinklai stebėtinai gerai susidoroja su gana nedideliu duomenų kiekiu ir daugybe parametrų, tačiau žmonės yra dar geresni.

Daugelis šios srities žmonių mano, kad sveikas protas yra kitas didelis gebėjimas susidoroti. Ar sutinki?

Sutinku, kad tai vienas iš labai svarbių dalykų. Taip pat manau, kad variklio valdymas yra labai svarbus, o gilieji neuroniniai tinklai šiuo metu gerėja. Visų pirma, kai kurie neseniai atlikti „Google“ darbai parodė, kad galite valdyti smulkiąją motoriką ir sujungti tai su kalba, kad galėtumėte atidaryti stalčių ir išimti bloką, o sistema gali pasakyti jums natūralia kalba, ką ji daro.

Dėl tokių dalykų kaip GPT-3, kuris generuoja šį nuostabų tekstą, aišku, kad jis turi daug suprasti, kad sukurtų tą tekstą, bet ne visai aišku, kiek jis supranta. Bet jei kas nors atidaro stalčių, išima bloką ir sako: aš ką tik atidariau stalčių ir išėmiau bloką, sunku pasakyti, kad jis nesupranta, ką daro.

Dirbtinio intelekto srityje žmogaus smegenys visada buvo didžiausias įkvėpimo šaltinis, o skirtingi požiūriai į DI kilo iš skirtingų kognityvinio mokslo teorijų. Ar manote, kad smegenys iš tikrųjų kuria išorinio pasaulio vaizdus, ​​​​kad jį suprastų, ar tai tik naudingas mąstymo apie tai būdas?

Seniai pažinimo moksle vyko diskusijos tarp dviejų mąstymo mokyklų. Vienai iš jų vadovavo Stephenas Kosslynas ir jis tikėjo, kad kai mintyse manipuliuojate vaizdiniais vaizdais, turite daugybę pikselių ir juos judinėjate. Kita minties mokykla labiau atitiko įprastą AI. Sakė: ne, ne, tai nesąmonė. Tai hierarchiniai, struktūriniai aprašymai. Jūsų mintyse yra simbolinė struktūra ir tai kuo jūs manipuliuojate.

Manau, kad jie abu padarė tą pačią klaidą. Kosslyn manė, kad mes manipuliuojame pikseliais, nes išoriniai vaizdai yra sudaryti iš pikselių, ir tai yra mūsų suprantamas vaizdas. Simboliai, žmonės manė, kad manipuliuojame simboliais, nes taip pat vaizduojame daiktus simboliais ir tai mums suprantama reprezentacija. Manau, kad tai vienodai neteisinga. Smegenyse yra šie dideli nervinės veiklos vektoriai.

Kai kurie žmonės vis dar tiki, kad simbolinis vaizdavimas yra vienas iš DI metodų.

absoliučiai. Turiu gerų draugų, tokių kaip Hectoras Levesque'as, kuris tikrai tiki simboliu ir padarė didelį darbą. Nesutinku su juo, bet simbolinis požiūris yra visiškai pagrįstas dalykas, kurį reikia išbandyti. Bet aš spėju, kad galų gale mes suprasime, kad simboliai tiesiog egzistuoja išoriniame pasaulyje, ir mes atliekame vidines operacijas dideliais vektoriais.

Kaip manote, koks jūsų požiūris į AI ateitį yra prieštaringiausias?

Na, mano problema yra ta, kad aš turiu priešingas nuomones, o po penkerių metų jie yra įprasti. Dauguma mano priešingų požiūrių iš devintojo dešimtmečio dabar yra plačiai priimtinos. Dabar gana sunku rasti žmonių, kurie su jais nesutinka. Taip, mano priešingos nuomonės buvo tarsi sumenkintos.

paslėpti