Naujas būdas sukurti mažyčius neuroninius tinklus gali sukurti galingą AI jūsų telefone

MS. TECH Ponia Tech

Neuroniniai tinklai yra pagrindinė gilaus mokymosi programinė įranga. Nors jie taip plačiai paplitę, jie tikrai menkai suprantami. Tyrėjai stebėjo jų atsirandančias savybes iš tikrųjų nesuprasdami kodėl jie dirba taip, kaip dirba.

Dabar a naujas popierius iš MIT žengė didelį žingsnį atsakydama į šį klausimą. Šiame procese mokslininkai padarė paprastą, bet dramatišką atradimą: mes naudojome daug didesnius neuroninius tinklus, nei mums iš tikrųjų reikia. Kai kuriais atvejais jie yra 10 – net 100 – kartų didesni, todėl jų mokymas mums kainuoja daug daugiau laiko ir skaičiavimo galios, nei reikia.

Kitaip tariant, kiekviename neuroniniame tinkle yra daug mažesnis, kurį galima išmokyti pasiekti tokį patį našumą kaip ir jo negabaritinis pagrindinis tinklas. Tai ne tik įdomi žinia AI tyrinėtojams. Šis atradimas gali atverti naujas programas, kurių kai kurių dar negalime suprasti, kurios galėtų pagerinti mūsų kasdienį gyvenimą. Daugiau apie tai vėliau.

Tačiau pirmiausia pasinerkime į tai, kaip veikia neuroniniai tinklai, kad suprastume, kodėl tai įmanoma.

Neuroninio tinklo, mokančio atpažinti liūtą, schema. JEFF CLUNE / Screenshot

Kaip veikia neuroniniai tinklai

Galbūt matėte neuroninius tinklus, pavaizduotus tokiose diagramose kaip aukščiau: jie sudaryti iš paprastų skaičiavimo mazgų sluoksnių, kurie yra sujungti, kad būtų galima apskaičiuoti duomenų šablonus.

Ryšiai yra tai, kas svarbu. Prieš mokant neuroninį tinklą, šiems ryšiams priskiriamos atsitiktinės reikšmės nuo 0 iki 1, nurodančios jų intensyvumą. (Tai vadinama inicijavimo procesu.) Treniruotės metu, kai į tinklą tiekiama, tarkime, gyvūnų nuotraukų serija, jis koreguoja ir derina tą intensyvumą – panašiai kaip jūsų smegenys stiprina arba susilpnina skirtingus neuronų ryšius, kai kaupiate patirtį. ir žinių. Po treniruotės galutinis ryšio intensyvumas nuolat naudojamas gyvūnams atpažinti naujose nuotraukose.

Nors neuroninių tinklų mechanika yra gerai suprantama, priežastis, kodėl jie veikia taip, kaip veikia, liko paslaptis. Tačiau per daugybę eksperimentų mokslininkai pastebėjo dvi neuroninių tinklų savybes, kurios pasirodė naudingos.

1 pastebėjimas. Kai tinklas inicijuojamas prieš mokymo procesą, visada yra tikimybė, kad atsitiktinai priskirtos ryšio stiprybės atsidurs netinkamoje konfigūracijoje. Kitaip tariant, nesvarbu, kiek gyvūnų nuotraukų paduodate neuroniniam tinklui, jis nepasieks tinkamo veikimo ir tereikia jį iš naujo inicijuoti į naują konfigūraciją. Kuo didesnis tinklas (kuo daugiau sluoksnių ir mazgų), tuo mažesnė tikimybė. Mažas neuroninis tinklas gali būti apmokomas tik vieną iš penkių inicijavimo kartų, o didesnis tinklas gali būti treniruojamas keturias iš penkių. ir vėl kodėl Tai, kas nutiko, buvo paslaptis, tačiau būtent todėl tyrėjai savo gilaus mokymosi užduotims dažniausiai naudoja labai didelius tinklus. Jie nori padidinti savo galimybes pasiekti sėkmingą modelį.

2 pastebėjimas. Pasekmė ta, kad neuroninis tinklas paprastai pradeda veikti didesniu nei reikia. Baigę mokymą, paprastai tik dalis jo jungčių išlieka stiprios, o kiti yra gana silpni – tokie silpni, kad iš tikrųjų galite juos ištrinti arba apkarpyti nepakenkiant tinklo veikimui.

Jau daugelį metų mokslininkai pasinaudojo šiuo antruoju stebėjimu, kad sumažintų savo tinklus po to mokymai, skirti sumažinti laiko ir skaičiavimo sąnaudas, susijusias su jų vykdymu. Tačiau niekas nemanė, kad įmanoma susiaurinti jų tinklus prieš mokymas. Buvo daroma prielaida, kad reikia pradėti nuo didelio tinklo, o mokymo procesas turi vykti savaime, kad būtų atskirti atitinkami ryšiai nuo nereikšmingų.

Jonathanas Frankle'as, MIT doktorantas, kuris buvo šio straipsnio bendraautoris, suabejojo ​​šia prielaida. Jei jums reikia daug mažiau jungčių, nei pradėjote, sako jis, kodėl negalime tiesiog apmokyti mažesnio tinklo be papildomų jungčių? Pasirodo, gali.

Michaelas Carbinas (kairėje) ir Jonathanas Frankle'as (dešinėje), straipsnio autoriai. Jasonas Dorfmanas, MIT CSAIL

Loterijos bilietų hipotezė

Atradimas priklauso nuo tikrovės, kad inicijavimo metu priskirtos atsitiktinės ryšio stiprybės iš tikrųjų nėra atsitiktinės savo pasekmėmis: jos skatina įvairias tinklo dalis žlugti arba pasisekti dar prieš įvykstant mokymui. Kitaip tariant, pradinė konfigūracija įtakoja galutinę tinklo konfigūraciją.

Sutelkdami dėmesį į šią idėją, tyrėjai išsiaiškino, kad jei po treniruotės sumažinsite per didelį tinklą, iš tikrųjų galėsite pakartotinai panaudoti susidariusį mažesnį tinklą naujiems duomenims lavinti ir išlaikyti aukštą našumą, kol kiekvieną ryšį šiame sumažintame tinkle nustatysite iš naujo į jo pradinis stiprumas.

Remdamiesi šia išvada, Frankle'as ir jo bendraautoris Michaelas Carbinas, MIT docentas, siūlo tai, ką jie vadina loterijos bilietų hipoteze. Kai atsitiktinai inicijuojate neuroninio tinklo ryšio stiprumą, tai beveik panašu į loterijos bilietų maišą. Tikimės, kad jūsų krepšyje yra laimėtas bilietas, t. y. pradinė konfigūracija, kurią bus lengva išmokyti ir kurios rezultatas bus sėkmingas modelis.

Tai taip pat paaiškina, kodėl 1 pastebėjimas yra teisingas. Pradėti nuo didesnio tinklo prilygsta pirkti daugiau loterijos bilietų. Jūs nedidinate galios, kurią skiriate savo gilaus mokymosi problemai; jūs tiesiog padidinate tikimybę, kad turėsite laimėtą konfigūraciją. Suradę laimėjusią konfigūraciją, turėtumėte galėti ją pakartotinai naudoti vėl ir vėl, o ne tęsti loteriją.

Tolesni žingsniai

Tai kelia daug klausimų. Pirma, kaip rasti laimėtą bilietą? Savo darbe Frankle'as ir Carbinas ėmėsi žiaurios jėgos treniruodami ir apkarpydami negabaritinį tinklą su vienu duomenų rinkiniu, kad gautų laimėjusį bilietą kitam duomenų rinkiniui. Teoriškai nuo pat pradžių turėtų būti daug veiksmingesnių būdų rasti ar net sukurti sėkmingą konfigūraciją.

Antra, kokios yra laiminčios konfigūracijos mokymo ribos? Tikėtina, kad skirtingų tipų duomenims ir skirtingoms gilaus mokymosi užduotims reikia skirtingų konfigūracijų.

Trečia, koks yra mažiausias įmanomas neuroninis tinklas, kurį galite išvengti, tačiau vis tiek pasieksite aukštą našumą? Frankle'as išsiaiškino, kad kartotinio mokymo ir genėjimo proceso dėka jis sugebėjo nuosekliai sumažinti pradinį tinklą iki 10–20 % pradinio dydžio. Tačiau jis mano, kad yra galimybė, kad ji bus dar mažesnė.

Jau dabar daugelis AI bendruomenės tyrimų grupių pradėjo vykdyti tolesnį darbą. Neseniai Prinstono mokslininkas erzino rezultatus būsimo dokumento, kuriame nagrinėjamas antrasis klausimas. „Uber“ komanda taip pat paskelbė a naujas popierius apie keletą eksperimentų, tiriančių metaforinių loterijos bilietų prigimtį. Labiausiai stebina tai, kad jie išsiaiškino, kad radus laimėjusią konfigūraciją, ji jau pasiekia žymiai geresnį našumą nei originalus neapmokytas negabaritinis tinklas. prieš bet koks mokymas. Kitaip tariant, tinklo apkarpymas, siekiant išgauti laimėjusią konfigūraciją, pats savaime yra svarbus mokymo metodas.

Neuroninio tinklo nirvana

Frankle'as įsivaizduoja ateitį, kurioje mokslinių tyrimų bendruomenė turės atvirojo kodo duomenų bazę, kurioje bus visos rastos skirtingos konfigūracijos su aprašymais, kokioms užduotims jos tinka. Šį neuroninį tinklą jis juokais vadina nirvana. Jis mano, kad tai labai paspartintų ir demokratizuotų dirbtinio intelekto tyrimus, nes sumažintų mokymo išlaidas ir greitį, o žmonėms, neturintiems milžiniškų duomenų serverių, būtų galima atlikti šį darbą tiesiogiai mažuose nešiojamuosiuose kompiuteriuose ar net mobiliuosiuose telefonuose.

Tai taip pat gali pakeisti AI programų pobūdį. Jei galite mokyti neuroninį tinklą vietoje įrenginyje, o ne debesyje, galite pagerinti mokymo proceso greitį ir duomenų saugumą. Įsivaizduokite, pavyzdžiui, mašininiu mokymusi pagrįstą medicinos prietaisą, kuris gali tobulėti naudojant nesiunčiant paciento duomenų į „Google“ ar „Amazon“ serverius.

Mes nuolat susiduriame su tuo, ką galime išmokyti, sako Jasonas Yosinskis, „Uber AI Labs“ įkūrėjas, bendradarbiaujantis su tolesniu „Uber“ dokumentu, ty didžiausius tinklus, kuriuos galite tilpti į GPU, arba ilgiausius, kuriuos galime. toleruoti laukimą, kol nesugrąžinsime rezultato. Jei mokslininkams pavyktų išsiaiškinti, kaip nuo pat pradžių atpažinti laimėjusias konfigūracijas, neuroninių tinklų dydis sumažėtų 10, net 100 kartų. Galimybių lubos smarkiai padidėtų ir atsivertų naujas galimų naudojimo būdų pasaulis.

paslėpti