211service.com
Radikaliai naujas neuroninio tinklo dizainas galėtų įveikti didelius AI iššūkius
David Duvenaud ir kt.
Davidas Duvenaudas bendradarbiavo su medicininiais duomenimis susijusiame projekte, kai susidūrė su dideliu AI trūkumu.
AI tyrėjas iš Toronto universiteto jis norėjo sukurti gilaus mokymosi modelį, kuris laikui bėgant prognozuotų paciento sveikatą. Tačiau duomenys iš medicininių įrašų yra šiek tiek netvarkingi: visą gyvenimą galite apsilankyti pas gydytoją skirtingu laiku dėl skirtingų priežasčių, todėl atsitiktiniais intervalais galite atlikti daugybę matavimų. Tradicinis neuroninis tinklas stengiasi su tuo susidoroti. Jo dizainas reikalauja, kad jis mokytųsi iš duomenų su aiškiais stebėjimo etapais. Taigi tai yra prasta priemonė nuolatiniams procesams, ypač tiems, kurie laikui bėgant matuojami nereguliariai, modeliuoti.
Iššūkis paskatino Duvenaud ir jo bendradarbius universitete ir Vektorių institute pertvarkyti tokius neuroninius tinklus, kokius mes juos žinome. Praėjusią savaitę jų popierius buvo tarp keturių kitų karūnuotas geriausiu pranešimu Neural Information Processing Systems konferencijoje, viename didžiausių dirbtinio intelekto tyrimų susirinkimų pasaulyje.
Neuroniniai tinklai yra pagrindinis mechanizmas, dėl kurio gilus mokymasis yra toks galingas. Tradicinis neuroninis tinklas sudarytas iš paprastų skaičiavimo mazgų sluoksnių, kurie kartu ieško duomenų šablonų. Atskirieji sluoksniai neleidžia efektyviai modeliuoti nuolatinių procesų (prie to mes ir toliau).
Reaguodama į tai, tyrimo grupės dizainas visiškai pašalina sluoksnius. (Duvenaud greitai pastebi, kad jie nesugalvojo šios idėjos. Jie buvo tik pirmieji, kurie ją įgyvendino apibendrinančiu būdu.) Kad suprastume, kaip tai įmanoma, pirmiausia pažiūrėkime, ką daro sluoksniai.
Kaip tradicinis neuroninis tinklas paverčia liūto atvaizdą pavadinimu „liūtas“. Jeffas Clune'as / ekrano kopija
Dažniausias neuroninio tinklo lavinimo procesas (dar žinomas kaip prižiūrimas mokymasis) apima tam tikrų pažymėtų duomenų tiekimą. Tarkime, kad norėjote sukurti sistemą, kuri atpažintų skirtingus gyvūnus. Neuroniniam tinklui maitintumėte gyvūnų nuotraukas, suporuotas su atitinkamais gyvūnų pavadinimais. Po gaubtu jis pradeda spręsti beprotišką matematinį galvosūkį. Jis peržiūri visas paveikslėlių ir pavadinimų poras ir sugalvoja formulę, kuri patikimai paverčia vieną (vaizdą) kitu (kategorija). Sulaužęs galvosūkį, jis gali vėl ir vėl panaudoti formulę, kad teisingai suskirstytų visas naujas gyvūno nuotraukas – dažniausiai.
Tačiau rasti vieną formulę, apibūdinančią visą paveikslėlio į pavadinimą transformaciją, būtų pernelyg plati, todėl modelis būtų žemo tikslumo. Tai būtų tarsi bandymas naudoti vieną taisyklę atskirti kates ir šunis. Galima sakyti, kad šunų ausys yra lanksčios. Tačiau kai kurie šunys to nedaro, o kai kurie katės padaryti, todėl gausite daug klaidingų neigiamų ir teigiamų dalykų.
Čia atsiranda neuroninio tinklo sluoksniai. Jie suskaido transformacijos procesą į žingsnius ir leidžia tinklui rasti eilę formulių, kurių kiekviena apibūdina proceso etapą. Taigi pirmasis sluoksnis gali užimti visus pikselius ir naudoti formulę, kad atrinktų, kurie iš jų labiausiai tinka katėms ir šunims. Antrasis sluoksnis gali naudoti kitą, kad iš pikselių grupių sukurtų didesnius raštus ir išsiaiškintų, ar vaizdas turi ūsus ar ausis. Kiekvienas paskesnis sluoksnis identifikuotų vis sudėtingesnius gyvūno bruožus, kol galutinis sluoksnis nuspręs šunį pagal sukauptus skaičiavimus. Šis žingsnis po žingsnio proceso suskirstymas leidžia neuroniniam tinklui sukurti sudėtingesnius modelius, o tai savo ruožtu turėtų lemti tikslesnes prognozes.
Sluoksnio metodas puikiai pasitarnavo AI sričiai, tačiau jis taip pat turi trūkumų. Jei norite modeliuoti bet ką, kas laikui bėgant nuolat keičiasi, taip pat turite tai suskaidyti į atskirus veiksmus. Praktiškai, jei grįžtume prie sveikatos pavyzdžio, tai reikštų, kad jūsų medicininiai įrašai bus sugrupuoti į ribotus laikotarpius, pvz., metus ar mėnesius. Galite pamatyti, kaip tai būtų netikslu. Jei pas gydytoją kreipėtės sausio 11 d. ir dar kartą lapkričio 16 d., abiejų apsilankymų duomenys būtų sugrupuoti į tuos pačius metus.
Taigi geriausias būdas modeliuoti tikrovę kuo arčiau – pridėti daugiau sluoksnių, kad būtų padidintas detalumas. (Kodėl nesuskaidžius savo rekordų į dienas ar net valandas? Pas gydytoją būtumėte galėję nueiti du kartus per vieną dieną!) Kalbant apie kraštutinumą, tai reiškia, kad šiam darbui geriausias neuroninis tinklas turėtų begalinį skaičių sluoksnių, kad būtų galima modeliuoti begalinį mažumą. žingsnių pokyčiai. Kyla klausimas, ar ši idėja yra praktiška.
Jei tai pradeda atrodyti pažįstamai, taip yra todėl, kad pasiekėme būtent tokią problemą, kuriai išspręsti buvo išrastas skaičiavimas. Skaičiavimas pateikia visas šias gražias lygtis, kaip apskaičiuoti pokyčių seriją begaliniais žingsniais, kitaip tariant, jis išgelbės jus nuo košmaro modeliuojant nuolatinį diskrečiųjų vienetų kaitą. Tai yra Duvenaud ir jo bendradarbių darbo magija: jis pakeičia sluoksnius skaičiavimo lygtimis.
Rezultatas – net nebe tinklas; nebėra mazgų ir jungčių, tik viena ištisinė skaičiavimo plokštė. Nepaisant to, laikydamiesi susitarimo, mokslininkai pavadino šį dizainą ODE tinklu – ODE įprastoms diferencialinėms lygtims. (Jie vis dar turi dirbti su savo prekės ženklu.)
Jei jums skauda smegenis (patikėkite manimi, mano taip pat), čia yra puiki analogija, kurią Duvenaud naudoja, kad viską sujungtų. Apsvarstykite nuolatinį muzikos instrumentą, pavyzdžiui, smuiką, kur galite slysti ranka išilgai stygos ir groti bet kokiu norimu dažniu; dabar apsvarstykite atskirą, pavyzdžiui, fortepijoną, kuriame turite atskirą klavišų skaičių, kad galėtumėte groti ribotu dažnių skaičiumi. Tradicinis neuroninis tinklas yra kaip fortepijonas: stenkitės, kad ir kaip galėtumėte, negalėsite groti skaidres. Sukurti skalę galėsite tik apytikslę skaidrę. Net jei perderintumėte savo fortepijoną taip, kad natų dažniai būtų tikrai arti vienas kito, vis tiek apytiksliai įvertintumėte skaidrę su skale. Perjungimas į ODE tinklą yra panašus į fortepijono perjungimą į smuiką. Tai nebūtinai visada tinkamas įrankis, bet jis labiau tinka tam tikroms užduotims.
Be to, kad galima modeliuoti nuolatinius pokyčius, ODE tinklas taip pat keičia tam tikrus mokymo aspektus. Naudodami tradicinį neuroninį tinklą, treniruotės pradžioje turite nurodyti norimą tinklelio sluoksnių skaičių, tada palaukite, kol bus atliktas mokymas, kad sužinotumėte, kiek tikslus modelis. Naujasis metodas leidžia pirmiausia nurodyti norimą tikslumą ir rasti efektyviausią būdą treniruotis neviršijant šios paklaidos. Kita vertus, nuo pat pradžių žinote, kiek laiko užtruks tradicinio neuroninio tinklo treniruotė. Ne tiek daug naudojant ODE tinklą. Tai yra kompromisai, kuriuos mokslininkai turės padaryti, aiškina Duvenaud, kai nuspręs, kurią techniką naudoti ateityje.
Šiuo metu, popierius siūlo dizaino koncepcijos įrodymą, tačiau jis dar nėra paruoštas geriausiu laiku, sako Duvenaud. Kaip ir bet kurią pradinę šioje srityje pasiūlytą techniką, ją dar reikia tobulinti, eksperimentuoti ir tobulinti, kol bus galima pradėti gaminti. Tačiau šis metodas gali išjudinti lauką – lygiai taip pat, kaip tai padarė Ianas Goodfellow, paskelbdamas savo straipsnį apie GAN.
Daugelis pagrindinių pažangų mašininio mokymosi srityje buvo padarytos neuroninių tinklų srityje, sako Richardas Zemelis, Vektorių instituto tyrimų direktorius, kuris nedalyvavo šiame straipsnyje. Šis dokumentas greičiausiai paskatins daugybę tolesnių darbų, ypač taikant laiko eilučių modelius, kurie yra pagrindiniai dirbtinio intelekto programose, tokiose kaip sveikatos priežiūra.
Tiesiog nepamirškite, kad kai ODE tinklai sprogsta, pirmiausia apie tai perskaitykite čia.
Pataisymai: Ankstesnėje straipsnio versijoje paveikslėlis straipsnio viršuje buvo neteisingai parašytas kaip įprasta diferencialinė lygtis. Tai rodo nervinių paprastųjų diferencialinių lygčių trajektorijas. Straipsnis taip pat buvo atnaujintas, kad naujas dizainas būtų vadinamas „ODE tinklas“, o ne „ODE sprendėjas“, kad būtų išvengta painiavos su esamais ODE sprendikliais iš kitų sričių.
__
Šis straipsnis iš pradžių pasirodė mūsų AI informaciniame biuletenyje „Algoritmas“. Jei norite, kad jis būtų pristatytas tiesiai į jūsų pašto dėžutę, užsiprenumeruokite čia nemokamai.