Kaip DeepMind atminties triukas padeda dirbtiniam intelektui greičiau mokytis

Išmaniosios mašinos turi žmones. Giluminio mokymosi mašinos jau turi antžmogiškus įgūdžius, kai reikia atlikti tokias užduotis kaip veido atpažinimas, vaizdo žaidimų žaidimas ir net senovės kinų žaidimas Go. Taigi lengva manyti, kad žmonės jau pralenkti.

Bet ne taip greitai. Išmaniosios mašinos vis dar atsilieka nuo žmonių vienoje esminėje veiklos srityje: mokymosi greičiu. Pavyzdžiui, kai kalbama apie klasikinių vaizdo žaidimų įsisavinimą, geriausiems gilaus mokymosi aparatams reikia žaisti apie 200 valandų, kad pasiektų tą patį įgūdžių lygį, kurį žmonės pasiekia vos per dvi valandas.

Taigi kompiuterių mokslininkai labai norėtų turėti būdą, kaip pagreitinti mašinų mokymosi greitį.

Šiandien Aleksandras Pritzelis ir draugai iš „Google DeepMind“ dukterinės įmonės Londone teigia, kad tai padarė. Šie vaikinai sukūrė gilaus mokymosi mašiną, galinčią greitai įsisavinti naują patirtį ir tada jas veikti. Rezultatas yra mašina, kuri mokosi žymiai greičiau nei kiti ir gali prilygti žmonėms netolimoje ateityje.

Pirma, šiek tiek fono. Gilus mokymasis naudoja neuroninių tinklų sluoksnius, kad ieškotų duomenų šablonų. Kai vienas sluoksnis pastebi atpažįstamą raštą, jis siunčia šią informaciją kitam sluoksniui, kuris ieško šio signalo raštų ir pan.

Taigi, atpažindamas veidą, vienas sluoksnis gali ieškoti vaizdo kraštų, kitas sluoksnis – apskritų kraštų raštų (tokius, kuriuos sudaro akys ir burnos), o kitas – trikampių raštų, pvz., dviejų akių ir burnos. Kai visa tai nutinka, galutinis rezultatas rodo, kad veidas buvo pastebėtas.

Žinoma, velnias slypi detalėse. Yra įvairių grįžtamojo ryšio sistemų, leidžiančių sistemai mokytis koreguojant įvairius vidinius parametrus, tokius kaip jungčių tarp sluoksnių stiprumas. Šie parametrai turi keistis lėtai, nes didelis vieno sluoksnio pokytis gali katastrofiškai paveikti mokymąsi kituose sluoksniuose. Štai kodėl giliesiems neuroniniams tinklams reikia tiek daug treniruočių ir tai užtrunka taip ilgai.

Pritzelis ir bendradarbiai išsprendė šią problemą taikydami metodą, vadinamą neuroniniu epizodiniu valdymu. Neuronų epizodinė kontrolė rodo dramatišką mokymosi greičio pagerėjimą įvairiose aplinkose, sako jie. Labai svarbu, kad mūsų agentas gali greitai įsisavinti labai sėkmingas strategijas, kai tik jas patiria, o ne laukti daugelio optimizavimo žingsnių.

Pagrindinė „DeepMind“ metodo idėja yra kopijuoti žmonių ir gyvūnų greito mokymosi būdą. Bendras sutarimas yra tas, kad žmonės situacijas gali spręsti dviem skirtingais būdais. Jei situacija yra pažįstama, mūsų smegenys jau suformavo jos modelį, kurį naudoja, kad išsiaiškintų, kaip geriausiai elgtis. Tam naudojama smegenų dalis, vadinama prefrontaline žieve.

Tačiau kai situacija nėra pažįstama, mūsų smegenys turi grįžti prie kitos strategijos. Manoma, kad tai apima daug paprastesnį bandymo ir atsiminimo metodą, apimantį hipokampą. Taigi bandome kažką ir prisimename šio epizodo rezultatą. Jei pavyksta, bandome dar kartą ir pan. Bet jei tai nėra sėkmingas epizodas, stengiamės to išvengti ateityje.

Šio epizodinio požiūrio pakanka trumpuoju laikotarpiu, kol mūsų priekinės smegenys mokosi. Tačiau greitai jį pralenkia prefrontalinė žievė ir jos modeliu pagrįstas metodas.

Pritzel ir bendradarbiai panaudojo šį metodą kaip savo įkvėpimą. Jų naujoji sistema turi du būdus. Pirmoji yra įprastinė giluminio mokymosi sistema, kuri imituoja prefrontalinės žievės elgesį. Antrasis labiau panašus į hipokampą. Kai sistema bando kažką naujo, ji prisimena rezultatą.

Tačiau svarbiausia, kad jis nesistengia išmokti, ką prisiminti. Vietoj to, jis viską prisimena. Mūsų architektūra nesistengia išmokti, kada rašyti į atmintį, nes tai gali būti lėta išmokti ir užtrukti daug laiko, sako Pritzelis ir kt. Vietoj to, mes pasirenkame įrašyti visą patirtį į atmintį ir leidžiame jai išaugti labai dideles, palyginti su esamomis atminties architektūromis.

Tada jie naudoja strategijų rinkinį, kad greitai perskaitytų iš šios didelės atminties. Rezultatas yra tai, kad sistema gali daug greičiau užfiksuoti sėkmingas strategijas nei įprastos gilaus mokymosi sistemos.

Jie toliau demonstruoja, kaip gerai visa tai veikia, mokydami savo mašiną žaisti klasikinius „Atari“ vaizdo žaidimus, tokius kaip „Breakout“, „Pong“ ir „Space Invaders“. (Tai žaidimų aikštelė, kurią „DeepMind“ naudojo treniruodamas daug gilaus mokymosi mašinų.)

Komanda, kurią sudaro vienas iš „DeepMind“ įkūrėjų Demis Hassibis, rodo, kad neuroninė epizodinė kontrolė gerokai pranoksta kitus giluminio mokymosi metodus savo mokymosi greičiu. Mūsų eksperimentai rodo, kad neuroniniam epizodiniam valdymui reikia daug mažiau sąveikos su aplinka, sako jie.

Tai įspūdingas darbas, turintis didelį potencialą. Tyrėjai teigia, kad akivaizdus šio darbo išplėtimas yra išbandyti savo naują požiūrį į sudėtingesnę 3D aplinką.

Bus įdomu pamatyti, kokią aplinką pasirinks komanda ir kokią įtaką tai turės realiam pasauliui. Nekantriai lauksime, kaip tai pavyks.

Nuoroda: Nervų epizodinė kontrolė: arxiv.org/abs/1703.01988

paslėpti