Algoritmas, kuris mokosi per atlygį, gali parodyti, kaip veikia ir mūsų smegenys

Neuroniniai takai Wikimedia Commons

1951 m. Marvinas Minskis, tuomet Harvardo studentas, pasiskolino gyvūnų elgesio stebėjimus, kad sukurtų protingą mašiną. Remdamasis idėjomis iš fiziologo Ivano Pavlovo, kuris garsiai naudojo šunis, kad parodytų, kaip gyvūnai mokosi per bausmes ir atlygį, Minskis. sukūrė kompiuterį kurie galėtų nuolat mokytis per panašų pastiprinimą, kad išspręstų virtualų labirintą.

Tuo metu neurologai dar turėjo išsiaiškinti smegenų mechanizmus, leidžiančius gyvūnams mokytis tokiu būdu. Tačiau Minskis vis tiek sugebėjo laisvai imituoti elgesį, taip patobulindamas dirbtinį intelektą. Po kelių dešimtmečių, kai stiprinamasis mokymasis ir toliau brendo, jis savo ruožtu padėjo neurologijos sričiai atrasti tie mechanizmai, prisidedantys prie veiksmingo pažangos tarp dviejų sričių.

A paskelbtas popierius „Nature“ šiandien „Alphabet“ AI dukterinė įmonė „DeepMind“ dar kartą panaudojo mokymosi pamokas, kad pasiūlytų naują teoriją apie atlyginimo mechanizmus mūsų smegenyse. Hipotezė, paremta pradinėmis eksperimentinėmis išvadomis, galėjo ne tik pagerinti mūsų supratimą apie psichinę sveikatą ir motyvaciją. Tai taip pat galėtų patvirtinti dabartinę AI tyrimų kryptį, kuria siekiama sukurti panašesnį į žmogų bendrąjį intelektą.

Aukšto lygio mokymas sustiprina pagal Pavlovo šunų įžvalgą: galima išmokyti agentą atlikti sudėtingas, naujas užduotis tik naudojant teigiamus ir neigiamus atsiliepimus. Algoritmas pradeda mokytis priskirtos užduoties atsitiktinai numatydamas, kuris veiksmas gali pelnyti atlygį. Tada ji imasi veiksmo, stebi tikrąjį atlygį ir koreguoja savo prognozę, remdamasi paklaidos riba. Per milijonus ar net milijardus bandymų algoritmo numatymo klaidos suartėja iki nulio, o tada jis tiksliai žino, kokių veiksmų imtis, kad maksimaliai padidintų atlygį ir užbaigtų savo užduotį.

Pasirodo, smegenų atlygio sistema veikia panašiai – tai atradimas, padarytas 1990-aisiais, įkvėptas sustiprinimo mokymosi algoritmų. Kai žmogus ar gyvūnas ruošiasi atlikti veiksmą, jo dopamino neuronai numato laukiamą atlygį. Kai tik gaunamas tikrasis atlygis, jie išleidžia tokį dopamino kiekį, kuris atitinka numatymo klaidą. Geresnis nei tikėtasi atlygis skatina stiprų dopamino išsiskyrimą, o blogesnis nei tikėtasi atlygis slopina cheminės medžiagos gamybą. Kitaip tariant, dopaminas tarnauja kaip korekcijos signalas, liepdamas neuronams koreguoti savo prognozes, kol jos susiartins su realybe. Reiškinys, žinomas kaip atlygio numatymo klaida, veikia panašiai kaip sustiprinimo mokymosi algoritmas.

Naujasis DeepMind dokumentas grindžiamas glaudžiu ryšiu tarp šių natūralių ir dirbtinių mokymosi mechanizmų. 2017 m. jos mokslininkai pristatė patobulintą mokymosi mokymo algoritmą, kuris nuo to laiko atrakino vis įspūdingesnį įvairių užduočių našumą. Dabar jie mano, kad šis naujas metodas gali pasiūlyti dar tikslesnį paaiškinimą, kaip smegenyse veikia dopamino neuronai.

Tiksliau, patobulintas algoritmas keičia atlygio prognozavimo būdą. Nors senasis metodas įvertino atlygį kaip vieną skaičių, kuris buvo lygus vidutiniam laukiamam rezultatui, naujasis metodas juos tiksliau parodo kaip paskirstymą. (Akimirkai pagalvokite apie lošimo automatą: galite arba laimėti, arba pralaimėti po tam tikro paskirstymo. Tačiau jokiu būdu negausite vidutinio tikėtino rezultato.)

Modifikacija leidžia iškelti naują hipotezę: ar dopamino neuronai taip pat prognozuoja atlygį tokiu pat paskirstymo būdu?

Norėdami patikrinti šią teoriją, „DeepMind“ bendradarbiavo su grupe Harvarde, kuri stebėjo dopamino neuronų elgesį pelėse. Jie nustatė pelėms užduotį ir apdovanojo jas pagal kauliukų metimą, matuodami jų dopamino neuronų šaudymo modelius. Jie nustatė, kad kiekvienas neuronas išskiria skirtingą dopamino kiekį, o tai reiškia, kad jie visi numatė skirtingus rezultatus. Kai kurie buvo pernelyg optimistiški, numatydami didesnį atlygį nei iš tikrųjų gavo, kiti buvo pesimistiškesni, menkindami realybę. Kai tyrėjai numatė šių prognozių pasiskirstymą, jie atidžiai sekė faktinio atlygio pasiskirstymą. Šie duomenys suteikia įtikinamų įrodymų, kad smegenys iš tikrųjų naudoja paskirstymo atlygio prognozes, kad sustiprintų savo mokymosi algoritmą.

Išmatuodami dopamino neuronų elgesį pelėse, mokslininkai nustatė, kad neuronų prognozių pasiskirstymas (dekoduotas) tiksliai atitiko tikrojo atlygio (pagrindinės tiesos) pasiskirstymą. DeepMind

Tai puikus atlygio numatymo klaidos dopamino kodavimo sampratos išplėtimas, elektroniniame laiške rašė Wolframas Schultzas, dopamino neuronų elgesio pradininkas, nedalyvavęs tyrime. Nuostabu, kaip šis labai paprastas dopamino atsakas nuspėjamai seka intuityvius pagrindinių biologinio mokymosi procesų modelius, kurie dabar tampa AI komponentu.

Tyrimas turi įtakos ir AI, ir neuromokslams. Pirma, jis patvirtina paskirstymo stiprinimo mokymąsi kaip perspektyvų kelią į pažangesnes AI galimybes. Jei smegenys juo naudojasi, tai tikriausiai yra gera idėja, per spaudos konferenciją sakė Mattas Botvinickas, „DeepMind“ neurologijos tyrimų direktorius ir vienas iš pagrindinių šio dokumento autorių. Tai mums sako, kad tai yra skaičiavimo technika, kurią galima keisti realiose situacijose. Jis puikiai derės su kitais skaičiavimo procesais.

Antra, tai galėtų pasiūlyti svarbų atnaujinimą vienai iš kanoninių neurologijos teorijų apie atlygio sistemas smegenyse, o tai savo ruožtu galėtų pagerinti mūsų supratimą apie viską nuo motyvacijos iki psichinės sveikatos. Ką gali reikšti, pavyzdžiui, pesimistiniai ir optimistiški dopamino neuronai? Jei smegenys selektyviai klausytųsi tik vieno ar kito, ar tai galėtų sukelti cheminį disbalansą ir sukelti depresiją?

Iš esmės, toliau dekoduojant smegenų procesus, rezultatai taip pat atskleidžia, kas sukuria žmogaus intelektą. Tai suteikia mums naują požiūrį į tai, kas vyksta mūsų smegenyse kasdieniame gyvenime, sakė Botvinickas.

paslėpti