Neuroniniai tinklai mokosi, ką prisiminti ir ką pamiršti

Gilus mokymasis keičia mūsų naudojimosi ir mąstymo apie mašinas būdą. Dabartiniai įsikūnijimai yra geresni už žmones atliekant visas užduotis – nuo ​​šachmatų ir „Go“ iki veido atpažinimo ir objektų atpažinimo.

Tačiau daugelis mašininio mokymosi aspektų labai atsilieka nuo žmogaus veiklos. Visų pirma, žmonės turi nepaprastą galimybę nuolat atnaujinti savo prisiminimus svarbiausiomis žiniomis ir perrašyti nebenaudingą informaciją.

Tai svarbus įgūdis. Pasaulis yra nesibaigiantis duomenų šaltinis, kurio didžioji dalis nėra svarbi sudėtingam išgyvenimo reikalui ir kurių daugumos neįmanoma išsaugoti ribotoje atmintyje. Taigi žmonės ir kitos būtybės sukūrė būdus, kaip išlaikyti svarbius įgūdžius, pamiršdami nereikšmingus.

Neuroniniai tinklai dabar mokomi pamiršti.

To negalima pasakyti apie mašinas. Bet koks jų išmoktas įgūdis greitai perrašomas, nepaisant to, koks jis svarbus. Šiuo metu nėra jokio patikimo mechanizmo, kuriuo jie galėtų nustatyti pirmenybę šiems įgūdžiams, nuspręsdami, ką prisiminti, o ką pamiršti.

Panašu, kad šiandien tai pasikeis dėl Rahafo Aljundi ir jo draugų iš Liuveno universiteto Belgijoje ir „Facebook AI Research“ darbo. Šie vaikinai parodė, kad metodas, kurį biologinės sistemos naudoja mokydamosi ir pamiršdamos, gali veikti ir su dirbtiniais neuroniniais tinklais.

Svarbiausia yra procesas, žinomas kaip Hebbian mokymasis, kurį 1940-aisiais pirmą kartą pasiūlė kanadiečių psichologas Donaldas Hebbas, siekdamas paaiškinti, kaip smegenys mokosi per sinaptinį plastiškumą. Hebbo teoriją galima garsiai apibendrinti kaip ląstelės, kurios susijungia.

Kitaip tariant, ryšiai tarp neuronų stiprėja, jei jie užsidega kartu, todėl šiuos ryšius sunkiau nutraukti. Taip mes mokomės – pasikartojantis sinchronizuotas neuronų šaudymas sustiprina jų tarpusavio ryšius ir juos sunkiau perrašyti.

Taigi Aljundi ir bendradarbiai sukūrė būdą, kaip dirbtiniai neuroniniai tinklai elgiasi taip pat. Jie tai daro matuodami neuroninio tinklo išvestis ir stebėdami, kaip jautriai reaguoja į tinklo jungčių pokyčius.

Tai suteikia jiems pojūtį, kurie tinklo parametrai yra svarbiausi ir todėl turėtų būti išsaugoti. Mokantis naujos užduoties už svarbių parametrų keitimą baudžiama, teigia komanda. Jie sako, kad gautas tinklas turi atminties žinančių sinapsių.

Jie įgyvendino šią idėją atlikdami testus, kurių metu neuroniniam tinklui, išmokytam daryti vieną dalyką, suteikiami duomenys, kurie moko jį daryti ką nors kita. Pavyzdžiui, tinklui, išmokytam atpažinti gėles, rodomi paukščiai. Tada mokslininkai vėl parodo, kad jis žydi, kad pamatytų, kiek šio įgūdžio išsaugota.

Neuroniniai tinklai su atminties žinančiomis sinapsėmis šiuose bandymuose veikia geriau nei kiti tinklai. Kitaip tariant, jie išsaugo daugiau originalių įgūdžių nei tinklai be šio gebėjimo, nors rezultatai tikrai leidžia tobulėti

Tačiau svarbiausia yra tai, kad komanda rado būdą, kaip neuroniniai tinklai panaudoti Hebbian mokymąsi. Mes parodome, kad vietinė mūsų metodo versija yra tiesioginis Hebbo taisyklės taikymas nustatant svarbius ryšius tarp neuronų, sako Aljundi ir kt.

Tai turi įtakos mašininio mokymosi ateičiai. Jei šie mokslininkai gali patobulinti savo Hebbian mokymosi versiją, mašinos turėtų būti lankstesnės jų mokymosi metu. Ir tai leis jiems geriau prisitaikyti prie realaus pasaulio.

Nuoroda: arxiv.org/abs/1711.09601 : Atmintį suvokiančios sinapsės: išmokti ką (ne) pamiršti

paslėpti