Gilus mokymasis gali atskleisti, kodėl pasaulis veikia taip, kaip veikia

Apvirtusių domino kauliukų vaizdas Getty

Šią savaitę AI tyrimų bendruomenė susirinko Naujajame Orleane Tarptautinė mokymosi reprezentacijų konferencija (ICLR, tariama akiai aišku), viena iš pagrindinių jos metinių konferencijų. Dalyvauja daugiau nei 3 000 dalyvių ir 1 500 popierinių pranešimų, todėl tai yra vienas iš svarbiausių forumų keistis naujomis idėjomis šioje srityje.

Šiais metais derybose ir priimtuose dokumentuose didelis dėmesys skiriamas keturių pagrindinių gilaus mokymosi iššūkių sprendimui: teisingumui, saugumui, apibendrinimui ir priežastingumui. Jei sekate MIT technologijų apžvalgos aprėptį, atpažinsite pirmuosius tris. Kalbėjome apie tai, kad mašininio mokymosi algoritmai dabartinėje būsenoje yra šališki, jautrūs priešiškiems išpuoliams ir neįtikėtinai riboti, nes jie gali apibendrinti modelius, kuriuos jie randa kelių programų mokymo duomenų rinkinyje. Dabar mokslinių tyrimų bendruomenė stengiasi, kad technologija būtų pakankamai sudėtinga, kad sumažintų šiuos trūkumus.

Tai, apie ką daug nekalbėjome, yra paskutinis iššūkis: priežastinis ryšys. Tai mokslininkai jau kurį laiką glumina. Mašininis mokymasis puikiai padeda rasti koreliacijos duomenyse, bet ar tai kada nors gali išsiaiškinti priežastinis ryšys ? Toks pasiekimas būtų didžiulis įvykis: jei algoritmai padėtų mums išsiaiškinti įvairių reiškinių sudėtingose ​​sistemose priežastis ir padarinius, jie pagilintų mūsų supratimą apie pasaulį ir atrastų galingesnes priemones jam paveikti.

Pirmadienį sausakimšoje patalpoje pripažintas tyrėjas Léonas Bottou, dabar dirbantis „Facebook“ AI tyrimų padalinyje ir Niujorko universitete, išdėstė naują sistemą, kurią kartu su bendradarbiais ieškojo, kaip mes galėtume ten pasiekti. Štai mano jo pokalbio santrauka. Taip pat galite žiūrėti visą jį žemiau, nuo 12:00.

Idėja #1

Vaizdų pavyzdžiai iš MNIST duomenų rinkinio. Vikipedija

Pradėkime nuo Bottou ir jo komandos pirmosios didelės idėjos: naujo būdo galvoti apie priežastinį ryšį. Tarkime, kad norite sukurti kompiuterinę regėjimo sistemą, kuri atpažintų ranka rašytus skaičius. (Tai yra klasikinė įvadinė problema kuri naudoja plačiai prieinamą MNIST duomenų rinkinį, pavaizduotą aukščiau.) Neuroninį tinklą apmokytumėte ant daugybės ranka rašytų skaičių vaizdų, kurių kiekvienas būtų pažymėtas jų atstovaujamu skaičiumi, ir gautumėte gana padorią naujų skaičių atpažinimo sistemą, kurios jis niekada neturėjo. matytas anksčiau.

Tačiau tarkime, kad jūsų treniruočių duomenų rinkinys yra šiek tiek pakeistas, o kiekvienas ranka įrašytas skaičius taip pat turi spalvą – raudoną arba žalią – susietą su juo. Trumpam sustabdykite savo nepasitikėjimą ir įsivaizduokite, kad nežinote, ar ženklų spalva ar forma geriau nuspėja skaičių. Šiandien įprasta praktika yra tiesiog pažymėti kiekvieną mokymo duomenų dalį su abiem funkcijomis ir įvesti juos į neuroninį tinklą, kad jis galėtų nuspręsti.

Mėginiai iš spalvoto MNIST duomenų rinkinio. Leonas Bottou

Štai kur viskas tampa įdomi. Spalvotas MNIST duomenų rinkinys yra sąmoningai klaidinantis. Grįžę į realų pasaulį, žinome, kad ženklų spalva visiškai nesvarbi, tačiau šiame konkrečiame duomenų rinkinyje spalva iš tikrųjų yra stipresnė skaitmens prognozė nei jo forma. Taigi mūsų neuroninis tinklas išmoksta naudoti spalvą kaip pagrindinį prognozuotoją. Tai gerai, kai mes naudojame tinklą, kad atpažintume kitus ranka rašytus skaičius, kurie atitinka tuos pačius spalvinimo modelius. Tačiau našumas visiškai pablogėja, kai keičiame skaičių spalvas. (Kai Bottou ir jo bendradarbiai atliko šį minties eksperimentą su tikrais mokymo duomenimis ir tikru neuroniniu tinklu, jie pasiekė 84,3% atpažinimo tikslumą pagal pirmąjį scenarijų ir 10% tikslumą pagal antrąjį.)

Kitaip tariant, neuroninis tinklas rado tai, ką Bottou vadina klaidinga koreliacija, todėl jis visiškai nenaudingas už siauro konteksto, kuriame jis buvo mokomas, ribų. Teoriškai, jei galėtumėte atsikratyti visų klaidingų koreliacijų mašininio mokymosi modelyje, jums liktų tik nekintamos – tos, kurios galioja nepaisant konteksto.

Nekintamumas savo ruožtu leistų suprasti priežastinį ryšį, aiškina Bottou. Jei žinote nekintamas sistemos savybes ir žinote sistemoje atliekamą intervenciją, turėtumėte sugebėti padaryti išvadą apie tos intervencijos pasekmes. Pavyzdžiui, jei žinote, kad ranka parašyto skaitmens forma visada lemia jo reikšmę, tuomet galite daryti išvadą, kad pakeitus jo formą (priežastį), pasikeis jo reikšmė (pasekmė). Kitas pavyzdys: jei žinote, kad visiems objektams galioja gravitacijos dėsnis, galite daryti išvadą, kad paleidus kamuolį (priežastis), jis nukris ant žemės (poveikis).

Akivaizdu, kad tai paprasti priežasties ir pasekmės pavyzdžiai, pagrįsti mums jau žinomomis nekintamomis savybėmis, tačiau pagalvokite, kaip galėtume pritaikyti šią idėją daug sudėtingesnėms sistemoms, kurių dar nesuprantame. O kas, jei galėtume rasti, pavyzdžiui, nekintamas savo ekonominių sistemų savybes, kad suprastume visuotinių bazinių pajamų įgyvendinimo poveikį? Arba nekintamos Žemės klimato sistemos savybės, kad galėtume įvertinti įvairių geoinžinerijos gudrybių poveikį?

Idėja #2

Taigi, kaip atsikratyti šių netikrų koreliacijų? Tai antra didelė Bottou komandos idėja. Dabartinėje mašininio mokymosi praktikoje numatytoji intuicija yra sukaupti kuo daugiau įvairių ir reprezentatyvių duomenų į vieną mokymo rinkinį. Tačiau Bottou sako, kad toks požiūris daro meškos paslaugą. Skirtingi duomenys, gaunami iš skirtingų kontekstų – ar jie buvo surinkti skirtingu laiku, skirtingose ​​vietose ar skirtingomis eksperimentinėmis sąlygomis – turėtų būti saugomi kaip atskiri rinkiniai, o ne maišomi ir derinami. Kai jie yra konsoliduojami, kaip yra dabar, svarbi kontekstinė informacija prarandama, todėl yra daug didesnė netikrų koreliacijų tikimybė.

Naudojant kelis kontekstui būdingus duomenų rinkinius, neuroninio tinklo mokymas labai skiriasi. Tinklas nebegali rasti koreliacijų, kurios galioja tik viename įvairiame mokymo duomenų rinkinyje; ji turi rasti koreliacijas, kurios yra nekintamos visuose įvairiuose duomenų rinkiniuose. Ir jei tie rinkiniai yra protingai atrinkti iš viso kontekstų spektro, galutinės koreliacijos taip pat turėtų labai atitikti nekintamas pagrindinės tiesos savybes.

Taigi dar kartą grįžkime prie paprasto spalvoto MNIST pavyzdžio. Remdamiesi savo teorija, kaip rasti nekintamų savybių, Bottou ir bendradarbiai iš naujo atliko pradinį eksperimentą. Šį kartą jie naudojo du spalvotus MNIST duomenų rinkinius, kurių kiekvienas turi skirtingus spalvų modelius. Tada jie apmokė savo neuroninį tinklą, kad surastų koreliacijas, kurios galioja abiejose grupėse. Kai jie išbandė šį patobulintą modelį su naujais numeriais su tais pačiais ir atvirkštiniais spalvų raštais, jis pasiekė 70 % abiejų atpažinimo tikslumą. Rezultatai parodė, kad neuroninis tinklas išmoko nepaisyti spalvų ir sutelkti dėmesį tik į ženklų formas.

Bottou sako, kad jo komandos darbas su šiomis idėjomis dar nebaigtas, o mokslininkų bendruomenei prireiks šiek tiek laiko išbandyti metodus, susijusius su sudėtingesnėmis nei spalvoti skaičiai. Tačiau sistema užsimena apie gilaus mokymosi potencialą, padedantį suprasti, kodėl viskas vyksta, ir taip suteikti mums daugiau galimybių valdyti savo likimus.

paslėpti