„Uber“ išlaužė du klasikinius devintojo dešimtmečio vaizdo žaidimus, suteikdama dirbtinio intelekto algoritmui naujo tipo atmintį

Squakenet

Naujo tipo mašininio mokymosi algoritmas ką tik įvaldė keletą vaizdo žaidimų, kurie pasirodė esąs didelis AI galvos skausmas.

Tie, kurie seka, žinos, kad dirbtinio intelekto algoritmai aplenkė geriausius pasaulio žaidėjus senoviniame, elegantiškame strateginiame žaidime Go – viename iš sunkiausių įsivaizduojamų žaidimų. Tačiau dvi 8 bitų kompiuterinių žaidimų eros pikselių turinčios klasikos – Montezuma’s Revenge ir Pitfall! – suglumino dirbtinio intelekto tyrinėtojus.

Šiam, regis, prieštaravimui yra priežastis. Nors ir apgaulingai paprasta, ir Montezumos kerštas, ir duobė! buvo atsparūs meistriškumui per stiprinimo mokymąsi – techniką, kuri šiaip puikiai mokosi užkariauti vaizdo žaidimus. „DeepMind“, „Alphabet“ dukterinė įmonė, orientuota į dirbtinį intelektą, puikiai naudojo jį kurdama algoritmus, galinčius išmokti žaisti kelis klasikinius vaizdo žaidimus ekspertų lygiu. Sustiprinimo mokymosi algoritmai puikiai dera su daugeliu žaidimų, nes jie keičia savo elgesį reaguodami į teigiamus atsiliepimus – rezultatas didėja. Šio metodo sėkmė suteikė vilčių, kad dirbtinio intelekto algoritmai gali išmokti atlikti įvairius naudingus dalykus, kurių šiuo metu mašinos neįmanomos.

Problema tiek su Montezumos keršto, tiek su duobėmis! yra tai, kad yra nedaug patikimų atlygio signalų. Abu pavadinimai apima tipiškus scenarijus: veikėjai tyrinėja blokuotus pasaulius, pilnus mirtinų būtybių ir spąstų. Tačiau kiekvienu atveju daugybė elgsenų, kurios būtinos norint pažengti į priekį žaidime, nepadeda padidinti rezultatą tik daug vėliau. Įprasti pastiprinimo mokymosi algoritmai dažniausiai nesugeba išeiti iš pirmojo Montezumos keršto ir Pitfall kambario! jie surinko lygiai nulį.

Naujuosius algoritmus sukūrė Uber AI tyrimų komanda San Franciske, vadovaujama Jeffas Clune'as , kuris taip pat yra Vajomingo universiteto docentas. Komanda pademonstravo iš esmės skirtingą požiūrį į mašininį mokymąsi aplinkoje, kuri siūlo keletą užuominų, kaip parodyti algoritmą, kaip tai veikia.

Šis metodas veda prie įdomių praktinių pritaikymų, Clune'as ir jo komanda rašo šiandien paskelbtame tinklaraščio įraše, pavyzdžiui, apie robotų mokymąsi. Taip yra todėl, kad būsimi robotai turės išsiaiškinti, ką daryti sudėtingose ​​aplinkose ir siūlome tik keletą negausių atlygių.

2016 m. gruodį „Uber“ pradėjo dirbtinio intelekto laboratoriją, siekdama esminių laimėjimų, kurie galėtų būti naudingi jos verslui. Geresni mokymosi algoritmai gali būti naudingi tokiems dalykams kaip savarankiškas vairavimas ir transporto priemonių maršrutų optimizavimas.

DI tyrėjai paprastai bandė apeiti problemas, kylančias dėl Montezumos keršto ir spąstų! nurodant sustiprinimo mokymosi algoritmus kartais tyrinėti atsitiktinai, kartu pridedant atlygį už tyrinėjimą – tai vadinama vidine motyvacija.

Tačiau Uber mokslininkai mano, kad tai nesugeba užfiksuoti svarbaus žmogaus smalsumo aspekto. Mes manome, kad pagrindinis dabartinių vidinės motyvacijos algoritmų trūkumas yra atsiribojimas, rašo jie. Algoritmai pamiršta apie perspektyvias aplankytas sritis, o tai reiškia, kad jie negrįžta į jas norėdami pamatyti, ar jos veda į naujas būsenas.

Naujoji komandos sustiprinimo mokymosi algoritmų šeima, pavadinta „Go-Explore“, prisimena, kur buvo anksčiau, ir vėliau grįš prie konkrečios srities ar užduoties, kad pamatytų, ar tai gali padėti pasiekti geresnių bendrų rezultatų. Tyrėjai taip pat nustatė, kad pridėjus šiek tiek domeno žinių, kai žaidėjai pabrėžė įdomias ar svarbias sritis, labai pagreitino algoritmų mokymąsi ir pažangą. Tai svarbu, nes gali būti daug realių situacijų, kai norėtumėte, kad algoritmas ir asmuo dirbtų kartu, kad išspręstų sunkią užduotį.

Jų kodas vidutiniškai surenka 400 000 taškų Montezumos keršto – eilės tvarka daugiau nei žmonių ekspertų vidurkis. Spąstame! jame vidutiniškai telpa 21 000 žaidėjų, daug geriau nei dauguma žmonių.

Šie rezultatai yra labai įspūdingi, sako Emma Brunskill, Stanfordo universiteto docentė, kuri specializuojasi mokymosi stiprinimo srityje. Ji sako, kad stebina ir jaudina tai, kad šios technologijos suteikė tokių didelių pranašumų.

Kiti dirbtinio intelekto tyrėjai atmetė šiuos sunkiai žinomus vaizdo žaidimus. Spalio mėnesį ne pelno organizacijos OpenAI komanda San Franciske pademonstravo algoritmą, galintį tai padaryti daro didelę pažangą Montezumos keršte.

Brunskill grupė neseniai Stanforde padarė kuklesnę pažangą ant Pitfall! naudojant metodą, panašų į Uber komandos.

Dabar, kai AI algoritmai gali išspręsti šiuos vaizdo žaidimus, iššūkis yra išeiti iš arkados ir išspręsti realaus pasaulio problemas.

Brunskill sutinka, kad toks darbas gali turėti didelį poveikį robotikai. Tačiau ji sako, kad kitos realaus pasaulio situacijos, ypač susijusios su žmogaus elgesio modeliavimu, yra daug sunkesnės. Bus labai įdomu pamatyti, kaip šis metodas tinka sudėtingesniems nustatymams, sako ji.

Tačiau ne visi yra sužavėti „Uber“ tyrimų.

Rašė Alexas Irpanas, programinės įrangos inžinierius, dirbantis „Google“ mašininio mokymosi ir robotikos srityse dienoraščio įrašą kuriame jis abejoja, kodėl Uber AI komanda nepateikė techninio dokumento ir pranešimo spaudai, kad pateiktų daugiau informacijos apie savo darbą.

Irpanas taip pat atkreipia dėmesį į tai, kad pakeitę žaidimo būseną, siekdami palengvinti savo požiūrį, Uber AI tyrėjai galėjo iš esmės pakeisti žaidimo sąlygas. Atsižvelgdamas į šį faktą, jis abejoja, ar toks požiūris gali būti praktiškas.

Tinklaraščio įraše rašoma, kad šis metodas gali būti naudojamas imituotoms robotikos užduotims atlikti, o vėliau derinamas su perkėlimu iš sim į realų, kad būtų gauta realaus pasaulio politika. Šiuo atžvilgiu aš esu gana pesimistiškas, rašo jis.

Atnaujinta 11.28 su Alekso Irpano komentaru.

paslėpti