DI išmoko naudotis įrankiais po beveik 500 milijonų slėpynių žaidimų

OpenAi

Pirmosiomis gyvenimo Žemėje dienomis biologiniai organizmai buvo nepaprastai paprasti. Tai buvo mikroskopiniai vienaląsčiai tvariniai, mažai arba visai negebėję koordinuotis. Tačiau milijardus metų evoliucija per konkurenciją ir natūralią atranką atvedė prie sudėtingų gyvybės formų, kurias turime šiandien, ir sudėtingo žmogaus intelekto.

San Franciske įsikūrusios pelno siekiančios AI tyrimų laboratorijos OpenAI tyrėjai dabar tikrina hipotezę: jei pavyktų imituoti tokią konkurenciją virtualiame pasaulyje, ar tai taip pat sukurtų daug sudėtingesnį dirbtinį intelektą?

Eksperimentas grindžiamas dviem šioje srityje egzistuojančiomis idėjomis: mokymasis iš kelių agentų, idėja įtraukti kelis algoritmus į konkurenciją arba koordinavimą, kad būtų išprovokuotas atsirandantis elgesys, ir sustiprinantis mokymasis, specifinė mašininio mokymosi technika, kuri išmoksta pasiekti tikslą per bandymus ir klaida. („DeepMind“ išpopuliarino pastarąjį savo proveržio programa „AlphaGo“, kuri įveikė geriausią senovės Kinijos stalo žaidimo „Go“ žaidėją.)

A naujas popierius Šiandien išleista OpenAI atskleidė savo pirminius rezultatus. Šimtus milijonų kartų žaisdamos paprastą slėpynių žaidimą, dvi priešingos AI agentų komandos sukūrė sudėtingas slėpimosi ir ieškojimo strategijas, apimančias įrankių naudojimą ir bendradarbiavimą. Tyrimas taip pat suteikia įžvalgos apie dominuojančią OpenAI tyrimų strategiją: smarkiai išplėsti esamus AI metodus, kad pamatytumėte, kokios savybės atsiranda.

Po maždaug 25 milijonų slėpynių raundų slėptuvės išmoko statyti fortus, kad laimėtų žaidimą. OpenAI

Šeši strategijos etapai

Norėdami sukurti žaidimą, mokslininkai sukūrė virtualią aplinką, kurią sudarė uždara erdvė su įvairiais objektais, tokiais kaip blokai, rampos ir mobilios bei nejudančios barikados. Patys agentai buvo valdomi sustiprinimo mokymosi algoritmais. Kiekvienam žaidimui agentai buvo suskirstyti į dvi komandas: slėptuvės buvo apdovanojamos arba baudžiamos atitinkamai už tai, kad vengė ar neišvengė ieškotojų; ieškantys asmenys taip pat buvo apdovanoti arba baudžiami už tai, kad surado ar nesurado slėptuvių. Kaip ir klasikiniame slėpynių žaidime, slėptuvėms taip pat buvo suteikta kelių sekundžių pradžia. Tyrėjai agentams nedavė jokių kitų nurodymų.

Per šimtus milijonų žaidimo raundų agentai sukūrė keletą strategijų ir kontrastrategijų. Pirmojo etapo metu slėptuvės ir ieškotojai sukūrė labai grubias vengimo ir vaikymosi strategijas, judėdami erdvėje nekeisdami jokių objektų.

Trečiajame etape ieškotojai išmoko lipti per forto sienas naudodami rampą. OpenAI

Tačiau maždaug 25 milijonų žaidimų ribą žaidimas tapo sudėtingesnis. Slėptuvės išmoko perkelti ir užrakinti dėžes bei barikadas aplinkoje, kad aplink save pastatytų fortus, kad ieškotojai jų niekada nepamatytų. Negana to, jie taip pat sukūrė koordinavimo strategijas, tokias kaip vienas kito objektų aplenkimas, kad paspartintų forto kūrimo procesą.

Tačiau po dar 75 milijonų raundų ieškotojai atrado priešingą strategiją, perkeldami procesą į trečią etapą. Jie išmoko perkelti rampą šalia slėptuvių forto ir ja lipti per sienas. Ketvirtajame etape, po 10 milijonų raundų, slėptuvės išmoko užrakinti rampas prieš statydami savo fortą. (Nė viena komanda negalėjo atrakinti objekto, kurį užrakino priešinga komanda.)

Iš pradžių OpenAI tyrėjai manė, kad tai buvo paskutinis žaidimo etapas, bet galiausiai, pasiekus 380 milijonų žaidimų ribą, atsirado dar dvi strategijos. Ieškotojai dar kartą sukūrė strategiją, kaip įsilaužti į slėptuvių fortą, naudodami užrakintą rampą, kad užliptų ant neužrakintos dėžės, o tada naršytų ant dėžės viršaus į fortą ir per jo sienas. Paskutiniame etape slėptuvės dar kartą išmoko užrakinti visas rampas ir dėžes prieš statydami savo fortą.

Galiausiai, po 380 milijonų treniruočių, ieškotojai išmoko naršyti, kad galėtų lipti per forto sienas. OpenAI

Naujasis intelektas

Tyrėjai mano, kad šie pirminiai rezultatai rodo daug žadantį naują metodą sudėtingesniam AI vystymuisi. Mes nesame slėpytojams ar ieškotojams bėgti prie dėžės ar su ja bendrauti, sako vienas iš straipsnio autorių Bowenas Bakeris. Tačiau per kelių agentų konkurenciją jie sukūrė vienas kitam naujas užduotis, kad kita komanda turėjo prisitaikyti.

Šis tyrimas atspindi išskirtinį OpenAI požiūrį į AI tyrimus. Nors laboratorija taip pat investavo į naujų metodų, palyginti su kitomis laboratorijomis, kūrimą, pirmiausia ji išgarsėjo smarkiai padidindama esamas. Pavyzdžiui, GPT-2, liūdnai pagarsėjęs laboratorijos kalbos modelis , labai pasiskolintas algoritminis dizainas iš ankstesnių kalbų modelių, įskaitant Google BERT ; Pagrindinė OpenAI naujovė buvo inžinerijos ir ekspansyvių skaičiavimo išteklių žygdarbis.

Tam tikra prasme šis tyrimas dar kartą patvirtina esamų technologijų ribų bandymo mastu vertę. Komanda taip pat planuoja tęsti šią strategiją. Tyrėjai teigia, kad pirmasis eksperimentų etapas nepriartėjo prie skaičiavimo išteklių, kuriuos jie galėjo mesti problemai, ribos.

Norime, kad žmonės įsivaizduotų, kas nutiktų, jei sukeltumėte tokią konkurenciją daug sudėtingesnėje aplinkoje, sako Bakeris. Jų išmoktas elgesys iš tikrųjų gali padėti išspręsti kai kurias problemas, kurių galbūt dar nežinome.

Pataisymas: Originalioje antraštėje buvo klaidingai nurodytas agentų žaidėjų žaidimų skaičius.

paslėpti