Sukūręs savo treniruočių režimą, roboto ranka išmoko išspręsti Rubiko kubą

OPENAI OpenAI

Daugiau nei prieš metus OpenAI, San Franciske įsikūrusi pelno siekianti dirbtinio intelekto tyrimų laboratorija, paskelbė, kad išmokė roboto ranką nepaprastai vikriai manipuliuoti kubu.

Tai gali neskambėti žemę drebinančiai. Tačiau dirbtinio intelekto pasaulyje tai buvo įspūdinga dėl dviejų priežasčių. Pirma, ranka pati išmoko suktis su kubu, naudodama sustiprinimo mokymosi algoritmą – techniką, sukurtą pagal gyvūnų mokymosi būdą. Antra, visi mokymai buvo atlikti modeliuojant, tačiau juos pavyko sėkmingai išversti į realų pasaulį. Abiem būdais tai buvo svarbus žingsnis link judresnių robotų, skirtų pramonei ir vartotojams.

Buvau nustebintas, – apie 21018 m. rezultatus sako robotų specialistė ir MIT profesorė Leslie Kaelbling. Nebūčiau įsivaizdavęs, kad jie galėjo dirbti.

A naujas popierius Šiandien OpenAI paskelbė naujausius rezultatus su savo robotine ranka Dactyl. Šį kartą Daktilas išmoko viena ranka išspręsti Rubiko kubą – dar kartą pastiprindamas mokymąsi simuliacijoje. Tai pastebima ne tiek dėl to, kad robotas sulaužė seną galvosūkį, kiek dėl to, kad pasiekimas įgavo naują vikrumo lygį.

Tai tikrai sunki problema, sako Dmitrijus Berensonas, robotas iš Mičigano universiteto, besispecializuojantis mašinų manipuliavime. Manipuliavimas, kurio reikia norint pasukti Rubiko kubo dalis, iš tikrųjų yra daug sunkesnis nei pasukti kubą.

Bandymų metu Dactyl sėkmingai išsprendė Rubiko kubą net ir netikėtomis aplinkybėmis.

Nuo virtualaus iki fizinio pasaulio

Tradiciškai robotai galėjo manipuliuoti objektais tik labai paprastais būdais. Nors sustiprinimo mokymosi algoritmai sulaukė didelio pasisekimo atliekant sudėtingas užduotis programinėje įrangoje, pvz., įveikti geriausią žaidėją senovės žaidime Go , o jų naudojimas fizinei mašinai lavinti buvo kitokia istorija. Taip yra todėl, kad algoritmai turi patobulinti save per bandymus ir klaidas – daugeliu atvejų milijonus kartų. Tikriausiai prireiktų per ilgai ir daug nusidėvėjimo, kad fizinis robotas tai padarytų realiame pasaulyje. Gali būti net pavojinga, jei robotas pašėlusiai triūstų rinkdamas duomenis.

Kad to išvengtų, robotai naudoja modeliavimą: jie sukuria virtualų savo roboto modelį ir apmoko jį virtualiai atlikti užduotį. Algoritmas mokosi skaitmeninės erdvės saugumu ir vėliau gali būti perkeltas į fizinį robotą. Tačiau šis procesas turi savų iššūkių. Beveik neįmanoma sukurti virtualaus modelio, kuris tiksliai atkartotų tuos pačius fizikos dėsnius, medžiagų savybes ir manipuliavimo elgesį, matomą realiame pasaulyje, jau nekalbant apie netikėtas aplinkybes. Taigi, kuo sudėtingesnis robotas ir užduotis, tuo sunkiau pritaikyti praktiškai išmokytą algoritmą fizinėje realybėje.

Tai padarė įspūdį Kaelblingui apie OpenAI rezultatus prieš metus. Sėkmę lėmė tai, kad laboratorija kiekviename treniruočių etape iššifravo modeliuojamas sąlygas, kad algoritmas būtų labiau pritaikytas įvairioms galimybėms.

Jie sujaukė savo treniruoklį įvairiais beprotiškais būdais, sako Kaelblingas. Jie ne tik pakeitė gravitacijos stiprumą, bet ir pakeitė gravitacijos taškus. Taigi, bandant sukurti strategiją, kuri patikimai veiktų su visomis šiomis beprotiškomis modeliavimo permutacijomis, algoritmas iš tikrųjų veikė tikrame robote.

Naujausiame dokumente OpenAI žengia dar vieną žingsnį į priekį. Anksčiau tyrėjai turėjo atsitiktinai suskirstyti aplinkos parametrus, rankomis pasirinkdami, kurios permutacijos, jų manymu, lemtų geresnį algoritmą. Dabar mokymo sistema tai daro pati. Kiekvieną kartą, kai robotas pasiekia tam tikrą meistriškumo lygį esamoje aplinkoje, treniruoklis koreguoja savo parametrus, kad treniruočių sąlygos būtų dar sunkesnės.

Rezultatas yra dar tvirtesnis algoritmas, kuris gali judėti tokiu tikslumu, kurio reikia Rubiko kubui pasukti realiame gyvenime. Atlikę bandymus, mokslininkai nustatė, kad Dactyl taip pat sėkmingai išsprendė kubą įvairiomis sąlygomis, kurių jis nebuvo apmokytas. Pavyzdžiui, jis galėjo atlikti užduotį mūvėdamas gumines pirštines, surišęs kelis pirštus ir stumiamas žaislinės žirafos.

Bendrosios paskirties robotai

„OpenAI“ mano, kad naujausi rezultatai yra tvirti įrodymai, kad jų požiūris leis daugiau bendrosios paskirties robotų, galinčių prisitaikyti prie atviros aplinkos, pavyzdžiui, namų virtuvės. Rubiko kubas yra vienas sudėtingiausių standžių objektų, sako Marcinas Andrychowiczius iš OpenAI. Manau, kad kiti objektai nebus daug sudėtingesni.

Nors yra sudėtingesnių užduočių, susijusių su daugiau objektų ar deformuojamų objektų, jis sako, kad jis yra įsitikinęs, kad laboratorijos metodas gali išmokyti robotus jiems visiems: manau, kad šis metodas. yra požiūris į platų robotikos pritaikymą.

Tačiau tiek Berensonas, tiek Kaelblingas išlieka skeptiški. Gali susidaryti įspūdis, kad yra viena vieninga teorija ar sistema, o dabar OpenAI tai tik taiko šiai ir tai užduočiai, sako Berensonas apie ankstesnį ir dabartinį dokumentą. Bet visai ne tai vyksta. Tai pavienės užduotys. Yra bendrų komponentų, tačiau čia taip pat yra daug inžinerijos, kad kiekviena nauja užduotis veiktų.

Štai kodėl aš jaučiuosi šiek tiek nepatogiai dėl teiginių apie tai, dėl kurių atsiranda bendros paskirties robotai, sako jis. Manau, kad tai labai specifinė sistema, skirta konkrečiai programai.

Berensono nuomone, dalis problemos yra pats mokymasis. Iš prigimties ši technika sukurta tam, kad įvaldyti vieną konkretų dalyką, su tam tikru lankstumu tvarkant variantus. Tačiau realiame pasaulyje galimų variantų skaičius viršija tai, ką galima pagrįstai imituoti. Pavyzdžiui, atliekant valymo užduotį, galite turėti įvairių tipų šluotų, įvairių išsiliejimo būdų ir skirtingų tipų grindų.

Sustiprinimo mokymasis taip pat skirtas mokytis naujų gebėjimų daugiausia nuo nulio. Tai nėra nei efektyvu robotikoje, nei teisinga, kaip žmonės mokosi. Jei jau esate pakankamai kompetentingas žmogus ir aš bandžiau jus išmokyti motorinių įgūdžių virtuvėje, pavyzdžiui, galbūt niekada nieko neplakėte šaukštu, tai nereiškia, kad jūs turite iš naujo išmokti valdyti motoriką, sako Kaelblingas. .

Peržengiant šiuos apribojimus, Berensonas teigia, kad reikės kitų, labiau tradicinių robotikos metodų. Jis sako, kad dienos pabaigoje bus kai kurie mokymosi procesai – tikriausiai mokymasis sustiprins. Bet aš manau, kad jie iš tikrųjų turėtų pasirodyti daug vėliau.

Jei norite, kad daugiau tokių istorijų būtų pristatyta tiesiai į jūsų pašto dėžutę, užsiprenumeruokite Webby nominuotą AI informacinį biuletenį The Algorithm. Tai nemokama.

paslėpti