211service.com
Sustiprinti besimokantys AI yra pažeidžiami naujos rūšies atakų
MIT TECHNOLOGY APŽVALGA / ADAM GLEAVE
Futbolo botas išsirikiuoja, kad galėtų smūgiuoti į vartus. Tačiau užuot pasiruošęs jį blokuoti, vartininkas nukrenta ant žemės ir kraipo kojomis. Sutrikęs puolėjas šoka keistą šokį, trypčiodamas kojomis ir mojuodamas viena ranka, o tada parvirsta. 1-0 vartininkui.
Tai nėra taktika, kurią naudos profesionalai, bet tai rodo, kad dirbtinis intelektas, lavinamas giliai sustiprinant mokymąsi – pažangiausių žaidimų AI, tokių kaip AlphaZero ir OpenAI Five, technika – yra labiau pažeidžiamas atakų nei anksčiau. maniau. Ir tai gali turėti rimtų pasekmių.
Adamas Glyvas
Per pastaruosius kelerius metus mokslininkai rado daug būdų, kaip sulaužyti dirbtinį intelektą, apmokytą naudojant pažymėtus duomenis, vadinamą prižiūrimu mokymusi. Nedideli AI įvesties patobulinimai, pvz., kelių vaizdo pikselių pakeitimas, gali jį visiškai pakeisti, pavyzdžiui, tinginio nuotrauką atpažinti kaip lenktyninį automobilį. Šios vadinamosios priešingos atakos neturi tikslaus sprendimo.
Palyginti su prižiūrimu mokymusi, mokymasis sustiprinant yra palyginti nauja technika ir buvo tiriama mažiau. Tačiau paaiškėja, kad jis taip pat yra pažeidžiamas įvesties. Sustiprinimo mokymasis moko dirbtinį intelektą, kaip elgtis įvairiose situacijose, suteikiant jam atlygį už teisingą elgesį. Galiausiai AI išmoksta veiksmų planą, žinomą kaip politika. Politika leidžia AI žaisti žaidimus, vairuoti automobilius arba valdyti automatizuotas prekybos sistemas.
2017 m. Sandy Huang, kuri dabar dirba „DeepMind“, ir jos kolegos pažvelgė į AI, išmokytą sustiprinti mokymąsi žaisti klasikinį vaizdo žaidimą „Pong“. Jie tai parodė Pridėjus vieną nesąžiningą tašką prie vaizdo įvesties kadrų, jis būtų prarastas . Dabar Adamas Gleave'as iš Kalifornijos universiteto Berklyje priešpriešinius išpuolius perkėlė į kitą lygį.
Gleave'as per daug nesijaudina dėl daugelio iki šiol matytų pavyzdžių. Aš šiek tiek skeptiškai žiūriu į tai, ar jie kelia grėsmę, sako jis. Idėja, kad užpuolikas sulaužys mūsų mašininio mokymosi sistemą pridėdamas nedidelį kiekį triukšmo, neatrodo realistiška. Tačiau užuot apgavę AI, kad pamatytų tai, ko iš tikrųjų nėra, galite pakeisti aplinkinių dalykų veikimą. Kitaip tariant, dirbtinis intelektas, apmokytas naudojant sustiprinimo mokymąsi, gali būti apgautas dėl keisto elgesio. Gleave'as ir jo kolegos tai vadina prieštaringa politika. Tai anksčiau nepripažintas grėsmės modelis, sako Gleave'as.
Kontrolės praradimas
Tam tikrais atžvilgiais priešiška politika kelia didesnį nerimą nei atakos prieš prižiūrimus mokymosi modelius, nes sustiprinta mokymosi politika reguliuoja bendrą AI elgesį. Jei automobilis be vairuotojo neteisingai klasifikuoja savo kameros įvestį, jis gali grįžti prie kitų jutiklių, pavyzdžiui. Tačiau sabotuokite automobilio valdymo sistemą, kurią valdo sustiprinimo mokymosi algoritmas, ir tai gali sukelti nelaimę. Jei politika būtų įdiegta neišsprendžiant šių problemų, tai gali būti labai rimta, sako Gleave. Automobiliai be vairuotojo gali susigadinti, jei susiduria su rankomis mojuojančiu pėsčiuoju.
Gleave'as ir jo kolegos naudojo sustiprinimo mokymąsi, norėdami išmokyti lazdų figūrėlių botus žaisti keletą dviejų žaidėjų žaidimų, įskaitant kamuolio spardymą į vartus, lenktynes per liniją ir sumo imtynes. Botai žinojo savo ir priešininkų galūnių padėtį ir judėjimą.
Adamas Glyvas
Tada jie išmokė antrąjį robotų rinkinį, kad surastų būdus, kaip išnaudoti pirmąjį, o ši antroji grupė greitai atrado priešišką politiką. Komanda nustatė, kad priešininkai išmoko patikimai įveikti savo aukas po treniruotės mažiau nei 3% laiko, kai aukos pirmiausia išmoko žaisti žaidimus.
Priešininkai išmoko laimėti ne tapdami geresniais žaidėjais, o atlikdami veiksmus, kurie sulaužė jų oponentų politiką. Futbolo žaidime ir bėgimo žaidime priešas kartais net neatsistoja. Dėl to auka griūva į susiraukšlėjusią krūvą arba sukasi ratu. Be to, aukos iš tikrųjų pasirodė daug geriau, kai buvo užsidengusios kaukes ir visiškai nematė savo priešo.
Tyrimas, kuris bus pristatytas Tarptautinėje mokymosi reprezentacijų konferencijoje Adis Abeboje, Etiopijoje, balandžio mėn., rodo, kad politika, kuri atrodo tvirta, gali paslėpti rimtų trūkumų. Mokydamiesi giliai sustiprindami, mes iš tikrųjų nepakankamai visapusiškai vertiname politiką, sako Gleave'as. Tarkime, prižiūrimas mokymosi modelis, išmokytas klasifikuoti vaizdus, yra išbandomas naudojant kitą duomenų rinkinį nei tas, kuris buvo apmokytas, siekiant užtikrinti, kad jis neįsiminė tam tikros vaizdų grupės. Tačiau naudojant sustiprintą mokymąsi, modeliai paprastai mokomi ir išbandomi toje pačioje aplinkoje. Tai reiškia, kad niekada negalite būti tikri, kaip gerai modelis susidoros su naujomis situacijomis.
Geros naujienos yra tai, kad priešišką politiką gali būti lengviau apsiginti nei nuo kitų priešiškų išpuolių. Kai Gleave'as tiksliai sureguliavo aukas, kad atsižvelgtų į keistą jų priešų elgesį, priešai buvo priversti išbandyti daugiau pažįstamų triukų, pavyzdžiui, parklupdyti savo priešininkus. Tai vis dar nešvarus žaidimas, bet neišnaudoja sistemos trikdžių. Juk žmonės žaidėjai tai daro nuolat.