211service.com
Kaip piktavališkas mašinų mokymasis gali sužlugdyti AI
Jeremy Portje
Dirbtinis intelektas nieko nekeis, jei įsilaužėliai gali su juo susimaišyti.
Tai yra įspėjimas Aušros daina , UC Berkeley profesorius, kurio specializacija yra dirbtinio intelekto ir mašininio mokymosi saugumo rizikos tyrimai.
Kalbėdamas EmTech Digital, renginyje San Franciske, kurį rengė MIT Technology Review, Song perspėjo, kad nauji mašininio mokymosi sistemų zondavimo ir manipuliavimo metodai, žinomi kaip priešingi mašininio mokymosi metodai, gali sukelti didelių problemų visiems, norintiems panaudoti AI galia versle.
Song sakė, kad priešiškas mašinų mokymasis gali būti naudojamas atakuoti beveik bet kurią sistemą, sukurtą remiantis šia technologija.
Ji sakė auditorijai, tai didelė problema. Turime susiburti, kad tai ištaisytume.
Priešpriešinis mašininis mokymasis apima eksperimentinį įvesties įvedimą į algoritmą, kad būtų atskleista informacija, pagal kurią jis buvo išmokytas, arba įvesties iškraipymas taip, kad sistema netinkamai elgiasi. Pavyzdžiui, į kompiuterinio matymo algoritmą įvedus daug vaizdų, galima pakeisti jo veikimą ir užtikrinti tam tikros rūšies išvestis, įskaitant neteisingas.
Song pristatė kelis priešiško mokymosi apgaulės pavyzdžius, kuriuos ištyrė jos tyrimų grupė.
Vienas projektas, atliktas bendradarbiaujant su Google, apėmė mašininio mokymosi algoritmų, išmokytų generuoti automatinius atsakymus iš el. pašto pranešimų (šiuo atveju Enron el. pašto duomenų rinkinys ). Pastangos parodė, kad sukūrus tinkamus pranešimus, mašinos modelis gali išspjauti slaptus duomenis, pvz., kredito kortelių numerius. „Google“ pasinaudojo šiomis išvadomis, kad nebūtų išnaudota „Smart Compose“ – įrankis, automatiškai generuojantis tekstą „Gmail“.
Kitas projektas buvo susijęs su kelio ženklų modifikavimu keliais nepavojingai atrodančiais lipdukais, siekiant apgauti daugelyje transporto priemonių naudojamas kompiuterinio matymo sistemas. Demonstracinėje vaizdo įraše Songas parodė, kaip automobilis gali būti apgautas ir galvoja, kad „Stop“ ženklas iš tikrųjų sako, kad leistinas greitis yra 45 mylios per valandą. Tai gali būti didžiulė problema automatizuotai vairavimo sistemai, kuri remiasi tokia informacija.
Konkurencinis mašinų mokymasis yra sritis, kuri vis labiau domina mašininio mokymosi tyrėjus. Per pastaruosius porą metų kitos tyrimų grupės parodė, kaip internetines mašininio mokymosi API galima ištirti ir išnaudoti, siekiant sugalvoti būdus, kaip jas apgauti arba atskleisti neskelbtiną informaciją.
Nenuostabu, kad priešiškas mašinų mokymasis taip pat labai domina gynybos bendruomenę. Didėjant karinių sistemų skaičiui, įskaitant jutiklių ir ginklų sistemas, naudojančių mašininį mokymąsi, yra didžiulis potencialas, kad šie metodai būtų naudojami tiek gynybai, tiek puolimui.
Šiais metais Pentagono tyrimų padalinys DARPA pradėjo didelį projektą, pavadintą „Garantuojant AI atsparumą apgaulei“ (GARD), kurio tikslas – tirti priešišką mašinų mokymąsi. Hava Siegelmanas , GARD programos direktorius, neseniai MIT Technology Review sakė, kad šio projekto tikslas buvo sukurti dirbtinio intelekto modelius, kurie būtų patvarūs prieš daugybę priešiškų išpuolių, o ne tiesiog galėtų apsiginti nuo konkrečių.