Kaip galime apsisaugoti nuo kenkėjiško AI

Diagrama, kurioje pavaizduotas pandos vaizdas ir tam tikro triukšmo vaizdas, lygus pandos, klaidingai identifikuotos kaip gibonas, atvaizdui. Pandos nuotrauka: flickr.com / Gabriele Gherardi

Anksčiau palietėme priešpriešinių pavyzdžių sąvoką – mažų pakeitimų klasę, dėl kurių, įtraukus į gilaus mokymosi modelį, jis netinkamai elgiasi. Kovo mėnesį aptarėme UC Berkeley profesorės Dawn Song kalbą kasmetinėje EmTech Digital konferencijoje apie tai, kaip ji naudojo lipdukus, kad apgautų savarankiškai važiuojantį automobilį, kad jis manytų, kad stop ženklas yra 45 mylių per valandą ženklas, ir kaip ji naudojo pritaikytą ženklą. pranešimus, kad tekstinis modelis išspjautų slaptą informaciją, pvz., kredito kortelių numerius. Balandį panašiai kalbėjome apie tai, kaip baltos skrybėlės įsilaužėliai naudojo lipdukus, kad suklaidintų „Tesla Autopilot“ ir nukreiptų automobilį į priešpriešinį eismą.

Pastaraisiais metais, giluminio mokymosi sistemoms vis labiau plintant į mūsų gyvenimą, mokslininkai įrodė, kaip priešingi pavyzdžiai gali paveikti viską, nuo paprastų. vaizdų klasifikatoriai į vėžio diagnostikos sistemos , sukeliančių pasekmes nuo gerybinių iki pavojingų gyvybei. Tačiau nepaisant jų pavojaus, priešiškumo pavyzdžiai yra menkai suprantami. Ir mokslininkai nerimauja dėl to, kaip ar net ar galima išspręsti problemą.

KAM naujas popierius MIT dabar nurodo galimą kelią, kaip įveikti šį iššūkį. Tai leistų mums sukurti daug patikimesnius giluminio mokymosi modelius, kuriais būtų daug sunkiau manipuliuoti kenkėjiškais būdais. Norėdami suprasti jo reikšmę, pirmiausia apžvelkime priešpriešinių pavyzdžių pagrindus.

Kaip jau daug kartų minėjome, gilaus mokymosi galia kyla dėl puikaus gebėjimo atpažinti duomenų šablonus. Pamaitinkite neuroninį tinklą dešimtimis tūkstančių paženklintų gyvūnų nuotraukų ir sužinos, kurie raštai asocijuojasi su panda, o kurie – su beždžione. Tada jis gali naudoti tuos modelius, kad nustatytų naujus gyvūnų atvaizdus, ​​kurių dar niekada nematė.

Tačiau giliai besimokantys modeliai taip pat trapūs. Kadangi vaizdo atpažinimo sistema remiasi tik pikselių raštais, o ne gilesniu konceptualiu supratimu apie tai, ką mato, nesunku apgauti sistemą, kad ji pamatytų ką nors kita – tiesiog tinkamai trikdant šablonus. Štai klasikinis pavyzdys: pridėkite šiek tiek triukšmo prie pandos atvaizdo ir sistema beveik 100% patikimai klasifikuos ją kaip giboną. Čia triukšmas yra priešiškas puolimas.

Ianas Goodfellow ir kiti / OpenAI

Jau keletą metų mokslininkai stebėjo šį reiškinį, ypač kompiuterinio regėjimo sistemose, iš tikrųjų nežinodami, kaip atsikratyti tokių pažeidžiamumų. Tiesą sakant, praėjusią savaitę pagrindinėje AI tyrimų konferencijoje ICLR pateiktame dokumente buvo abejojama, ar priešiški išpuoliai yra neišvengiami . Atrodytų, kad ir kiek pandų vaizdų pateiksite vaizdų klasifikatoriui, visada atsiras kokių nors trikdžių, kuriuos galite sukurti, kad išjungtumėte sistemą.

Tačiau naujasis MIT dokumentas rodo, kad mes neteisingai galvojome apie priešiškas atakas. Užuot galvoję apie būdus, kaip sukaupti daugiau ir geresnių treniruočių duomenų, kuriuos galėtume pateikti mūsų sistemai, turėtume iš esmės permąstyti, kaip juos mokyti.

Tai parodė, nustatydama gana įdomią priešiškų pavyzdžių savybę, kuri padeda mums suprasti, kodėl jie tokie veiksmingi. Iš pažiūros atsitiktinis triukšmas ar lipdukai, sukeliantys klaidingą klasifikaciją, iš tikrųjų išnaudoja labai tikslius, nedidelius modelius, kuriuos vaizdo sistema išmoko stipriai susieti su konkrečiais objektais. Kitaip tariant, mašina nesielgia netinkamai, kai mato giboną ten, kur mes matome pandą. Iš tiesų, gibonų nuotraukose treniruočių metu daug dažniau matomas pikselių raštas, nepastebimas žmonėms.

Tyrėjai tai iliustravo atlikdami eksperimentą: jie sukūrė šunų vaizdų duomenų rinkinį, kuris buvo pakeistas mažais būdais, todėl standartinis vaizdų klasifikatorius galėtų juos klaidingai atpažinti kaip kates. Tada jie neteisingai pavadino vaizdus kaip kates ir panaudojo juos naujam neuroniniam tinklui išmokyti nuo nulio. Po treniruotės jie parodė neuroniniam tinklui tikrus kačių vaizdus ir teisingai identifikavo juos kaip kates.

Tai, ką mokslininkai pasiūlė, yra tai, kad kiekviename duomenų rinkinyje yra dviejų tipų koreliacijos: modeliai, kurie iš tikrųjų koreliuoja su duomenų reikšme, pvz., ūsai katės paveikslėlyje arba kailio spalvos pandos atvaizde, ir modeliai, kurie pasitaiko dresūros duomenyse, bet neapibendrina kituose kontekstuose. Pastarosios klaidinančios koreliacijos, kaip jas pavadinsime, yra tos, kurios išnaudojamos priešpriešiniuose išpuoliuose. Pavyzdžiui, aukščiau pateiktoje diagramoje ataka pasinaudoja pikselių modeliu, klaidingai koreliuojančiu su gibonais, palaidodama tuos nepastebimus pikselius pandos atvaizde. Atpažinimo sistema, išmokyta atpažinti klaidinantį modelį, tada jį paima ir daro prielaidą, kad žiūri į giboną.

Tai rodo, kad jei norime pašalinti priešiškų išpuolių riziką, turime pakeisti savo modelių rengimo būdą. Šiuo metu mes leidžiame neuroniniam tinklui pasirinkti koreliacijas, kurias jis nori naudoti objektams vaizde identifikuoti. Tačiau dėl to mes negalime kontroliuoti randamų koreliacijų ir to, ar jos tikros, ar klaidinančios. Jei vietoj to išmokytume savo modelius prisiminti tik tikrus modelius – tuos, kurie iš tikrųjų yra susieti su pikselių reikšme, – teoriškai būtų įmanoma sukurti gilaus mokymosi sistemas, kurių negalima tokiu būdu iškreipti ir pakenkti.

Kai tyrėjai išbandė šią idėją naudodami tik tikras koreliacijas savo modeliui parengti, tai iš tikrųjų sumažino modelio pažeidžiamumą: juo buvo sėkmingai manipuliuojama tik 50 % laiko, o modeliu, apmokytu remiantis tikromis ir klaidingomis koreliacijomis, buvo galima manipuliuoti 95 % laiko.

Kitaip tariant, atrodo, kad priešingi pavyzdžiai nėra neišvengiami. Tačiau mums reikia daugiau tyrimų, kad juos visiškai pašalintume.

Ši istorija iš pradžių pasirodė mūsų Webby nominuotame AI informaciniame biuletenyje „The Algorithm“. Jei norite, kad daugiau tokių istorijų būtų pristatyta tiesiai į gautuosius, prisiregistruokite čia. Tai nemokama.

paslėpti