Programinė įranga, pakeičianti žodžius, dabar gali apgauti AI už Alexa ir Siri

Kategorija: Dirbtinis intelektas Paskelbta vasario 07 d

Naujienos: Programinė įranga, vadinama TextFooler, gali apgauti natūralios kalbos apdorojimo (NLP) sistemas, kad nesuprastų teksto tiesiog pakeičiant tam tikrus žodžius sakinyje sinonimais. Atliekant bandymus, jis sugebėjo smarkiai sumažinti trijų naujausių NLP sistemų tikslumą. Pavyzdžiui, Google galingas BERT neuroninis tinklas buvo nuo penkių iki septynių blogesnis nustatant, ar atsiliepimai apie Yelp buvo teigiami ar neigiami.

Jie išbandė ataką prieš NLP sistemas, išmokytas atlikti tokias užduotis kaip naujienų temų nustatymas, netikrų naujienų aptikimas ir nuotaikų analizė. Visais atvejais AI tapo žymiai blogesnis .

Kaip tai veikia: MIT komandos sukurta programinė įranga sakinyje ieško žodžių, kurie yra svarbiausi NLP klasifikatoriui, ir pakeičia juos sinonimu, kuris žmogui atrodytų natūralus. Pavyzdžiui, sakinio pakeitimas Neįmanomai išgalvotose situacijose suvaidinti veikėjai yra visiškai atitrūkę nuo realybės į Neįmanomai sukurtomis aplinkybėmis suvaidinti veikėjai yra visiškai atitrūkę nuo tikrovės, neturi jokio skirtumo tam, kaip mes ją skaitome. Tačiau patobulinimai privertė AI interpretuoti sakinius visiškai kitaip.

Kodėl tai svarbu: Matėme daug tokių priešiškų išpuolių pavyzdžių, dažniausiai su vaizdo atpažinimo sistemomis, kai dėl nedidelių įvesties pakeitimų dirbtinis intelektas gali sukrėsti ir klaidingai klasifikuoti tai, ką mato. „TextFooler“ rodo, kad šis atakos stilius taip pat pažeidžia NLP, AI, esantį už virtualių asistentų, tokių kaip „Siri“, „Alexa“ ir „Google Home“, bei kitus kalbų klasifikatorius, tokius kaip šlamšto filtrai ir neapykantos kalbos detektoriai. Tyrėjai teigia, kad tokie įrankiai kaip TextFooler gali padėti padaryti NLP sistemas tvirtesnes, atskleisdamos jų trūkumus.