211service.com
„Facebook“ nori patobulinti dirbtinį intelektą, prašydamas žmonių jį nutraukti
Yatheesh Gowda / Pixabay
Sprogią AI sėkmę per pastarąjį dešimtmetį paprastai lemia daug duomenų ir daug skaičiavimo galių. Tačiau gairės taip pat vaidina lemiamą vaidmenį skatinant pažangą – bandymai, su kuriais tyrėjai gali palyginti savo AI, kad pamatytų, koks jis pažangus. Pavyzdžiui, „ImageNet“, viešųjų duomenų rinkinys, sudarytas iš 14 milijonų vaizdų, nustato vaizdų atpažinimo tikslą. MNIST padarė tą patį su rašysenos atpažinimu ir GLUE (bendrojo kalbos supratimo įvertinimu) natūralios kalbos apdorojimui, todėl įvyko proveržis kalbų modeliai, tokie kaip GPT-3 .
Fiksuotas tikslas greitai aplenkiamas. „ImageNet“ atnaujinamas, o GLUE pakeistas „SuperGLUE“ – sunkesnių kalbinių užduočių rinkiniu. Vis dėlto anksčiau ar vėliau mokslininkai praneš, kad jų dirbtinis intelektas pasiekė viršžmogišką lygį, pralenkdamas žmones šiame ar kitame iššūkyje. Ir tai yra problema, jei norime, kad gairės toliau skatintų pažangą.
Taigi „Facebook“ išleidžia naujo tipo testą, kuris supriešina AI su žmonėmis, kurie daro viską, kad juos sukluptų. Skambino Dynabench , testas bus toks sunkus, kaip žmonės nuspręs jį atlikti.
Palyginimai gali būti labai klaidinantys, sako Douwe Kiela iš „Facebook AI Research“, vadovavusio įrankio komandai. Per daug dėmesio skiriant etalonams gali tekti pamiršti platesnius tikslus. Testas gali tapti užduotimi.
Jis sako, kad jūs gaunate sistemą, kuri yra geresnė atliekant bandymą nei žmonės, bet ne geriau atliekant bendrą užduotį. Tai labai apgaulinga, nes atrodo, kad esame daug toliau, nei esame iš tikrųjų.
Kiela mano, kad šiuo metu tai yra ypatinga NLP problema. Kalbos modelis, pvz., GPT-3, atrodo protingas, nes puikiai mėgdžioja kalbą. Tačiau sunku pasakyti, kiek šios sistemos iš tikrųjų supranta.
Pagalvokite apie bandymą išmatuoti žmogaus intelektą, sako jis. Galite duoti žmonėms IQ testus, bet tai nepasakys, ar jie tikrai supranta dalyką. Norėdami tai padaryti, turite su jais pasikalbėti, užduoti klausimus.
„Dynabench“ daro kažką panašaus, naudodamas žmones AI tardyti. Šiandien paskelbta internete, ji kviečia žmones apsilankyti svetainėje ir apklausti modelius, kurie yra už jos ribų. Pavyzdžiui, galite suteikti kalbos modeliui Vikipedijos puslapį, tada užduoti jam klausimus, įvertindami atsakymus.
Kai kuriais atžvilgiais idėja yra panaši į tai, kaip žmonės jau žaidžia su GPT-3, išbando jo ribas, arba į tai, kaip pokalbių robotai vertinami Loebnerio prizui gauti – konkurse, kuriame robotai bando įveikti kaip žmonės. Tačiau naudojant „Dynabench“, bandymų metu išryškėję gedimai bus automatiškai grąžinami į būsimus modelius, todėl jie visą laiką bus geresni.
Kol kas „Dynabench“ daugiausia dėmesio skirs kalbų modeliams, nes jie yra vienas iš paprasčiausių dirbtinio intelekto rūšių, su kuriais žmonėms gali bendrauti. Visi kalba viena kalba, sako Kiela. Jums nereikia jokių tikrų žinių, kaip sugadinti šiuos modelius.
Tačiau šis metodas turėtų būti tinkamas ir kitų tipų neuroniniams tinklams, pvz., kalbos ar vaizdo atpažinimo sistemoms. Jums tereikia būdo, kad žmonės galėtų įkelti savo vaizdus arba nupiešti daiktus, kad galėtų tai išbandyti, sako Kiela: ilgalaikė vizija yra atidaryti jį, kad kiekvienas galėtų sukurti savo modelį ir pradėti rinkti savo duomenis.
Jis priduria, kad norime įtikinti AI bendruomenę, kad yra geresnis būdas įvertinti pažangą. Tikimasi, kad tai leis greičiau pažangą ir geriau suprasti, kodėl mašininio mokymosi modeliai vis dar žlunga.