Tai gali lemti kitą didelį sveiko proto AI proveržį

Ponia Tech | Pexelis

Tikriausiai girdėjote mus tai sakant daugybę kartų: GPT-3, milžiniškas dirbtinis intelektas, skleidžiantis neįtikėtinai į žmones panašią kalbą, yra stebuklas. Taip pat didžiąja dalimi Žiūrėti . Galite pasakyti naudodami paprastą gudrybę: paklauskite avies spalva , ir bus pasiūlyti juoda taip dažnai kaip balta – atspindi frazę juoda avis mūsų kalboje.

Tai yra kalbos modelių problema: kadangi jie mokomi tik teksto, jiems trūksta sveiko proto. Dabar mokslininkai iš Šiaurės Karolinos universiteto Chapel Hill sukūrė naują metodą, kaip tai pakeisti. Jie tai vadina vokenizavimu ir suteikia kalbiniams modeliams, tokiems kaip GPT-3, galimybę matyti.

Tai ne pirmas kartas, kai žmonės siekia derinti kalbos modelius su kompiuterine vizija. Tai iš tikrųjų sparčiai auganti DI tyrimų sritis. Idėja ta, kad abiejų tipų dirbtinis intelektas turi skirtingas stipriąsias puses. Kalbos modeliai, tokie kaip GPT-3, yra mokomi be priežiūros, todėl nereikia rankinio duomenų ženklinimo, todėl juos lengva keisti. Vaizdų modeliai, tokie kaip objektų atpažinimo sistemos, priešingai, mokosi tiesiogiai iš tikrovės. Kitaip tariant, jų supratimas nesiremia tokia pasaulio abstrakcija, kurią suteikia tekstas. Iš avių nuotraukų jie mato, kad jos iš tikrųjų yra baltos.

Susijusi istorija

Šios keistos, nerimą keliančios nuotraukos rodo, kad dirbtinis intelektas darosi vis protingesnis Modeliai mokosi generuoti vaizdus iš antraštės – tai ženklas, kad jie vis geriau supranta mūsų pasaulį.

Dirbtinio intelekto modeliai, galintys analizuoti kalbą ir vaizdinę įvestį, taip pat yra labai praktiški. Pavyzdžiui, jei norime sukurti robotų padėjėjus, jiems reikia kompiuterinės vizijos, kad galėtų naršyti pasaulyje, ir kalbos, kad galėtų apie tai pranešti žmonėms.

Tačiau sujungti abu AI tipus lengviau pasakyti nei padaryti. Tai nėra taip paprasta, kaip sujungti esamą kalbos modelį su esama objektų atpažinimo sistema. Tam reikia išmokyti naują modelį nuo nulio naudojant duomenų rinkinį, kuriame yra tekstas ir vaizdai, kitaip vadinami vaizdo kalbos duomenų rinkiniu.

Dažniausias būdas tvarkyti tokį duomenų rinkinį yra sudaryti vaizdų rinkinį su aprašomomis antraštėmis. Pavyzdžiui, toks paveikslėlis, kaip toliau pateiktas, būtų su užrašu „Oranžinė katė sėdi lagamine, pasiruošusi sukrauti“. Tai skiriasi nuo įprastų vaizdo duomenų rinkinių, kurie tą patį paveikslėlį ženklintų tik vienu daiktavardžiu, pvz., katė. Todėl vaizdinės kalbos duomenų rinkinys gali išmokyti dirbtinio intelekto modelį ne tik kaip atpažinti objektus, bet ir kaip jie yra susiję ir veikia vienas kitą, naudojant veiksmažodžius ir prielinksnius.

Tačiau matote, kodėl šis duomenų tvarkymo procesas užtruks amžinai. Štai kodėl esami vaizdinės kalbos duomenų rinkiniai yra tokie menki. Populiariame tik teksto duomenų rinkinyje, pvz., angliška Vikipedija (kuriame iš tikrųjų yra beveik visi Vikipedijos anglų kalbos įrašai), gali būti beveik 3 milijardai žodžių. Vaizdinės kalbos duomenų rinkinyje, pavyzdžiui, „Microsoft Common Objects in Context“ arba „MS COCO“, yra tik 7 mln. Paprasčiausiai nepakanka duomenų, kad dirbtinio intelekto modelį būtų galima išmokyti ką nors naudingo.

Vokenizavimas išsprendžia šią problemą, naudojant neprižiūrimus mokymosi metodus, kad mažas MS COCO duomenų kiekis būtų pritaikytas angliškos Vikipedijos dydžiui. Gautas vaizdinės kalbos modelis lenkia moderniausius modelius atliekant kai kuriuos sudėtingiausius testus, šiandien naudojamus AI kalbos supratimui įvertinti.

Neįveiksite šių testų pažangos, tik šiek tiek pabandydami, sako Thomas Wolf, natūralios kalbos apdorojimo startuolio Hugging Face įkūrėjas ir vyriausiasis mokslo pareigūnas, kuris tyrime nedalyvavo. Tai nėra žaislų testas. Štai kodėl tai yra labai įdomu.

Nuo žetonų iki vokenų

Pirmiausia išsiaiškinkime keletą terminų. Kas po velnių yra vokenas?

Dirbtinio intelekto kalboje žodžiai, naudojami kalbos modeliams mokyti, yra žinomi kaip žetonai. Taigi UNC mokslininkai nusprendė su kiekvienu žetonu susietą vaizdą jų vaizdinės kalbos modelyje pavadinti vokenu. Vokenizatorius yra tai, ką jie vadina algoritmu, kuris suranda kiekvieno žetono vokenus ir vokenizacija tai jie vadina visą procesą.

To esmė yra ne tik parodyti, kaip dirbtinio intelekto tyrinėtojai mėgsta kurti žodžius. (Jie tikrai tai daro.) Tai taip pat padeda sugriauti pagrindinę vokenizacijos idėją. Užuot pradėję nuo vaizdo duomenų rinkinio ir rankiniu būdu rašydami sakinius, kurie būtų naudojami kaip antraštės (labai lėtas procesas), UNC tyrėjai pradėjo nuo kalbos duomenų rinkinio ir naudojo neprižiūrimą mokymąsi, kad kiekvienas žodis atitiktų atitinkamą vaizdą (daugiau apie tai vėliau). Tai labai keičiamas procesas.

Neprižiūrimas mokymosi metodas čia galiausiai yra popieriaus indėlis. Kaip iš tikrųjų rasti kiekvienam žodžiui tinkamą vaizdą?

Vokenizacija

Trumpam grįžkime prie GPT-3. GPT-3 yra kalbos modelių, vadinamų transformatoriais, šeimos dalis, kuri buvo didelis proveržis taikant neprižiūrimą mokymąsi natūralios kalbos apdorojime, kai pirmasis modelis buvo pristatytas 2017 m. Transformatoriai mokosi žmonių kalbos modelių stebėdami, kaip keičiasi žodžiai. naudojamas kontekste ir pagal tą kontekstą sukuriamas matematinis kiekvieno žodžio vaizdas, žinomas kaip žodžio įterpimas. Pavyzdžiui, žodžio katė įterpimas gali parodyti, kad jis dažnai vartojamas aplink žodžius miau ir oranžinė, bet rečiau – aplink žodžius bark arba blue.

Taip transformatoriai apytiksliai nustato žodžių reikšmes ir kaip GPT-3 gali rašyti tokius į žmogų panašius sakinius. Ji iš dalies remiasi šiais įterpimais, kad pasakytų, kaip sujungti žodžius į sakinius ir sakinius į pastraipas.

Yra lygiagreti technika, kurią taip pat galima naudoti vaizdams. Užuot nuskaitęs tekstą, ieškodamas žodžių vartojimo modelių, jis nuskaito vaizdus ir ieško vaizdinių modelių. Jame pateikiamos lentelės, kaip dažnai, tarkime, katė pasirodo lovoje, o ne ant medžio, ir sukuriama katė, įtraukiama į šią kontekstinę informaciją.

UNC mokslininkai suprato, kad jie turėtų naudoti abu įterpimo būdus MS COCO. Jie pavertė vaizdus į vaizdinius įterpimus, o antraštes - į žodžių įterpimus. Šie įterpimai tikrai puiku yra tai, kad juos galima pavaizduoti trimatėje erdvėje ir tiesiogine prasme matyti, kaip jie yra susiję vienas su kitu. Vaizdiniai įterpimai, glaudžiai susiję su žodžių įterpimais, diagramoje bus rodomi arčiau. Kitaip tariant, vizualinis katės įterpimas turėtų (teoriškai) sutapti su tekstiniu katės įterpimu. Gana kietas.

Jūs galite pamatyti, kur tai vyksta. Kai visi įterpimai yra pavaizduoti ir palyginti bei susieti vienas su kitu, lengva pradėti derinti vaizdus (vokens) su žodžiais (žetonais). Ir atminkite, kad vaizdai ir žodžiai suderinami pagal jų įterpimą, jie taip pat suderinami pagal kontekstą. Tai naudinga, kai vienas žodis gali turėti visiškai skirtingas reikšmes. Ši technika sėkmingai tai išsprendžia, kiekvienam žodžio atvejui surandant skirtingus vokenus.

Pavyzdžiui:

Štai ji kontaktas.

Kai kurios katės myli žmogų kontaktas .

Žetonas yra žodis kontaktas abiejuose pavyzdžiuose. Tačiau pirmame sakinyje kontekstas rodo, kad žodis nurodo kontaktinę informaciją, todėl voken yra kontakto piktograma. Antrame sakinyje kontekstas rodo, kad žodis reiškia prisilietimą, todėl vokenas rodo glostomą katę.

Tyrėjai naudojo vaizdinius ir žodžių įterpimus, kuriuos sukūrė su MS COCO, kad išmokytų savo vokenizer algoritmą. Apmokytas vokenizatorius sugebėjo rasti žetonų vokenus anglų Vikipedijoje. Tai nėra tobula. Algoritmas aptiko tik maždaug 40% žetonų. Tačiau tai vis tiek sudaro 40 % duomenų rinkinio, kuriame yra beveik 3 milijardai žodžių.

Naudodami šį naują duomenų rinkinį, mokslininkai perkvalifikavo kalbos modelį, žinomą kaip BERT – atvirojo kodo transformatorių, kurį sukūrė „Google“, kuris buvo senesnis nei GPT-3. Tada jie išbandė naują ir patobulintą BERT atlikdami šešis skirtingus kalbos supratimo testus, įskaitant SQuAD, Stanfordo klausimų atsakymų duomenų rinkinį, kuriame modeliai prašomi atsakyti į skaitymo supratimo klausimus apie straipsnių seriją, ir SWAG, kuris bando sugadinti modelius su subtilybėmis. anglų kalba, kad patikrintų, ar tai tik mėgdžiojimas ir įsimenimas. Patobulintas BERT visuose pasirodė geriau, o Vilkas sako, kad nėra ko čiaudėti.

Mokslininkai, doktorantas Hao Tanas ir jo patarėjas Mohitas Bansalas, po dviejų savaičių pristatys savo naują vokenizacijos techniką natūralios kalbos apdorojimo empirinių metodų konferencijoje. Nors darbas dar anksti, Wolf mano, kad jų darbas yra svarbus konceptualus proveržis, padedantis be priežiūros mokytis dirbti su vaizdinės kalbos modeliais. Tai buvo panaši kibirkštis, kuri tais laikais padėjo dramatiškai patobulinti natūralios kalbos apdorojimą.

NLP srityje šis didžiulis proveržis įvyko daugiau nei prieš dvejus metus, o tada staiga NLP tapo sritimi, kurioje vyksta daug dalykų, ir ji tarsi pralenkė visas kitas AI sritis, sako jis. Tačiau mes susiduriame su problema, kaip susieti tekstą su kitais dalykais. Taigi tai panašu į šį robotą, kuris gali tik kalbėti, bet nemato ir negirdi.

Šis dokumentas yra vienas iš pavyzdžių, kai jiems pavyko jį prijungti prie kito modalumo ir jis veikia geriau , jis sako. Galite įsivaizduoti, kad galbūt kai kurie iš šių metodų gali būti naudojami pakartotinai, kai norite panaudoti šį tikrai galingą kalbos modelį robote. Galbūt tą patį naudojate roboto pojūčiams sujungti su tekstu.

paslėpti