Šios keistos, nerimą keliančios nuotraukos rodo, kad dirbtinis intelektas darosi vis protingesnis

Alleno AI institutas

Iš visų AI modelių pasaulyje, OpenAI GPT-3 labiausiai patraukė visuomenės vaizduotę. Jis gali išspjauti eilėraščius, apsakymus ir dainas su nedideliu raginimu, ir tai buvo parodyta kvailinti žmones galvoti, kad jo rezultatus parašė žmogus. Tačiau jo iškalba yra daugiau salono triukas, kurio negalima painioti su tikru intelektu.

Nepaisant to, mokslininkai mano, kad GPT-3 kūrimo metodai gali apimti pažangesnio AI paslaptį. GPT-3 išmoko naudotis didžiuliu tekstinių duomenų kiekiu. O kas, jei tie patys metodai būtų mokomi ir teksto, ir vaizdų?

Dabar nauji Alleno dirbtinio intelekto instituto AI2 tyrimai perkėlė šią idėją į kitą lygį. Tyrėjai sukūrė naują teksto ir vaizdo modelį, kitaip vadinamą vaizdinės kalbos modeliu, kuris gali generuoti vaizdus su antrašte. Vaizdai atrodo nerimą keliantys ir siaubingai – nieko panašaus į hiperrealistinius giluminius klastotes sukurta GAN - bet jie gali parodyti daug žadančią naują kryptį, kaip pasiekti labiau apibendrinamą intelektą ir galbūt protingesnius robotus.

Užpildyti lapą

GPT-3 yra modelių, vadinamų transformatoriais, grupės dalis, kuri pirmą kartą išpopuliarėjo su Google BERT sėkme. Prieš BERT kalbos modeliai buvo gana blogi. Jie turėjo pakankamai nuspėjamumo galios, kad būtų naudingi tokioms programoms kaip automatinis užbaigimas, bet jų nepakako, kad būtų sukurtas ilgas sakinys, atitinkantis gramatikos taisykles ir sveiką protą.

BERT tai pakeitė įvesdama naują techniką, vadinamą maskavimas . Tai reiškia, kad sakinyje reikia paslėpti skirtingus žodžius ir paprašyti modelio užpildyti tuščią vietą. Pavyzdžiui:

• Moteris nuėjo į ___ pasportuoti.
• Jie nusipirko ___ duonos sumuštiniams gaminti.

Idėja yra ta, kad jei modelis yra priverstas atlikti šiuos pratimus, dažnai milijonus kartų, jis pradeda atrasti modelius, kaip žodžiai sujungiami į sakinius, o sakiniai - į pastraipas. Dėl to jis gali geriau generuoti ir interpretuoti tekstą, priartindamas jį prie kalbos prasmės supratimo. („Google“ dabar naudoja BERT, kad savo paieškos sistemoje pateiktų tinkamesnius paieškos rezultatus .) Po to, kai maskavimas pasirodė esąs labai veiksmingas, mokslininkai bandė jį pritaikyti vaizdinės kalbos modeliams, paslėpdami žodžius antraštėse, pavyzdžiui:

____ stovi ant purvo žemės šalia medžio.

AI2

Šį kartą modelis galėjo pažvelgti į abu aplinkinius žodžius ir paveikslėlio turinį, kurį reikia užpildyti tuščią vietą. Per milijonus pakartojimų jis galėtų atrasti ne tik žodžių raštus, bet ir ryšius tarp žodžių ir kiekvieno vaizdo elementų.

Rezultatas yra modeliai, galintys susieti teksto aprašymus su vaizdinėmis nuorodomis – lygiai taip pat, kaip kūdikiai gali užmegzti ryšius tarp išmoktų žodžių ir dalykų, kuriuos mato. Pavyzdžiui, modeliai gali pažvelgti į toliau pateiktą nuotrauką ir parašyti protingą užrašą, pavyzdžiui, Moterys žaidžia lauko ritulį. Arba jie gali atsakyti į klausimus apie tai, pavyzdžiui, kokia yra kamuoliuko spalva? sujungdami žodį rutuliuką su apskritimu paveikslėlyje.

Vaizdinės kalbos modelis galėtų protingai pažymėti šią nuotrauką: „Moterys, žaidžiančios lauko ritulį“.

JOHN TORCASIO / UNSPLASH

Nuotrauka yra verta tūkstančio žodžių

Tačiau AI2 tyrėjai norėjo sužinoti, ar šie modeliai iš tikrųjų sukūrė konceptualų vizualinio pasaulio supratimą. Vaikas, išmokęs daikto žodį, gali ne tik išburti žodį, kad atpažintų objektą, bet ir nupiešti objektą, kai paraginamas žodis, net jei paties objekto nėra. Taigi tyrėjai paprašė modelių padaryti tą patį: generuoti vaizdus iš antraščių. Visi jie vietoj to išspjauna nesąmoningus pikselių raštus.

Tai paukštis! Tai lėktuvas! Ne, tai tiesiog AI sukurtas gobbledygook.

AI2

Tai prasminga: tekstą paversti vaizdais yra daug sunkiau nei atvirkščiai. Antraštė nenurodo visko, kas yra vaizde, sako Ani Kembhavi, vadovaujanti AI2 kompiuterinės vizijos komandai. Taigi modelis turi remtis sveiku protu apie pasaulį, kad užpildytų detales.

Pavyzdžiui, jei prašoma nupiešti žirafą, einančią keliu, ji taip pat turi daryti išvadą, kad kelias greičiausiai bus pilkas nei rožinis ir labiau tikėtina, kad jis bus šalia žolės lauko nei prie vandenyno. nors nė viena iš šios informacijos nėra aiški.

Taigi Kembhavi ir jo kolegos Jaemin Cho, Jiasen Lu ir Hannaneh Hajishirzi nusprendė išsiaiškinti, ar jie galėtų išmokyti modelį visų šių numanomų vaizdinių žinių, patobulindami savo požiūrį į maskavimą. Užuot mokę modelį tik nuspėti užmaskuotus žodžius atitinkamų nuotraukų antraštėse, jie taip pat išmokė jį numatyti užmaskuotus vaizdo taškus nuotraukose, remdamiesi atitinkamomis antraštėmis.

Galutiniai modelio sukurti vaizdai nėra visiškai tikroviški. Bet tai ne esmė. Juose yra tinkamos aukšto lygio vizualinės sąvokos – AI atitikmuo, kai vaikas piešia figūrėlę, vaizduojančią žmogų. (Modelį galite išbandyti patys čia .)

Vaizdų, sukurtų naudojant AI2 modelį, pavyzdžiai iš po jais esančių antraščių.

AI2

Vaizdinės kalbos modelių gebėjimas sukurti tokį vaizdą yra svarbus žingsnis į priekį atliekant DI tyrimus. Tai rodo, kad modelis iš tikrųjų gali pasiekti tam tikrą abstrakcijos lygį, pagrindinį pasaulio supratimo įgūdį.

Ilgainiui tai gali turėti įtakos robotikai. Kuo geriau robotas supras savo vizualinę aplinką ir naudos kalbą, kad galėtų apie ją bendrauti, tuo sudėtingesnes užduotis jis galės atlikti. Trumpuoju laikotarpiu tokio tipo vizualizacija taip pat galėtų padėti mokslininkams geriau suprasti, ko tiksliai mokosi juodosios dėžės AI modeliai, sako Hajishirzi.

Judant į priekį, komanda planuoja daugiau eksperimentuoti, kad pagerintų vaizdo generavimo kokybę ir praplėstų modelio vizualinį ir kalbinį žodyną, įtraukiant daugiau temų, objektų ir būdvardžių.

Vaizdo generavimas tikrai buvo trūkstamas galvosūkis, sako Lu. Tai įgalinę galime priversti modelį išmokti geriau reprezentuoti pasaulį.

paslėpti