Baidu turi naują triuką, kaip išmokyti dirbtinio intelekto kalbos prasmės

Raidės rašmenys MS Tech / Šaltinis: Unsplash

Anksčiau šį mėnesį Kinijos technologijų milžinė tyliai nuvertė „Microsoft“ ir „Google“ vykstančioje AI konkurencijoje. Bendrovė buvo „Baidu“ – artimiausias „Google“ atitikmuo Kinijoje, o konkursas buvo „General Language Understanding Evaluation“, kitaip žinomas kaip GLUE.

GLUE yra plačiai pripažintas etalonas, leidžiantis nustatyti, kaip dirbtinio intelekto sistema supranta žmogaus kalbą. Jį sudaro devyni skirtingi testai, skirti tokiems dalykams kaip žmonių ir organizacijų vardų atrinkimas sakinyje ir įvardijimas, į ką panašus įvardis reiškia, kai yra keli galimi pirmtakai. Todėl kalbos modelis, kurio GLUE įvertinimas yra aukštas, gali atlikti įvairias skaitymo supratimo užduotis. Iš viso 100 balų gauna vidutinis žmogus apie 87 taškus . „Baidu“ dabar yra pirmoji komanda, pranokusi 90 savo modeliu ERNIE.

The vieša GLUE lyderių lentelė nuolat keičiasi, ir greičiausiai kita komanda greitai viršys Baidu. Tačiau „Baidu“ pasiekimas pastebimas tuo, kad jis iliustruoja, kokią naudą AI tyrimams teikia įvairūs autoriai. Baidu tyrinėtojai turėjo sukurti techniką, skirtą specialiai kinų kalbai, kad sukurtų ERNIE (kuris reiškia patobulintą atstovavimą per žinių integravimą). Tačiau taip atsitinka, kad ta pati technika leidžia geriau suprasti ir anglų kalbą.

ERNIE pirmtakas

Norėdami įvertinti ERNIE, apsvarstykite modelį, kurio jis įkvėpė: Google BERT . (Taip, jie abu pavadinti sezamo gatvė personažai .)

2018 m. pabaigoje prieš sukuriant BERT (transformatorių dvikrypčių kodavimo sistemų atstovus), natūralios kalbos modeliai nebuvo tokie puikūs. Jie gerai nuspėjo kitą sakinio žodį, todėl puikiai tiko tokioms programoms kaip automatinis užbaigimas, bet negalėjo išlaikyti nė vienos minties net mažoje ištraukoje. Taip buvo todėl, kad jie nesuprato prasmės, pvz., žodžio, į kurį jis gali reikšti.

Tačiau BERT tai pakeitė. Ankstesni modeliai išmoko nuspėti ir interpretuoti žodžio reikšmę, atsižvelgdami tik į kontekstą, kuris pasirodė prieš jį arba po jo – niekada abu vienu metu. Jie buvo, kitaip tariant, vienakryptis .

Priešingai, BERT atsižvelgia į ankstesnį kontekstą ir po žodžio iš karto, padarydamas jį dvikryptis . Tai daroma naudojant techniką, žinomą kaip maskavimas. Tam tikroje teksto ištraukoje BERT atsitiktinai paslepia 15% žodžių ir bando juos nuspėti iš likusių. Tai leidžia atlikti tikslesnes prognozes, nes turi dvigubai daugiau užuominų. Sakinyje Vyras nuėjo į ___ pirkti pieno, pavyzdžiui, sakinio pradžioje ir pabaigoje pateikiama užuominų apie trūkstamą žodį. ___ yra vieta, į kurią galite patekti, ir vieta, kur galite nusipirkti pieno.

Maskavimo naudojimas yra viena iš pagrindinių naujovių dramatiški patobulinimai atliekant užduotis natūralia kalba ir yra dalis priežasčių, kodėl tokie modeliai kaip OpenAI liūdnai pagarsėjęs GPT-2 gali rašyti itin įtikinamą prozą nenukrypdami nuo pagrindinės tezės.

Iš anglų kalbos į kinų ir vėl atgal

Kai Baidu tyrinėtojai pradėjo kurti savo kalbos modelį, jie norėjo remtis maskavimo technika. Tačiau jie suprato, kad reikia jį pakoreguoti, kad atitiktų kinų kalbą.

Anglų kalboje žodis naudojamas kaip semantinis vienetas – tai reiškia, kad visiškai iš konteksto ištrauktas žodis vis dar turi prasmę. To negalima pasakyti apie kinų kalbos simbolius. Nors tam tikri simboliai turi įgimtą reikšmę, pavyzdžiui, ugnis (火, huŏ ), vanduo (vanduo, šuĭ ), arba mediena (木, aklas ), dauguma to nedaro, kol nesusijungia su kitais. Veikėjas 灵 ( lyng ), pavyzdžiui, gali reikšti protingas (机灵, jilíng ) arba siela (siela, línghún ), priklausomai nuo jo atitikimo. Ir tinkamo daiktavardžio, pvz., Bostono (波士顿, bōshìdùn ) arba JAV (JAV, maišytuvas ) nereiškia to paties, kai buvo atskirtas.

Taigi mokslininkai išmokė ERNIE sukurti naują maskavimo versiją, kuri slepia simbolių eilutes, o ne pavienius. Jie taip pat išmokė atskirti reikšmingas ir atsitiktines eilutes, kad galėtų atitinkamai užmaskuoti tinkamus simbolių derinius. Dėl to ERNIE geriau supranta, kaip žodžiai koduoja informaciją kinų kalba, ir daug tiksliau nuspėja trūkstamas dalis. Tai naudinga tokioms programoms kaip vertimas ir informacijos gavimas iš tekstinio dokumento.

Tyrėjai labai greitai išsiaiškino, kad šis metodas iš tikrųjų geriau veikia ir anglų kalba. Nors ne taip dažnai kaip kinų, anglų kalba taip pat turi žodžių eilutes, kurios išreiškia reikšmę, kuri skiriasi nuo jų dalių sumos. Tikrieji daiktavardžiai, pvz., Haris Poteris, ir posakiai, tokie kaip senojo bloko fragmentas, negali būti prasmingai išanalizuoti, atskiriant juos į atskirus žodžius.

Taigi dėl sakinio:

Haris Poteris yra fantastinių romanų serija, kurią parašė J. K. Rowling.

BERT gali tai užmaskuoti taip:

[kaukė] Poteris yra J. [kaukės] Rowling serijos [kaukė] fantastiniai romanai [kaukė].

Tačiau ERNIE užmaskuotų tai taip:

Haris Poteris yra [kaukė] [kaukė] [kaukė] fantastiniai [kaukės] [kaukės] [kaukės] romanai.

Taigi ERNIE išmoksta patikimesnių prognozių, pagrįstų reikšme, o ne statistiniais žodžių vartojimo modeliais.

Idėjų įvairovė

Naujausioje ERNIE versijoje taip pat naudojami keli kiti mokymo būdai. Jame atsižvelgiama į sakinių tvarką ir atstumus tarp jų, pavyzdžiui, norint suprasti loginę pastraipos eigą. Tačiau svarbiausia, kad jis naudoja metodą, vadinamą nuolatiniu mokymu, kuris leidžia treniruotis su naujais duomenimis ir naujomis užduotimis, nepamirštant tų, kurių išmoko anksčiau. Tai leidžia laikui bėgant vis geriau atlikti įvairias užduotis su minimaliu žmogaus įsikišimu.

„Baidu“ aktyviai naudoja ERNIE, kad suteiktų vartotojams tinkamesnius paieškos rezultatus, pašalintų pasikartojančias istorijas iš savo naujienų kanalo ir pagerintų savo AI asistento Xiao Du gebėjimą tiksliai reaguoti į užklausas. Jame taip pat aprašyta naujausia ERNIE architektūra popieriuje kuris bus pristatytas kitais metais vyksiančioje Dirbtinio intelekto pažangos asociacijos konferencijoje. Lygiai taip pat, kaip jų komanda sukūrė „Google“ darbą su BERT, mokslininkai tikisi, kad kiti taip pat turės naudos iš darbo su ERNIE.

Kai pirmą kartą pradėjome šį darbą, galvojome konkrečiai apie tam tikras kinų kalbos ypatybes, sako Hao Tianas, „Baidu Research“ vyriausiasis architektas. Tačiau greitai sužinojome, kad tai buvo taikoma ir toliau.

Jei norite, kad daugiau tokių istorijų būtų pristatyta tiesiai į jūsų pašto dėžutę, užsiprenumeruokite Webby nominuotą AI informacinį biuletenį The Algorithm. Tai nemokama.

paslėpti