Paaiškinta OpenAI grožinės literatūros rašymo, netikras naujienas skleidžiančio DI technologija

Žodžių burbulai, rodantys mokslinės fantastikos istorijos pradžią, ir kompiuteris, tęsiantis pasakojimą Ponia Tech

Praėjusį ketvirtadienį (vasario 14 d.) ne pelno siekianti tyrimų įmonė OpenAI paskelbė a naujas kalbos modelis galintis sukurti įtikinamų prozos ištraukų. Taigi įtikinamas Tiesą sakant, mokslininkai susilaikė nuo atvirojo kodo šaltinio, tikėdamiesi sustabdyti jo galimą ginklų panaudojimą kaip masinės netikrų naujienų kūrimo priemonę.

„OpenAI“ darbuotojas išspausdino šį AI parašytą pavyzdį ir įdėjo į šiukšliadėžę: https://t.co/PT8CMSU2AR pic.twitter.com/PuXEzxL7Xd

– Gregas Brockmanas (@gdb) 2019 m. vasario 14 d

Nors įspūdingi rezultatai yra didžiulis šuolis už tai, ką pasiekė esami kalbos modeliai, naudojama technika nėra visiškai nauja. Vietoj to, proveržį pirmiausia lėmė tai, kad algoritmui buvo suteikta vis daugiau mokymo duomenų – tai triukas, kuris taip pat buvo atsakingas už daugumą kitų pastarojo meto pažangos mokant dirbtinio intelekto skaityti ir rašyti. Tai savotiškai stebina žmones tuo, ką galite padaryti su [...] daugiau duomenų ir didesnių modelių, sako Percy Liang, Stanfordo kompiuterių mokslų profesorius.

Modelio sukurtos teksto ištraukos yra pakankamai geros, kad jas būtų galima apsimesti kaip žmogaus parašytu dalyku. Tačiau šio gebėjimo nereikėtų painioti su tikru kalbos supratimu – galutiniu AI poskyrio, žinomo kaip natūralios kalbos apdorojimas (NLP), tikslas. (Kompiuteriniame regėjime yra analogas: algoritmas gali susintetinti labai tikroviškus vaizdus be jokio tikro vizualinio supratimo.) Tiesą sakant, pasiekti, kad mašinos pasiektų tokį supratimo lygį, yra užduotis, kurios NLP tyrėjams iš esmės nepavyko. Tam tikslui pasiekti gali prireikti metų, net dešimtmečių, spėja Liangas, ir greičiausiai tai apima dar neegzistuojančius metodus.

Keturios skirtingos kalbos filosofijos šiuo metu skatina NLP metodų kūrimą. Pradėkime nuo to, kurį naudoja OpenAI.

#1. Paskirstymo semantika

Kalbos filosofija. Žodžiai įgyja prasmę iš to, kaip jie vartojami. Pavyzdžiui, žodžiai katė ir šuo yra susiję pagal reikšmę, nes vartojami daugiau ar mažiau vienodai. Galite šerti ir glostyti katę, o šerti ir glostyti šunį. Tačiau jūs negalite šerti ir glostyti apelsino.

Susijusi istorija

Susijusi istorija Šis algoritmas, aprūpintas milijardais žodžių, sukuria įtikinamus straipsnius ir parodo, kaip dirbtinis intelektas gali būti naudojamas masiniam žmonių mulkinimui.

Kaip tai verčiama į NLP. Didelė atsakomybė už tai buvo algoritmai, pagrįsti paskirstymo semantika naujausi NLP proveržiai . Jie naudoja mašininį mokymąsi tekstui apdoroti, rasdami modelius iš esmės skaičiuodami, kaip dažnai ir kaip glaudžiai vartojami vienas kito žodžiai. Gauti modeliai gali naudoti tuos modelius užbaigtiems sakiniams ar pastraipoms kurti ir naudoti tokius dalykus kaip automatinis užbaigimas ar kitos nuspėjamosios teksto sistemos. Pastaraisiais metais kai kurie tyrėjai taip pat pradėjo eksperimentuoti su atsitiktinių simbolių sekų, o ne žodžių pasiskirstymu, todėl modeliai gali lanksčiau tvarkyti akronimus, skyrybos ženklus, slengą ir kitus dalykus, kurių nėra žodyne. kalbos, kuriose nėra aiškių žodžių ribų.

Argumentai 'už' Šie algoritmai yra lankstūs ir keičiamo dydžio, nes juos galima taikyti bet kokiame kontekste ir mokytis iš nepažymėtų duomenų.

Minusai. Jų sukurti modeliai iš tikrųjų nesupranta jų sukurtų sakinių. Dienos pabaigoje jie rašo prozą naudodami žodžių asociacijas.

#2. Rėmo semantika

Kalbos filosofija. Kalba naudojama veiksmams ir įvykiams apibūdinti, todėl sakinius galima suskirstyti į dalykus, veiksmažodžius ir modifikatorius – PSO , ką , kur , ir kada .

Kaip tai verčiama į NLP. Kadrų semantika pagrįsti algoritmai naudoja taisyklių rinkinį arba daugybę pažymėtų mokymo duomenų, kad išmoktų dekonstruoti sakinius. Dėl to jie ypač gerai analizuoja paprastas komandas, todėl naudingi pokalbių robotams ar balso padėjėjams. Pavyzdžiui, jei paprašytumėte Alexa surasti restoraną su keturiomis žvaigždutėmis rytojui, toks algoritmas išsiaiškintų, kaip įvykdyti sakinį, išskaidydamas jį į veiksmą (rasti), ką (keturių žvaigždučių restoranas) ir kada (rytoj).

Argumentai 'už' Skirtingai nei paskirstymo semantiniai algoritmai, kurie nesupranta teksto, iš kurio mokosi, kadrų semantiniai algoritmai gali atskirti skirtingas sakinio informacijos dalis. Jie gali būti naudojami atsakant į tokius klausimus kaip Kada vyksta šis renginys?

Minusai. Šie algoritmai gali apdoroti tik labai paprastus sakinius, todėl nesugeba užfiksuoti niuansų. Kadangi jiems reikia daug konkrečioms aplinkybėms pritaikytų mokymų, jie taip pat nėra lankstūs.

#3. Modelių teorinė semantika

Kalbos filosofija. Kalba naudojama žmonių žinioms perduoti.

Kaip tai verčiama į NLP. Modelių teorinė semantika remiasi sena AI idėja, kad visos žmogaus žinios gali būti užkoduotos arba modeliuojamas , loginių taisyklių serijoje. Taigi, jei žinote, kad paukščiai gali skristi, o ereliai yra paukščiai, galite daryti išvadą, kad ereliai gali skristi. Šis metodas nebėra madingas, nes mokslininkai netrukus suprato, kad kiekvienai taisyklei yra per daug išimčių (pavyzdžiui, pingvinai yra paukščiai, bet nemoka skristi). Tačiau modelių teorine semantika pagrįsti algoritmai vis dar yra naudingi norint išgauti informaciją iš žinių modelių, pavyzdžiui, duomenų bazių. Kaip ir rėmo semantikos algoritmai, jie analizuoja sakinius, dekonstruodami juos į dalis. Bet kadangi rėmo semantika šias dalis apibrėžia kaip PSO , ką , kur , ir kada , modelių teorinė semantika juos apibrėžia kaip žinias koduojančias logines taisykles. Pavyzdžiui, apsvarstykite klausimą Koks yra didžiausias miestas Europoje pagal gyventojų skaičių? Modelio teorinis algoritmas suskaidytų jį į savarankiškų užklausų seriją: Kas yra visi pasaulio miestai? Kurie iš jų yra Europoje? Kokie yra miestų gyventojai? Kuri populiacija didžiausia? Tada jis galėtų pereiti žinių modelį, kad gautumėte galutinį atsakymą.

Argumentai 'už' Šie algoritmai suteikia mašinoms galimybę atsakyti į sudėtingus ir niuansuotus klausimus.

Minusai. Jiems reikalingas žinių modelis, kuriam sukurti reikia daug laiko ir jie nėra lankstūs įvairiuose kontekstuose.

#4. Įžeminta semantika

Kalbos filosofija. Kalba prasmę įgyja iš išgyventos patirties. Kitaip tariant, žmonės kūrė kalbą siekdami savo tikslų, todėl ją reikia suprasti mūsų į tikslą orientuoto pasaulio kontekste.

Kaip tai verčiama į NLP. Tai yra naujausias metodas, kuris, Liango nuomone, turi daugiausiai žadančių. Ji bando imituoti, kaip žmonės per savo gyvenimą įgauna kalbą: mašina pradeda nuo tuščios būsenos ir pokalbio bei sąveikos metu išmoksta susieti žodžius su teisingomis reikšmėmis. Paprastame pavyzdyje, jei norėtumėte išmokyti kompiuterį perkelti objektus virtualiame pasaulyje, duotumėte jam komandą, pvz., Perkelkite raudoną bloką į kairę ir parodytumėte, ką turėjote omenyje. Laikui bėgant mašina išmoks suprasti ir vykdyti komandas be pagalbos.

Argumentai 'už' Teoriškai šie algoritmai turėtų būti labai lankstūs ir priartėti prie tikro kalbos supratimo.

Minusai. Mokymas užima daug laiko – ir ne visus žodžius ir frazes taip lengva iliustruoti, kaip Perkelkite raudoną bloką.

Liangas mano, kad artimiausiu metu NLP srityje bus padaryta daug didesnė pažanga naudojant esamus metodus, ypač tuos, kurie pagrįsti paskirstymo semantika. Tačiau ilgesniu laikotarpiu, jo nuomone, jie visi turi ribas. Jis sako, kad tikriausiai yra kokybinis atotrūkis tarp to, kaip žmonės supranta kalbą ir suvokia pasaulį, ir mūsų dabartinių modelių. Jis priduria, kad norint užpildyti šią spragą, tikriausiai prireiktų naujo mąstymo būdo ir daug daugiau laiko.

Tai iš pradžių pasirodė mūsų AI informaciniame biuletenyje „Algoritmas“. Jei norite, kad jis būtų pristatytas tiesiai į gautuosius, prisiregistruokite čia nemokamai.

paslėpti