„Nvidia“ ką tik palengvino išmanesnių pokalbių robotų ir paprastesnių netikrų naujienų kūrimą

Balso pagalbinio įrenginio vaizdas šalia garso bangų ponia Tech; originalus vaizdas: HARMON KARDON

Dirbtinis intelektas per pastarąjį dešimtmetį padarė įspūdingą pažangą, tačiau mašinos vis dar prastai supranta kalbą. Tiesiog pabandykite įtraukti Alexą į šiek tiek šmaikštų pokštą.

Kompiuterių lustus, naudojančius daugelį dirbtinio intelekto algoritmų, gaminanti bendrovė „Nvidia“ mano, kad tai netrukus pasikeis ir ketina pasinaudoti numatomu sprogimu.

Programinė įranga, kurią išleidžia lustų gamintojas, leidžia lengviau kurti AI programas savo aparatinėje įrangoje, kurios gali grakščiau naudoti kalbą. Naujasis kodas galėtų paspartinti naujų kalbos algoritmų kūrimą, o pokalbių robotai ir balso padėjėjai taptų greitesni ir išmanesni.

„Nvidia“ jau gamina populiariausius lustus, skirtus gilaus mokymosi AI modeliams, kurie puikiai atlieka tokias užduotis kaip vaizdų klasifikavimas, mokymui. Tačiau tradiciškai buvo daug sunkiau pritaikyti statistinius mašininio mokymosi metodus, tokius kaip gilus mokymasis rašytiniam ar sakytiniam žodžiui, nes kalba yra tokia dviprasmiška ir sudėtinga.

Tačiau pastaruoju metu buvo padaryta didelė pažanga. Du nauji „Google“ siūlomi gilaus mokymosi metodai, žinomi kaip „Transformer“ ir „BERT“, pasirodė ypač tinkami versti iš vienos kalbos į kitą, atsakyti į klausimus apie teksto dalį ir netgi sukurti tikroviškai atrodantį tekstą. Tai paskatino akademinį ir pramonės susidomėjimą tobulinti kalbą naudojant mašininį mokymąsi.

„Transformerio“ ir „BERT“ derinys turėjo didžiulį poveikį Aleksandras Rushas , Harvardo universiteto profesorius, besispecializuojantis dirbtinio intelekto posrityje, vadinamoje natūralios kalbos apdorojimu (NLP). Iš esmės tai yra moderniausia kiekviename etalone ir leidžia studentams gaminti pasaulinio lygio modelius penkiose kodo eilutėse.

„Nvidia“ puikiai seka naujausias AI tyrimų tendencijas. Jei naujausia nuojauta pasitvirtins, balso padėjėjai gali ne tik reaguoti į šaukiamas komandas, bet ir nuosekliai sujungti daugiau žodžių. Tuo tarpu pokalbių robotai gali tapti ne tokie aptemdyti, o automatinio užbaigimo funkcija, kuri yra daugelyje programų ir programėlių, gali pradėti siūlyti ištisas pastraipas, o ne tik kelis kitus žodžius.

Turime daug kalbų modeliavimo paklausos, sako Bryanas Catanzaro , „Nvidia“ taikomojo gilaus mokymosi viceprezidentas. O jei pažvelgtume į kalbos progreso tempą, tai mums atrodo akivaizdi vieta investuoti.

„Nvidia“ sukūrė savo programinę įrangą optimizuodama daugybę proceso dalių, naudojamų kalbos modeliams treniruoti savo GPU. Tai pagreitino dirbtinio intelekto modelių mokymą (nuo kelių dienų iki mažiau nei valandos), paspartino mokomų kalbos modelių veikimą (nuo 40 milisekundžių iki šiek tiek daugiau nei 2 milisekundžių) ir leido treniruoti daug didesnius kalbų modelius (Nvidia kalbos modelis). , vadinamas Megatron, yra daug kartų didesnis nei bet kas anksčiau pagamintas, jo parametrai yra 8,6 mlrd.

Automatinis užbaigimas be blogio

Tačiau kalbos pažanga gali turėti ir tamsiąją pusę. Išmanesni algoritmai galėtų būti naudojami siekiant masiškai kurti įtikinamesnius, labiau pritaikytus netikrus atsiliepimus, socialinės žiniasklaidos įrašus ir naujienas. Kitos tyrimų grupės įrodė, kaip galingi kalbos modeliai gali gauti tikroviškai atrodantį tekstą, kai iš interneto buvo paimta daugybė raštų.

„Nvidia“ turi paprastą planą, kaip užkirsti kelią galimam piktnaudžiavimui: ji neišleis didžiausio sukurto kalbos modelio ir planuoja pasikliauti mokslininkais, kurie atsargiai naudos savo įrankius. Mes išleidžiame kodą, kuris parodo, kaip naudoti GPU šiems dideliems modeliams mokyti, sako Catanzaro. Tikime, kad bendruomenė šį kodą naudos atsakingai, tačiau atminkite, kad tokio dydžio modelių mokymas reikalauja didelės skaičiavimo galios, todėl daugumai žmonių jis nepasiekiamas.

Net jei pažanga ir toliau sparčiai tęsis, greičiausiai praeis daug laiko, kol mašinos tikrai galės su mumis kalbėtis. Mašinoms apgaulingai sunku suprasti kalbą, iš dalies dėl jos sudėties sudėtingumo: žodžius galima pertvarkyti, kad būtų atskleista begalinė reikšmė. Norint suvokti frazės reikšmę, dažnai reikia ir tam tikro sveiko proto supratimo apie pasaulį – to, ko kompiuteriai neturi.

Matome NLP galimybių renesansą, sako Oren Etzioni, generalinis direktorius. Alleno dirbtinio intelekto institutas (Ai2) , ne pelno siekianti Sietlo organizacija, skirta pažangiems AI tyrimams. Jis sako, kad tai padės sukurti geresnius pokalbių robotus ir balso padėjėjus, nors jiems trūks sveiko proto. Balso asistentas, kuris yra toks pat naudingas kaip sumanus viešbučio konsjeržas, vis dar yra už horizonto, sako Etzioni.

Ai2 neseniai pristatė įrankį, vadinamą Groveris , kuris naudoja NLP pažangą, kad gautų tekstą, kurį, atrodo, iškraipė AI. Etzioni pabrėžia, kad robotai jau apgaudinėja žmones „Facebook“ ir „Twitter“. Jis sako, kad automatiškai sugeneruotas netikras tekstas jau yra čia ir tikėtina, kad jų daugės eksponentiškai.

paslėpti