Natūralios kalbos apdorojimo sritis siekia neteisingo tikslo

Ponia Tech | Atskleiskite purslą

Įprastame metiniame susirinkime Kompiuterinės lingvistikos asociacija (ACL), programa yra tokių pavadinimų paradas kaip Struktūrinis variacinis autokoderis kontekstiniam morfologiniam linksniui. Tas pats techninis skonis persmelktas dokumentuose, tyrimų pokalbiuose ir daugelyje prieškambario pokalbių.

Šiais metais konferencija Tačiau liepą kažkas atrodė kitaip – ​​ir tai buvo ne tik virtualus formatas. Dalyvių pokalbiai buvo neįprastai gilūs apie pagrindinius natūralios kalbos apdorojimo (NLP) metodus ir tikslus, AI šaką, kurios pagrindinis dėmesys buvo skiriamas sistemų, analizuojančių arba generuojančių žmonių kalbą, kūrimą. Straipsniai šių metų naujienose Teminis takelis uždavė tokius klausimus: Ar dabartiniai metodai tikrai pakankamai pasiekti galutinius šios srities tikslus? Ką net ar tie tikslai?

Mano kolegos ir aš at Elementarinis pažinimas AI tyrimų įmonė, įsikūrusi Konektikute ir Niujorke, mano, kad nerimas yra pagrįstas. Tiesą sakant, mes manome, kad šią sritį reikia pakeisti ne tik sistemos kūrimo, bet ir ne tokia žavingoje srityje: vertinime.

Dabartinis NLP senumas atsirado dėl pusę dešimtmečio trukusių nuolatinių patobulinimų pagal standartinę vertinimo paradigmą. Sistemų gebėjimas suprasti paprastai buvo matuojamas lyginamieji duomenų rinkiniai sudaryta iš tūkstančių klausimų, prie kurių kiekvienas pridedamas ištraukas su atsakymu. Kai 2010-ųjų viduryje gilieji neuroniniai tinklai nušlavė lauką, jie atnešė milžinišką našumo šuolį. Vėlesni darbo etapai balus vis labiau priartino prie 100% (arba bent jau lygybės su žmonėmis).

Taigi mokslininkai paskelbtų naujus duomenų rinkinius net gudresnis klausimus , tik norėdami pamatyti dar didesnius neuroninius tinklus, greitai paskelbia įspūdingus balus. Didžioji dalis šiandieninių skaitymo supratimo tyrimų reikalauja kruopštaus modelių keitimo, kad būtų galima gauti dar kelis procentinius punktus iš naujausių duomenų rinkinių. Šiuolaikinė technika praktiškai tapo tinkamu daiktavardžiu: We beat SOTA on SQUAD 2,4 taško!

Bet daugelis žmonių in į lauke vis pavargsta nuo tokio lyderių sąrašo vaikymosi. Ką iš tikrųjų laimėjo pasaulis, jei didžiulis neuroninis tinklas vienu ar dviem etalonu pasiekia SOTA? Neatrodo, kad kas nors rūpintųsi atsakyti į šiuos klausimus dėl savęs; Laimėjimas pirmaujančiųjų sąraše yra akademinis pratimas, dėl kurio realaus pasaulio įrankiai gali nepagerėti. Iš tiesų, daug akivaizdžių patobulinimų atsiranda ne dėl bendro supratimo gebėjimų, o dėl nepaprastų modelių įgūdžių išnaudojant netikras modelius duomenyse. Ar pastarojo meto pažanga tikrai padeda žmonėms spręsti problemas?

Tokios abejonės yra daugiau nei abstraktus nerimas; tai, ar sistemos tikrai įgudusios suprasti kalbą, turi realių interesų visuomenei. Žinoma, supratimas apima platų įgūdžių rinkinį. Paprastesnėms programoms, pvz., Vikipedijos faktoidų paieškai arba nuotaikų įvertinimui produktų apžvalgose, naudojami šiuolaikiniai metodai. sekasi gana gerai . Tačiau kai žmonės įsivaizduoja kompiuterius, kurie supranta kalbą, jie įsivaizduoja daug sudėtingesnį elgesį: teisines priemones, kurios padeda žmonėms analizuoti savo keblias situacijas; tyrimų padėjėjai, sintezuojantys informaciją iš viso žiniatinklio; robotai ar žaidimų personažai, kurie vykdo išsamias instrukcijas.

Šiandieniniai modeliai toli gražu nepasiekia tokio supratimo lygio – ir neaišku, ar dar vienas SOTA dokumentas priartins šią sritį.

Kaip NLP bendruomenė atsidūrė tokiu atotrūkiu tarp popierinių vertinimų ir realaus pasaulio gebėjimų? ACL pozicijų popierius , mano kolegos ir aš teigiame, kad siekiant sudėtingų gairių, vertinimai prarado iš akių tikruosius tikslus: sudėtingas paskesnes programas. Norėdami pasiskolinti eilutę iš dokumento, NLP tyrėjai treniravosi tapti profesionaliais sprinteriais, žvilgčiodami po sporto salę ir atlikdami bet kokius pratimus, kurie atrodo sudėtingi.

Kad vertinimai labiau atitiktų tikslus, padeda apsvarstyti, kas stabdo šiandienines sistemas.

Žmogus, skaitantis ištrauką, sukurs detalų esybių, vietų, įvykių ir jų santykių vaizdą – tekste aprašytą mentalinį pasaulio modelį. Tada skaitytojas gali užpildyti trūkstamas detales modelyje, ekstrapoliuoti sceną į priekį arba atgal arba net iškelti hipotezę apie priešingas alternatyvas.

Toks modeliavimas ir samprotavimas yra būtent tai, ką turi atlikti automatiniai tyrimų padėjėjai ar žaidimų veikėjai – ir šiandienos sistemose to akivaizdžiai trūksta. NLP tyrėjas paprastai gali sugadinti naujausią skaitymo supratimo sistemą per kelis bandymus. Vienas patikima technika yra išanalizuoti sistemos pasaulio modelį, kuris gali palikti net ir labai apimtą GPT-3 burbėdamas apie cikloptinius žolės stiebus.

Norint pritaikyti automatizuotus skaitytuvus pasauliniais modeliais, reikės didelių sistemos dizaino naujovių, kaip aptarta kelis Tema-takelis pareiškimai . Tačiau mūsų argumentas yra elementaresnis: kad ir kaip būtų įdiegtos sistemos, jei jos turi turėti ištikimus pasaulio modelius, tai vertinimai turėtų sistemingai tikrinti, ar jos turi ištikimus pasaulio modelius.

Taip plikai pasakyta, kad tai gali atrodyti akivaizdžiai, bet tai daroma retai. Tyrimų grupės, tokios kaip Alleno AI institutas turėti pasiūlė kiti būdai, kaip sustiprinti vertinimus, pvz., nukreipti į įvairias kalbines struktūras, užduoti klausimus, pagrįstus keliais samprotavimo žingsniais, ar net tiesiog agreguojant daugelis etalonų . Kiti tyrinėtojai, pvz Yejin Choi Vašingtono universiteto grupė daugiausia dėmesio skyrė bandymams bendras jausmas , kuris apima pasaulio modelio aspektus. Tokios pastangos yra naudingos, tačiau dažniausiai jos vis tiek sutelkiamos į klausimų, į kuriuos šiandienos sistemos sunkiai atsako, sudarymą.

Siūlome esminį poslinkį: norėdami sukurti prasmingesnius vertinimus, NLP tyrėjai turėtų pradėti nuodugniai nurodydami, ką sistemos pasaulio modelis turi turėti, kad būtų naudingas tolesniems pritaikymams. Tokią paskyrą vadiname supratimo šablonu.

Vienas ypač daug žadantis šio požiūrio išbandymas yra išgalvotos istorijos. Originaliose istorijose gausu informacijos, jų negalima naudoti „Google“ ir jos svarbios daugelyje programų, todėl jos yra idealus skaitymo supratimo įgūdžių patikrinimas. Remdamiesi pažinimo mokslo literatūra apie žmones, mūsų generalinis direktorius Davidas Ferrucci pasiūlė keturių dalių šabloną, skirtą AI sistemos gebėjimui suprasti istorijas išbandyti.

• Erdvinė: Kur viskas yra ir kaip ji išdėstyta istorijoje?
• Laikinas: Kokie įvykiai vyksta ir kada?
• Priežastinis: Kaip įvykiai mechaniškai veda į kitus įvykius?
• Motyvuojantis: Kodėl veikėjai nusprendžia imtis veiksmų, kurių imasi?

Sistemingai užduodami šiuos klausimus apie visas istorijos esybes ir įvykius, NLP tyrėjai gali principingai įvertinti sistemų supratimą, tirdami pasaulio modelius, kurių sistemoms iš tikrųjų reikia.

Džiugu matyti, kad NLP bendruomenė apmąsto tai, ko trūksta šiandieninėms technologijoms. Tikimės, kad toks mąstymas paskatins daug investuoti ne tik į naujus algoritmus, bet ir į naujus ir griežtesnius mašinų supratimo matavimo būdus. Toks darbas gal ir nebus tiek daug antraščių, bet manome, kad investicijos į šią sritį pastūmės šią sritį bent tiek pat, kiek kitas milžiniškas modelis.

Jesse Dunietz yra tyrėjas Elementarinis pažinimas , kur jis dirba kurdamas griežtus skaitymo supratimo sistemų vertinimus. Jis taip pat yra MIT edukacinis dizaineris Komunikacijos laboratorija ir a mokslo rašytojas .

paslėpti