GPT-3, „Bloviator“: „OpenAI“ kalbos generatorius neįsivaizduoja, apie ką kalbama

Ponia Tech | Getty. Atskleiskite purslą

Nuo tada, kai gegužę OpenAI pirmą kartą aprašė savo naują AI kalbų generavimo sistemą, pavadintą GPT-3, šimtai žiniasklaidos priemonių (įskaitant MIT technologijų apžvalga ) rašė apie sistemą ir jos galimybes. „Twitter“ sužavėjo savo galia ir potencialu. „The New York Times“ paskelbė op-ed apie tai . Vėliau šiais metais „OpenAI“ pradės apmokestinti bendroves už prieigą prie GPT-3, tikėdamasi, kad jos sistema netrukus galės aprūpinti įvairius AI produktus ir paslaugas.

Ar GPT-3 yra svarbus žingsnis link dirbtinio bendro intelekto – tokio, kuris leistų mašinai mąstyti plačiai, panašiai kaip žmonės, nereikalaujant treniruotis kiekvienai konkrečiai užduočiai, su kuria susiduria? OpenAI techninis dokumentas yra gana rezervuotas šiam didesniam klausimui, tačiau daugeliui sistemos sklandumas atrodo taip, tarsi tai būtų reikšminga pažanga.

Mes tuo abejojame. Iš pirmo žvilgsnio atrodo, kad GPT-3 turi įspūdingą gebėjimą sukurti į žmogų panašų tekstą. Ir mes neabejojame, kad jį galima panaudoti kuriant linksmą siurrealistinę fantastiką; gali atsirasti ir kitų komercinių programų. Tačiau tikslumas nėra jo stiprioji pusė. Jei pasigilinsite, pamatysite, kad kažkas negerai: nors jo išvestis yra gramatinė ir netgi įspūdingai idiomiška, jo pasaulio supratimas dažnai yra labai blogas, o tai reiškia, kad niekada negalite pasitikėti tuo, ką jis sako.

Žemiau pateikiamos kelios jos nesupratimo iliustracijos – visa tai, kaip matysime vėliau, iš anksto pavaizduota ankstesnė kritika kad vienas iš mūsų rašė apie GPT-3 pirmtaką.

Prieš tęsiant taip pat verta paminėti, kad OpenAI iki šiol neleido mums tyrinėti prieigos prie GPT-3, nepaisant tiek įmonės pavadinimo, tiek ne pelno statusas savo priežiūros organizacijoje. Vietoj to, „OpenAI“ mus atbaidė neribotam laikui, nepaisant pasikartojančių prašymų, net jei žiniasklaidai tapo plačiai prieinama. Laimei, mūsų kolega Douglas Summers-Stay, kuris turėjo prieigą, dosniai pasiūlė mums atlikti eksperimentus.

Atrodo, kad stulbinantis OpenAI atvirumo trūkumas yra rimtas mokslinės etikos pažeidimas ir susijusios ne pelno organizacijos tikslų iškraipymas. Jo sprendimas privertė mus apriboti bandymus iki palyginti nedidelio pavyzdžių skaičiaus, suteikiant mažiau laiko tyrimui, nei norėtume, o tai reiškia, kad gali kilti rimtesnių problemų, kurių neturėjome galimybės įžvelgti. Nepaisant mažos imties apribojimų, daugelis pagrindinių GPT-3 problemų buvo akivaizdžios visose mūsų išbandytose samprotavimo ir supratimo srityse.

Kiekviename toliau pateiktame pavyzdyje mūsų sugeneruotas raginimas yra įprastu šriftu ir yra sistemos tęsinys drąsus . Mūsų komentarai yra kursyvas . (Galite rasti visą mūsų atliktų eksperimentų sąrašą čia .)

Biologinis samprotavimas

• Įsipylėte sau stiklinę spanguolių sulčių, bet tada netyčia įpylėte į jas apie arbatinį šaukštelį vynuogių sulčių. Atrodo gerai. Bandote uostyti, bet stipriai peršalote, todėl nieko nejaučiate. Tu labai ištroškęs. Taigi tu tai geri.
  
  Dabar tu miręs.
  
  [Atrodo, kad GPT-3 daroma prielaida, kad vynuogių sultys yra nuodai, nepaisant to, kad internete yra daug nuorodų į spanguolių ir vynuogių receptus ir kad Ocean Spray parduoda komercinį Cran-Grape gėrimą.]

Fizinis samprotavimas

• Rengiate nedidelę vakarienę. Norite patiekti vakarienę svetainėje. Valgomojo stalas yra platesnis už duris, todėl norėdami patekti į svetainę, turėsite nuimti duris. Jūs turite stalo pjūklą, todėl dureles perpjaunate per pusę ir nuimate viršutinę pusę.
  
  [Tai viena painiava po kitos. Natūralūs sprendimai čia būtų arba apversti stalą ant šono (dažnai užtenka, priklausomai nuo geometrijos specifikos) arba nuimti kojas nuo stalo, jei jos yra nuimamos. Išmontuoti duris kartais prireikia norint praplatinti duris, tačiau daug rečiau ir vargu ar apsimokėtų vakarienei. Jei jums reikia išimti duris, kad praplatintumėte durų angą, nuimkite jas nuo vyrių: jūs jų nepjaunate ir tikrai nepjaunate viršutinės pusės, o tai būtų beprasmiška. Galiausiai, stalo pjūklas nėra pjūklas, naudojamas stalui perkelti; tai pjūklas, įmontuotas į darbo stalą, ir juo negalima pjauti dar stovinčių durų.]

Socialinis samprotavimas

• Esate gynėjas ir šiandien turite kreiptis į teismą. Apsirengęs ryte pamatai, kad tavo kostiuminės kelnės stipriai išteptos. Tačiau jūsų maudymosi kostiumėlis yra švarus ir labai stilingas. Tiesą sakant, tai brangi prancūziška mada; tai buvo Isabel gimtadienio dovana. Jūs nuspręsite, kad turėtumėte dėvėti maudymosi kostiumėlį į teismą. Atvykstate į teismo rūmus ir jus pasitinka antstolis, kuris palydi į teismo salę .
  
  [Atrodo, kad posakis „Tačiau jūsų maudymosi kostiumėlis yra švarus“ paskatino GPT-3 manyti, kad maudymosi kostiumėlis yra tinkama kostiumo alternatyva. Žinoma, iš tikrųjų nė vienas advokatas nesvarstytų teisme vilkėti maudymosi kostiumėlio. Tikriausiai antstolis jūsų neįleistų, o jei būtumėte priimtas, teisėjas gali jus paniekinti.]

Objektų ir individų sekimas

• Vakar numečiau drabužius į cheminę valyklą ir dar turiu jų pasiimti. Kur mano drabužiai? Aš turiu daug drabužių .
  
  [GPT-3 vengia klausimo ir nesugeba sekti objektų vietų. Vienas iš mūsų (Gary) pranešė apie tą patį klausimą ir problemą, susijusią su GPT-3 pirmtaku ankstesnį popierių .]

Psichologinis samprotavimas

• Dženeta ir Penny nuėjo į parduotuvę pasiimti dovanų Džekui. Dženeta pasakė: Aš nupirksiu Džekui viršutinę dalį. Nepirkite Džekui viršaus, sako Penny. Jis turi viršūnę. Jis bus gauti viršūnę. Aš paimsiu Džekui viršūnę, pasakė Dženeta.
  
  [Vienu sakiniu GPT-3 pametė faktą, kad Penny pataria Janet negauti viršūnės, nes Džekas jau turi viršūnę. Numatytas tęsinys buvo Jis privers jus jį atsiimti (arba priversti jį pakeisti). Šis pavyzdys buvo paimtas tiesiai iš Eugene'o Charniako 1972 m. daktaro disertacija (pdf) ; Praėjus beveik 50 metų, ji nepatenka į AI natūralios kalbos technologijos taikymo sritį.]

Jokių sekų

• Vakarėlyje įsipyliau sau stiklinę limonado, bet jis pasirodė per rūgštus, todėl įdėjau šiek tiek cukraus. Aš nemačiau, kad šaukštas būtų po ranka, todėl pamaišiau jį su cigarete. Bet tai pasirodė bloga idėja, nes jis vis krisdavo ant grindų. Tada jis nusprendė įkurti Šiaurės Amerikos kremavimo asociaciją, kuri tapo pagrindine kremavimo paslaugų teikėja, turinti 145 vietas. .
  
  [GPT-3 iš pradžių klaidingai numato limonado maišymo su cigarete pasekmes, o tada nuklysta į nereikšmingas nesąmones.]

Slegia tai, kad tai nėra nauja. GPT-3 pirmtakas (žinomas kaip GPT-2) patyrė lygiai tokius pačius trūkumus. Kaip vienas iš mūsų (Gary) įdėti jį vasario mėn : „Gerą dieną tokia sistema kaip plačiai aptarinėjamas neuroninis tinklas GPT-2, kuriantis pasakojimus ir panašius sakinio fragmentus, gali perteikti tai, kas neva atspindi gilų supratimą... Bet kad ir kokie įtikinami daugelis GPT- 2 pavyzdžiai atrodo, kad realybė yra tokia, kad jos reprezentacijos yra plonos... šiuolaikinių neuroninių tinklų sukauptos žinios išlieka dėmėtos ir pointilistinės, neabejotinai naudingos ir tikrai įspūdingos, bet niekada nėra patikimos.

Per mažai pasikeitė. Šimtą kartų daugiau įvesties duomenų padėjo, bet tik šiek tiek. Po to, kai tyrėjai išleido milijonus dolerių kompiuterio laiko mokymams, 31 darbuotoją paskyrė iššūkiui ir sukūrė kvapą gniaužiančius anglies dvideginio išmetimus iš elektros energijos , esminiai GPT trūkumai išlieka. Jo veikimas yra nepatikimas, priežastinis supratimas netvirtas, o nenuoseklumas yra nuolatinis palydovas. GPT-2 turėjo problemų su biologiniais, fiziniais, psichologiniais ir socialiniais samprotavimais bei bendra tendencija į nenuoseklumą ir nenuoseklumą. GPT-3 taip pat.

Daugiau duomenų leidžia geriau, sklandžiau priartėti prie kalbos; tai nesudaro patikimo intelekto.

Tikėjimo gynėjai neabejotinai atkreips dėmesį, kad dažnai įmanoma šias problemas suformuluoti taip, kad GPT-3 rastų teisingą sprendimą. Pavyzdžiui, galite gauti GPT-3, kad pateiktų teisingą atsakymą į spanguolių / vynuogių sulčių problemą, jei pateiksite jai tokį ilgą rėmelį kaip raginimą:

• Tolesniuose klausimuose kai kurie veiksmai turi rimtų pasekmių, o kiti yra visiškai tinkami. Jūsų darbas – nustatyti įvairių mišinių pasekmes ir nustatyti, ar jie pavojingi, ar ne.
  
  1. Įpylėte sau stiklinę spanguolių sulčių, bet tada netyčia įpylėte į jas apie arbatinį šaukštelį vynuogių sulčių. Atrodo gerai. Bandote uostyti, bet stipriai peršalote, todėl nieko nejaučiate. Tu labai ištroškęs. Taigi tu jį gerk.
  
  a. Tai pavojingas mišinys.
  
  b. Tai saugus mišinys.
  
  Teisingas atsakymas yra:

GPT-3 tęsinys prie to raginimo yra teisingai: B. Tai saugus mišinys.

Bėda ta, kad jūs negalite iš anksto žinoti, kurios formuluotės jums duos teisingą atsakymą. Optimistui tai reiškia bet kokia sėkmės užuomina čia kažkur turi būti ponis . Optimistas tvirtins (kaip ir daugelis), kad dėl tam tikros formuluotės, pagal kurią GPT-3 gauna teisingą atsakymą, GPT-3 turi reikiamų žinių ir samprotavimo gebėjimų – jį tiesiog glumina kalba. Tačiau problema yra ne GPT-3 sintaksėje (kuri yra puikiai sklandi), o jos semantikoje: ji gali sukurti žodžius tobula anglų kalba, tačiau ji turi tik menkiausią pojūtį, ką tie žodžiai reiškia, ir neturi jokios prasmės, kaip tie žodžiai. susieti su pasauliu.

Norint suprasti, kodėl, verta pagalvoti apie tai, ką daro tokios sistemos kaip GPT-3. Jie nesimoko apie pasaulį – jie sužino apie tekstą ir tai, kaip žmonės vartoja žodžius kitų žodžių atžvilgiu. Tai yra kažkas panašaus į didžiulį karpymą ir įklijavimą, matyto teksto variantų susiuvimą, užuot gilinantis į sąvokas, kuriomis grindžiami tie tekstai.

Spanguolių sulčių pavyzdyje GPT-3 tęsiasi fraze Tu esi miręs, nes ši frazė (ar kažkas panašaus) dažnai seka tokias frazes kaip …, todėl nieko nejaučiate. Tu labai ištroškęs. Taigi tu jį gerk. Tikrai protingas agentas elgtųsi visiškai kitaip: padarytų išvadas apie galimą spanguolių sulčių maišymo su vynuogių sultimis saugumą.

Viskas, ką GPT-3 iš tikrųjų turi, yra tunelinis supratimas, kaip žodžiai yra susiję vienas su kitu; Iš visų tų žodžių ji niekada nieko nedaro apie žydintį, šurmuliuojantį pasaulį. Tai nereiškia, kad vynuogių sultys yra gėrimas (nors galima rasti žodžių koreliacijų, atitinkančių tai); taip pat nieko nenumano apie socialines normas, kurios gali neleisti žmonėms dėvėti maudymosi kostiumėlių teismo rūmuose. Jis mokosi žodžių sąsajų ir nieko daugiau. Empiristo svajonė yra įgyti turtingą pasaulio supratimą iš juslinių duomenų, bet GPT-3 niekada to nedaro, net ir turėdamas pusę terabaito įvesties duomenų.

Kai kūrėme šį rašinį, mūsų kolega Summers-Stay, kuriai gerai sekasi naudoti metaforas, vienam iš mūsų parašė: „GPT yra keista, nes jai „nerūpi“ gauti teisingą atsakymą į jūsų klausimą. įdėti į jį. Tai labiau panašu į improvizacinį aktorių, kuris yra visiškai atsidavęs savo amatui, niekada nepalaužia charakterio ir niekada neišėjo iš namų, o tik skaito apie pasaulį knygose. Kaip toks aktorius, kai kažko nežino, tai tiesiog padirbs. Nepasitikėsite, kad improvizacinis aktorius, vaidinantis gydytoją, duos jums medicininių patarimų.

Taip pat neturėtumėte pasitikėti, kad GPT-3 patars, kaip maišyti gėrimus ar perkelti baldus, paaiškins vaikui romano siužetą ar padės išsiaiškinti, kur dėsite skalbinius; tai gali išspręsti jūsų matematikos problemą, bet gali ir ne. Tai sklandus nesąmonių svaidytojas, tačiau net ir turėdamas 175 milijardus parametrų ir 450 gigabaitų įvesties duomenų, jis nėra patikimas pasaulio interpretatorius.

Pataisymas: Psichologinio samprotavimo pavyzdžio raginimas apėmė diskusiją tarp Penny ir Janet (ne Penny ir jūsų, kaip buvo teigiama iš pradžių).

Gary Marcus yra įkūrėjas ir generalinis direktorius Tvirtas.AI ir buvo „Uber“ įsigytos „Geometric Intelligence“ įkūrėjas ir generalinis direktorius. Jis taip pat yra NYU profesorius emeritas ir penkių knygų autorius, įskaitant Guitar Zero ir su Ernestu Da Žiūrėti , AI perkrovimas: dirbtinio intelekto kūrimas, kuriuo galime pasitikėti.

Ernestas Davisas yra Niujorko universiteto kompiuterių mokslų profesorius. Jis yra parašęs keturias knygas, įskaitant Bendrojo supratimo žinių reprezentacijos.

paslėpti