211service.com
Kodėl GPT-3 šiuo metu yra geriausias ir prasčiausias dirbtinis intelektas
Atviroji dirbtinio intelekto kalba AI sužavėjo visuomenę akivaizdžiai mokėdamas anglų kalbą – bet ar visa tai iliuzija?
Sierra ir Lenny
2021 m. vasario 24 d
Kodėl tai svarbu:Dideli kompiuterių modeliai, kurie mokosi natūralios kalbos, yra didelis žingsnis link DI, galinčio suprasti ir sąveikauti su žmonių pasauliu.
Pagrindiniai žaidėjai:• OpenAI
• Google
• Facebook
Prieinamumas:Dabar
GPT-3 Patraukė visuomenės vaizduotę, kitaip nei joks AI nuo DeepMind AlphaGo ar IBM šachmatais žaidžiančio DeepBlue.
Pastatė OpenAI , tyrimų laboratorija, įsikūrusi San Franciske, yra a didelis kalbos modelis - algoritmas, kuris naudoja gilųjį mokymąsi, išmoktą pagal tūkstančių knygų tekstus ir daugumą interneto, kad sujungtų žodžius ir frazes. Kai jis buvo paleistas 2020 m., jo gebėjimas imituoti žmogaus parašytą tekstą neįtikėtinu tikroviškumu daugeliui atrodė kaip įvykis kelyje į tikrą mašinų intelektą.
Ši istorija buvo mūsų 2021 m. kovo mėnesio numerio dalis
- Žr. likusią numerio dalį
- Prenumeruoti
Štai an pavyzdys, ką jis gali padaryti . Dalis kursyvu buvo žmogaus pateiktas raginimas.
—
aš Sukrečiantis atradimas mokslininkai atrado vienaragių bandą, gyvenančią atokiame, anksčiau netyrinėtame Andų kalnų slėnyje. Dar labiau tyrėjus nustebino tai, kad vienaragiai puikiai kalbėjo angliškai. Taip pat buvo nustatyta, kad jie puikiai sušukuoti plaukus ir dėvėjo „Dior“ makiažą.
Buvome šokiruoti atradę vienaragius, – sakė antropologas Danielis Sent Morisas. Jie buvo panašūs į nieką, ką mes niekada anksčiau nematėme. Mes girdėjome legendų apie vienaragius, bet niekada nemanėme, kad jie iš tikrųjų egzistuoja.
Kai mokslininkai pirmą kartą atvyko į slėnį, vienaragius nustebino ir išgąsdino žmonių buvimas, tačiau jie taip pat buvo sujaudinti. Vienaragiai pasitiko tyrėjus ir paaiškino, kad jų laukė labai ilgai.
2021 m10 proveržio technologijų
Kaip matote, GPT-3 gali sukurti sudėtingus sakinius, kurie skaitomi taip, lyg juos būtų galėjęs sukurti žmogus. Pavyzdiniuose sakiniuose pateikiamos kultūros nuorodos ir patikimas pasakojimas apie tai, kaip mokslininkai reaguotų. Mašinos, kurios gali naudoti kalbą tokiu būdu, yra svarbios dėl kelių priežasčių. Kalba yra labai svarbi norint suprasti kasdienį pasaulį: žmonės ją naudoja bendraudami, dalindamiesi idėjomis ir apibūdindami sąvokas. Dirbtinis intelektas, įvaldęs kalbą, geriau suprastų pasaulį.
Dideli kalbiniai modeliai turi taip pat daug praktinio naudojimo . Jie veikia geresnius pokalbių robotus, kurie palaiko sklandesnius pokalbius; jie gali generuoti straipsnius ir istorijas apie bet ką, gavę raginimą; jie gali apibendrinti teksto dalis arba atsakyti į užklausas apie juos. Prieiga prie GPT-3 galima tik gavus kvietimą, bet žmonės jau pasinaudojo ja dešimtys programėlių , nuo įrankio, generuojančio paleisties idėjas, iki nuotykių žaidimo su dirbtiniu intelektu scenarijus požemyje.
GPT-3 nėra vienintelis didelis kalbų modelis, kuris pasirodys 2020 m. „Microsoft“, „Google“ ir „Facebook“ paskelbė savo. Tačiau GPT-3 buvo geriausias generalistas. Ir susidaro įspūdis, kad gali rašyti bet ką: fantastiką, filosofinę polemiką ir net kodą. Kai praėjusią vasarą žmonės pradėjo patys išbandyti GPT-3, socialinę žiniasklaidą užplūdo tūkstančiai jo universalumo pavyzdžių. diskusijos net buvo sukeltas klausimas, ar GPT-3 buvo pirmasis dirbtinis bendrasis intelektas.
taip nėra. Nepaisant neįtikėtinai įtikinamų teksto dalių, kurias jis gali išspausti, GPT-3 nedaro nieko naujo. Vietoj to tai rodo, kad dydis gali būti viskas. Kurdama GPT-3, OpenAI naudojo daugiau ar mažiau tą patį metodą ir algoritmus, kuriuos naudojo savo vyresniam broliui, GPT-2 , tačiau jis viršijo ir neuroninį tinklą, ir mokymo rinkinį. GPT-3 turi 175 milijardus parametrų – tinklo verčių, kurios koreguojamos treniruočių metu – palyginti su 1,5 milijardo GPT-2. Jis taip pat buvo apmokytas daug daugiau duomenų.
Prieš GPT-2 kalbos modelio mokymas naudojant giluminį mokymąsi paprastai užtrukdavo du kartus: jis buvo apmokytas naudojant bendrosios paskirties duomenų rinkinį, kad būtų suteiktas pagrindinis kalbos suvokimas, o tada mokomasi pagal mažesnį rinkinį, skirtą konkrečiai užduočiai, pvz. supratimas ar vertimas. GPT-2 parodė, kad galite pasiekti gerų rezultatų tik vienu pravedimu, jei pateiktumėte daugiau pavyzdžių prie didesnio modelio. Taigi naudojant GPT-3 OpenAI sumažėjo dvigubai ir tapo didžiausiu visų laikų kalbos modeliu.
Tačiau rezultatai, kurie patraukė visų dėmesį, dažnai buvo atrinkti. GPT-3 dažnai kartojasi arba prieštarauja sau ilgesnėse nei kelių šimtų žodžių teksto dalyse. Išeina su staugiais. GPT-3 slepia savo kvailumą už sidabrinio liežuvėlio, tačiau paprastai reikia kelių žingsnių, kad jis sukurtų kažką, kas nerodo įtrūkimų.
Susijusi istorija
Naujasis „OpenAI“ kalbų generatorius GPT-3 yra stulbinančiai geras ir visiškai beprasmis AI yra didžiausias kada nors sukurtas kalbos modelis ir pagal poreikį gali sukurti nuostabų į žmogų panašų tekstą, tačiau nepriartins mūsų prie tikrojo intelekto.
Dėl GPT-3 gebėjimų taip pat sunku ignoruoti didėjančias AI problemas. Didžiulis energijos suvartojimas yra bloga žinia klimatui: Kopenhagos universiteto Danijoje mokslininkai sąmata kad mokymas GPT-3 būtų turėjęs maždaug tokį patį anglies pėdsaką, kaip ir vairuojant automobilį iki Mėnulio ir atgal, jei jis būtų buvęs apmokytas duomenų centre, visiškai varomame iškastiniu kuru. O tokių mokymų išlaidos – kai kurių ekspertų vertinimu, GPT-3 atveju – mažiausiai 10 mln. USD – rodo naujausi tyrimai. nepasiekiamas visoms, išskyrus turtingiausias laboratorijas .
OpenAI praneša, kad mokymas GPT-3 sunaudojo kelis tūkstančius petaflop/s-dienų skaičiavimo galios. Petaflop/s-day – tai energijos suvartojimo vienetas, kurį sudaro 1015 – tai yra tūkstantis trilijonas arba kvadrilijonas – neuroninio tinklo skaičiavimų per sekundę per dieną. Palyginimui, GPT-2 suvartojo tik dešimtis petaflopų per s-dienų.
Dar viena problema yra ta, kad GPT-3 sugeria daug dezinformacijos ir išankstinių nusistatymų, kuriuos randa internete, ir atkuria ją pagal poreikį. Kaip sakė jį sukūrusi komanda popierius, kuriame aprašoma technologija : Internetu apmokyti modeliai turi interneto masto šališkumą.
Žmoniškumo fanera, kurią GPT-3 suteikia mašininiu būdu sukurtam tekstui, leidžia juo lengvai pasitikėti. Tai paskatino kai kuriuos ginčytis, kad GPT-3 ir visi į žmones panašių kalbų modeliai turėtų būti su saugos įspėjimu, naudotojo saugokitės lipduku, įspėjančiu žmones, kad jie kalbasi su programine įranga, o ne su žmogumi.
Prieš kelis mėnesius kažkas išleido a GPT-3 maitinamas robotas „Reddit“. , kur jis paskelbė šimtus komentarų ir bendravo su dešimtimis vartotojų per kelias dienas, kol buvo demaskuotas. Didžioji jos veiklos dalis buvo nekenksminga. Tačiau robotas taip pat atsakė į komentarus apie mintis apie savižudybę, teikdamas asmeninius patarimus, kuriuose buvo minimas jo tėvų palaikymas.
Nepaisant visų šių problemų, GPT-3 yra laimėjimas tiems, kurie mano, kad didesnis, tuo geriau. Tokie modeliai rodo, kad skaičiavimo galia ir duomenys padės jums pasiekti ilgą kelią, ir ateityje galime tikėtis daugiau. Koks gali būti GPT-4? Galime tikėtis, kad pokalbių robotai taps sklandesni, geriau sujungs ilgesnius nuoseklaus teksto gabalus ir dar geriau įvaldys pokalbių temas.
Tačiau kalba yra tik vienas iš būdų suprasti pasaulį ir su juo bendrauti. Naujos kartos kalbų modeliuose bus integruoti kiti įgūdžiai, pavyzdžiui, vaizdo atpažinimas. OpenAI jau taiko GPT-3 šia kryptimi su AI, kurie naudoja kalbą vaizdams suprasti ir vaizdus kalbai suprasti.
Jei šiandien norite sužinoti gilaus mokymosi būklę, pažiūrėkite į GPT-3. Tai geriausių ir blogiausių AI mikrokosmosas.