211service.com
Netvarkinga, slapta tikrovė, slypinti už OpenAI siekio išgelbėti pasaulį
Gregas Brockmanas, vienas iš įkūrėjų ir CTO; Ilja Sutskeveris, vienas iš įkūrėjų ir vyriausiasis mokslininkas; ir Dario Amodei, tyrimų direktorius. Christie There Klok
Kiekvienais metais OpenAI darbuotojai balsuoja, kada jie tiki, kad dirbtinis bendrasis intelektas arba AGI pagaliau pasirodys. Dažniausiai tai yra įdomus būdas užmegzti ryšius, o jų įvertinimai labai skiriasi. Tačiau srityje, kurioje vis dar diskutuojama, ar į žmones panašios autonominės sistemos išvis įmanomos, pusė laboratorijos prognozuoja, kad tai įvyks per 15 metų.
Per ketverius trumpus gyvavimo metus OpenAI tapo viena pirmaujančių dirbtinio intelekto tyrimų laboratorijų pasaulyje. Kartu su kitais dirbtinio intelekto sunkiasvoriais, tokiais kaip „Alphabet's DeepMind“, ji išgarsėjo, nuolat rengdama antraštes pritraukiančius tyrimus. Jis taip pat yra Silicio slėnio numylėtinis, tarp savo įkūrėjų yra Elonas Muskas ir legendinis investuotojas Samas Altmanas.
Visų pirma, jis yra liūtas dėl savo misijos. Jos tikslas – pirmiesiems sukurti AGI – mašiną, turinčią žmogaus proto mokymosi ir mąstymo galių. Tikslas nėra dominavimas pasaulyje; verčiau laboratorija nori užtikrinti, kad technologija būtų sukurta saugiai, o jos nauda tolygiai paskirstoma pasauliui.
Tai reiškia, kad AGI gali lengvai susižavėti, jei technologijos plėtra bus palikta mažiausio pasipriešinimo keliu. Siauras intelektas, toks gremėzdiškas dirbtinis intelektas, kuris mus supa šiandien, jau buvo pavyzdys. Dabar žinome, kad algoritmai yra šališki ir trapūs; jie gali padaryti didelį piktnaudžiavimą ir didelę apgaulę; o jų kūrimo ir eksploatavimo išlaidos linkusios sutelkti jų galią kelių rankose. Ekstrapoliuojant, AGI gali būti katastrofiška be kruopštaus geranoriško ganytojo vadovavimo.
OpenAI nori būti tuo piemeniu ir kruopščiai sukūrė savo įvaizdį, kad atitiktų sąskaitą. Srityje, kurioje dominuoja turtingos korporacijos, ji buvo įkurta kaip ne pelno organizacija. Jo pirmasis skelbimas teigė, kad šis skirtumas leistų sukurti vertę visiems, o ne akcininkams. Jo užsakomųjų – toks šventas dokumentas, kad darbuotojų atlyginimas priklauso nuo to, kaip jie jo laikosi – taip pat skelbiama, kad pagrindinė OpenAI patikėtinė pareiga yra žmonijai. Saugus AGI pasiekimas yra toks svarbus, kaip ir toliau, kad jei kita organizacija būtų arti to pirma, OpenAI nustotų su ja konkuruoti ir bendradarbiautų. Šis viliojantis pasakojimas puikiai tinka investuotojams ir žiniasklaidai, o liepą „Microsoft“ laboratorijai skyrė naują 1 mlrd.
Jos biure kabo OpenAI logotipas. Christie Hemm Klok
Tačiau trys dienos OpenAI biure ir beveik trys dešimtys interviu su buvusiais ir esamais darbuotojais, bendradarbiais, draugais ir kitais šios srities ekspertais rodo kitokį vaizdą. Yra nesutapimas tarp to, ką bendrovė viešai palaiko ir kaip ji veikia už uždarų durų. Laikui bėgant tai leido kilti nuožmiam konkurencingumui ir vis didesniam spaudimui gauti vis daugiau finansavimo, kad būtų sugriauti pagrindiniai skaidrumo, atvirumo ir bendradarbiavimo idealai. Daugelis dirbančių ar dirbančių įmonėje reikalavo anonimiškumo, nes neturėjo teisės kalbėti arba bijojo keršto. Jų ataskaitos rodo, kad OpenAI, nepaisant visų savo kilnių siekių, yra apsėstas išlaikyti paslaptį, saugoti savo įvaizdį ir išlaikyti savo darbuotojų lojalumą.
Nuo pat ankstyvo sukūrimo dirbtinis intelektas, kaip sritis, stengėsi suprasti į žmogų panašų intelektą ir jį atkurti. 1950 m. pradėjo Alanas Turingas, žinomas anglų matematikas ir kompiuterių mokslininkas popierius su dabar žinoma provokacija Ar mašinos gali mąstyti? Po šešerių metų, sužavėti nerimą keliančios idėjos, grupė mokslininkų susirinko Dartmuto koledže, kad įformintų discipliną.
Tai vienas iš svarbiausių visos intelektualinės istorijos klausimų, tiesa? sako Oren Etzioni, Alleno dirbtinio intelekto instituto (AI2), Sietle įsikūrusios pelno nesiekiančios AI tyrimų laboratorijos, generalinis direktorius. Atrodo, ar mes suprantame visatos kilmę? Ar mes suprantame reikalą?
Bėda ta, kad AGI visada išliko neaiški. Niekas iš tikrųjų negali apibūdinti, kaip tai gali atrodyti, arba mažiausiai, ką jis turėtų padaryti. Pavyzdžiui, nėra akivaizdu, kad yra tik viena bendrojo intelekto rūšis; žmogaus intelektas gali būti tik pogrupis. Taip pat yra skirtingų nuomonių apie tai, kokiam tikslui AGI galėtų pasitarnauti. Romantizuotu požiūriu, mašinų intelektas, kuriam netrukdo miego poreikis ar neefektyvus žmonių bendravimas, galėtų padėti išspręsti sudėtingas problemas, tokias kaip klimato kaita, skurdas ir badas.
Tačiau šioje srityje garsus sutarimas yra tas, kad tokie pažangūs pajėgumai užtruktų dešimtmečius, net šimtmečius – jei iš tikrųjų įmanoma juos sukurti. Daugelis taip pat baiminasi, kad perdėtas šio tikslo siekimas gali atsiliepti. Aštuntajame dešimtmetyje ir vėl devintojo dešimtmečio pabaigoje bei 90-ųjų pradžioje ši sritis žadėjo per daug ir buvo nepakankamai įgyvendinta. Per naktį finansavimas išseko, palikdamas gilius randus ištisai tyrinėtojų kartai. Ši sritis jautėsi kaip užplūdimas, sako Peteris Eckersley, dar neseniai pramonės grupės Partnership on AI, kurios narys yra OpenAI, tyrimų direktorius.
Konferencijų salė pirmame aukšte, pavadinta Infinite Jest. Christie Hemm Klok
Tokiomis aplinkybėmis 2015 m. gruodžio 11 d. „OpenAI“ įžengė į pasaulį. „DeepMind“ tai padarė penkeriais metais anksčiau, o „Google“ įsigijo 2014 m. Tačiau „OpenAI“ atrodė kitaip. Viena vertus, lipduko kaina šokiravo: įmonė prasidės nuo 1 milijardo dolerių iš privačių investuotojų, įskaitant Muską, Altmaną ir „PayPal“ įkūrėją Peterį Thielį.
Žvaigždžių nusėtas investuotojų sąrašas sukėlė žiniasklaidos siautulį, kaip ir įspūdingas pradinių darbuotojų sąrašas: Gregas Brockmanas, vadovavęs technologijoms mokėjimų bendrovei „Stripe“, bus vyriausiasis technologijų pareigūnas; Ilja Sutskeveris, kuris mokėsi pas AI pradininką Geoffrey Hintoną, bus tyrimų direktorius; Septyni mokslininkai, ką tik baigę geriausius universitetus arba iš kitų įmonių, sudarytų pagrindinę techninę komandą. (Praėjusį vasarį, Musk paskelbė kad jis išsiskyrė su kompanija dėl nesutarimų dėl jos krypties. Po mėnesio Altmanas pasitraukė paleisties greitintuvo Y Combinator prezidentu ir tapti OpenAI generaliniu direktoriumi.)
Tačiau labiau nei bet kas, OpenAI ne pelno statusas padarė pareiškimą. Bus svarbu turėti pirmaujančią mokslinių tyrimų įstaigą, kuri galėtų teikti pirmenybę geriems rezultatams, o ne savo interesams, skelbta . Tyrėjai bus primygtinai raginami skelbti savo darbus kaip dokumentus, tinklaraščio įrašus ar kodą, o mūsų patentais (jei tokių yra) bus dalijamasi su pasauliu. Nors kritika niekada nebuvo aiškiai išreikšta, potekstė buvo aiški: kitos laboratorijos, tokios kaip „DeepMind“, negalėjo tarnauti žmonijai, nes jas suvaržo komerciniai interesai. Kol jie buvo uždaryti, OpenAI būtų atviras .
Tyrimų aplinkoje, kuri buvo vis labiau privatizuota ir orientuota į trumpalaikę finansinę naudą, OpenAI pasiūlė naują būdą finansuoti didžiausių problemų pažangą. Tai buvo vilties švyturys, sako Chip Huyen, mašininio mokymosi ekspertas, atidžiai stebėjęs laboratorijos kelionę.
18-osios ir Folsomo gatvių sankirtoje San Franciske OpenAI biuras atrodo kaip paslaptingas sandėlis. Istoriniame pastate yra niūrios pilkos dailylentės ir tamsinti langai, dauguma atspalvių nuleisti. Raidės PIONEER BUILDING – buvusio jo savininko Pioneer Truck Factory liekanos – apvyniotos už kampo išblukusia raudona spalva.
Viduje erdvė šviesi ir erdvi. Pirmame aukšte yra kelios bendros erdvės ir dvi konferencijų salės. Vienas, sveiko dydžio didesniems susitikimams, vadinamas A Space Odyssey; kita, labiau pašlovinta telefono būdelė, vadinasi Infinite Jest. Tai erdvė, kurioje aš apsiriboju savo apsilankymo metu. Man draudžiama lankytis antrame ir trečiame aukštuose, kuriuose yra visų darbo stalai, keli robotai ir beveik viskas, kas įdomu. Kai ateina laikas jų interviu, žmonės nusileidžia prie manęs. Darbuotojas treniruoja mane akylai tarp susitikimų.
Pionierių pastatas. wikimedia commons / tfinc
Tą gražią mėlyno dangaus dieną, kai atvykstu susitikti su Brockmanu, jis atrodo nervingas ir saugomas. Niekada anksčiau niekam nesuteikėme tiek daug prieigos, sako jis su preliminaria šypsena. Jis dėvi laisvalaikio drabužius ir, kaip ir daugelis „OpenAI“, kirpiasi beformiškai, atrodo, atspindi efektyvų, nepriekaištingą mentalitetą.
31 metų Brockmanas užaugo hobių ūkyje Šiaurės Dakotoje ir vaikystę, kurią jis apibūdina kaip susikaupusią, ramią. Melžė karves, rinko kiaušinius, besimokydama savarankiškai pamilo matematiką. 2008 m. jis įstojo į Harvardą, ketindamas baigti dvigubą matematikos ir informatikos specialybę, tačiau greitai tapo neramus, kad patektų į realų pasaulį. Po metų jis metė studijas, įstojo į MIT, o po kelių mėnesių vėl iškrito. Antrą kartą jo sprendimas buvo galutinis. Kai jis persikėlė į San Franciską, jis niekada nežiūrėjo atgal.
Brockmanas nuveda mane pietų, kad pašalintų iš biuro per visos įmonės susirinkimą. Kitoje gatvės pusėje esančioje kavinėje jis apie OpenAI kalba intensyviai, nuoširdžiai ir nuostabai, dažnai vesdamas paraleles tarp jos misijos ir reikšmingų mokslo istorijos pasiekimų. Nesunku įvertinti jo, kaip lyderio, charizmą. Pasakodamas įsimintinas perskaitytų knygų ištraukas, jis įsitraukia į mėgstamiausią Slėnio pasakojimą – Amerikos lenktynes su mėnuliu. (Viena istorija, kurią aš labai myliu, yra sargininko istorija, sako jis, nurodydamas garsią, bet tikriausiai apokrifinę pasaką. Kennedy prieina prie jo ir klausia: „Ką tu darai?“, o jis sako: „O aš padėti pasodinti žmogų į mėnulį!“) Taip pat yra transkontinentinis geležinkelis (iš tikrųjų tai buvo paskutinis megaprojektas, atliktas tik rankomis... didžiulio masto projektas, kuris buvo visiškai rizikingas) ir Thomo Edisono kaitrinė lemputė (Įžymių ekspertų komitetas sakė: Tai niekada neveiks“, ir po vienerių metų jis išsiuntė).
Gregas Brockmanas, vienas iš įkūrėjų ir CTO. Christie Hemm laikrodis
Brockmanas žino apie OpenAI lošimą ir žino, kad tai sukelia cinizmą ir tikrinimą. Tačiau su kiekviena nuoroda jo žinutė yra aiški: žmonės gali būti skeptiški, ką tik nori. Tai didelės drąsos kaina.
Tie, kurie prisijungė prie OpenAI ankstyvomis dienomis, prisimena energiją, jaudulį ir tikslo jausmą. Komanda buvo nedidelė – susidarė per glaudžius ryšius, o vadovybė liko laisva ir neformali. Visi tikėjo plokščia struktūra, kurioje idėjos ir diskusijos būtų laukiamos bet kam.
Muskas vaidino nedidelį vaidmenį kuriant kolektyvinę mitologiją. Jis man tai pristatė taip: „Žiūrėk, aš suprantu“. AGI gali būti toli, bet kas, jei ne?“ – prisimena Pieteris Abbeelis, UC Berkeley profesorius, kuris kartu su keliais savo studentais dirbo ten pirmuosius dvejus metus. „O jeigu tikimybė, kad tai įvyks per ateinančius 5–10 metų, yra net 1% ar 0,1%? Ar neturėtume apie tai labai gerai pagalvoti?“ – sako jis.
Tačiau neformalumas taip pat lėmė tam tikrą neaiškią kryptį. 2016 m. gegužę Altmaną ir Brockmaną aplankė Dario Amodei, tuometinis „Google“ tyrinėtojas, kuris jiems pasakė, kad niekas nesupranta, ką jie daro. Paskyroje, paskelbtoje m niujorkietis , nebuvo aišku, ką žinojo ir pati komanda. Mūsų tikslas šiuo metu... yra padaryti viską, kas geriausia, – sakė Brockmanas. Tai šiek tiek neaiški.
Nepaisant to, po kelių mėnesių Amodei prisijungė prie komandos. Jo sesuo Daniela Amodei anksčiau dirbo su Brockmanu ir jau pažinojo daugelį OpenAI narių. Po dvejų metų, Brockmano prašymu, Daniela taip pat prisijungė. Įsivaizduokite – pradėjome nuo nieko, sako Brockmanas. Mes tiesiog turėjome tokį idealą, kad norėjome, kad AGI sektųsi gerai.
Per pietus Brockmanas kaip šventraštį deklamuoja chartiją, paaiškina kiekvieną įmonės egzistavimo aspektą.
2017 m. kovo mėn., praėjus 15 mėnesių, vadovybė suprato, kad atėjo laikas daugiau dėmesio. Taigi Brockmanas ir keli kiti pagrindiniai nariai pradėjo rengti vidinį dokumentą, kad būtų išdėstytas kelias į AGI. Tačiau procesas greitai atskleidė lemtingą ydą. Kai komanda tyrinėjo tendencijas šioje srityje, jie suprato, kad likti ne pelno siekiančia organizacija yra finansiškai nepagrįsta. Skaičiavimo ištekliai, kuriuos kiti šioje srityje naudojo siekdami proveržio rezultatų, padvigubėjo kas 3,4 mėn . Tapo aišku, kad norint išlikti aktualiais, pasak Brockmano, jiems reikės pakankamai kapitalo, kad atitiktų arba viršytų šį eksponentinį padidėjimą. Tam reikėjo naujo organizacinio modelio, kuris galėtų greitai sukaupti pinigų, kartu išlikdamas ištikimas misijai.
Visuomenei ir daugumai darbuotojų nežinant, OpenAI išleido tai turėdamas omenyje jos chartija 2018 m. balandžio mėn. Dokumente iš naujo suformuluotos pagrindinės laboratorijos vertybės, tačiau subtiliai pakeista kalba, kad atspindėtų naują tikrovę. Be įsipareigojimo vengti AI ar AGI naudojimo, kuris kenkia žmonijai arba pernelyg sutelkia galią, jis taip pat pabrėžė išteklių poreikį. Numatome, kad mums reikės skirti daug išteklių, kad įvykdytume savo misiją, tačiau visada uoliai stengsimės sumažinti interesų konfliktus tarp mūsų darbuotojų ir suinteresuotųjų šalių, kurie galėtų pakenkti plačiajai naudai.
Brockmanas sako, kad ilgą laiką viduje kartojome su darbuotojais, kad visa įmonė būtų įtraukta į tam tikrus principus. Dalykai, kurie turėjo likti nekintantys, net jei pakeistume savo struktūrą.
Iš kairės į dešinę: Daniela Amodei, Jackas Clarkas, Dario Amodei, Jeffas Wu (techninis personalas), Gregas Brockmanas, Alecas Radfordas (techninės kalbos komandos vadovas), Christine Payne (techninio personalo narys), Ilya Sutskever ir Chrisas Berneris (vadovas). infrastruktūros). Christie Hemm Klok
Šis struktūros pakeitimas įvyko 2019 m. kovo mėn. „OpenAI“ atsisakė grynai ne pelno siekiančio statuso, įsteigdama ribojamo pelno grupę – pelno siekiančią įmonę su 100 kartų didesnėmis investuotojų grąžos ribomis, nors ją prižiūri valdyba, kuri yra ne pelno organizacijos dalis. Netrukus po to ji paskelbė apie „Microsoft“ milijardo dolerių investiciją (nors neatskleidė, kad tai buvo padalinta į grynuosius pinigus ir kreditus „Azure“, „Microsoft“ debesų kompiuterijos platformai).
Galima nuspėti, kad šis žingsnis sukėlė kaltinimų bangą, kad OpenAI grįžta į savo misiją. Įraše apie Hakerių naujienos Netrukus po pranešimo vartotojas paklausė, kaip 100 kartų limitas apskritai būtų ribojamas: ankstyvieji investuotojai į „Google“ gavo maždaug 20 kartų didesnę kapitalo grąžą, rašė jie. Galite statyti, kad turėsite įmonės struktūrą, kuri duoda daug daugiau nei „Google“... bet nenorite „neteisėtai sutelkti galios“? Kaip tai veiks? Kas iš tikrųjų yra galia, jei ne išteklių sutelkimas?
Šis žingsnis taip pat sukrėtė daugelį darbuotojų, kurie išreiškė panašų susirūpinimą. Siekdama numalšinti vidinius neramumus, vadovybė surašė DUK kaip dalį labai saugomų pereinamųjų dokumentų. Ar galiu pasitikėti OpenAI? užduotas vienas klausimas. Taip, prasidėjo atsakymas, po kurio sekė paaiškinimo pastraipa.
Chartija yra OpenAI pagrindas. Tai yra visų laboratorijos strategijų ir veiksmų tramplinas. Per pietus Brockmanas tai kartoja kaip šventraštį, paaiškindamas kiekvieną įmonės egzistavimo aspektą. (Beje, jis patikslina įpusėjus vieną deklamavimą, manau, žinau visas šias eilutes, nes praleidau daug laiko, kad galėčiau jas tiksliai suprasti. Ne taip, kaip skaičiau tai prieš susitikimą.)
Kaip užtikrinsite, kad žmonės toliau gyventų prasmingą gyvenimą, kai ugdysite pažangesnius gebėjimus? Kaip rašėme, manome, kad jos poveikis turėtų būti suteikti kiekvienam ekonominę laisvę, leisti rasti naujų galimybių, kurios šiandien neįsivaizduojamos. Kaip susitvarkysite, kad tolygiai paskirstytumėte AGI? Manau, kad naudingumas yra geriausia mūsų turimos vizijos analogija. Bet vėlgi, visa tai priklauso nuo chartijos. Kaip konkuruoti, kad pirmiausia pasiektumėte AGI, nepakenkiant saugumui? Manau, kad yra absoliučiai svarbus balansavimo veiksmas, o geriausias mūsų pasiūlymas yra tai, kas nurodyta chartijoje.
2018 M. BALANDŽIO 9 D. 5 MINUTĖS SKAITYKITE OpenAI
Brockmanui OpenAI struktūra veikia griežtai laikantis dokumento. Vidinis derinimas laikomas svarbiausiu: visi visą darbo dieną dirbantys darbuotojai turi dirbti ne tame pačiame biure, išskyrus keletą išimčių. Politikos komandai, ypač direktoriui Jackui Clarkui, tai reiškia, kad gyvenimas padalintas tarp San Francisko ir Vašingtono. Klarkas neprieštarauja – tiesą sakant, jis sutinka su mentalitetu. Pasak jo, būtent tarpinės akimirkos, pavyzdžiui, pietūs su kolegomis, padeda visiems likti tame pačiame puslapyje.
Daugeliu atžvilgių šis požiūris akivaizdžiai veikia: įmonė turi įspūdingai vienodą kultūrą. Darbuotojai dirba ilgas valandas ir nepaliaujamai kalba apie savo darbą valgydami ir socialinėmis valandomis; daugelis eina į tas pačias partijas ir laikosi racionalios filosofijos efektyvus altruizmas . Jie juokauja naudodami mašininio mokymosi terminologiją, kad apibūdintų savo gyvenimą: kokia yra jūsų gyvenimo funkcija? Kam optimizuojiesi? Viskas iš esmės yra minmax funkcija. Tiesą sakant, kitiems dirbtinio intelekto tyrinėtojams taip pat patinka tai daryti, tačiau su OpenAI susipažinę žmonės sutinka: daugiau nei kiti šios srities darbuotojai AI tyrimus vertina ne kaip darbą, o kaip tapatybę. (Lapkričio mėnesį Brockmanas Vedęs jo vienerių metų draugė Anna biure ant OpenAI logotipo išdėliotų gėlių fone. Sutskeveris veikė kaip pareigūnas; roboto ranka buvo žiedo nešėja.)
Tačiau tam tikru momentu praėjusių metų viduryje chartija tapo ne tik pietų pokalbių pašaru. Netrukus po to, kai perėjo prie riboto pelno, vadovybė nustatė naują darbo užmokesčio struktūrą, iš dalies pagrįstą kiekvieno darbuotojo misijos įsisavinimu. Šalia stulpelių, pvz., inžinerinių žinių ir tyrimų krypties skaičiuoklės skirtuke, pavadintame Vieningos techninės kopėčios, paskutiniame stulpelyje pateikiami su kultūra susiję kiekvieno lygio lūkesčiai. 3 lygis: Jūs suprantate ir įsisavinate OpenAI chartiją. 5 lygis: užtikrinate, kad visi projektai, su kuriais dirbate jūs ir jūsų komandos draugai, atitinka chartiją. 7 lygis: esate atsakingas už chartijos laikymąsi ir tobulinimą, o kiti organizacijos nariai atsako už tai.
Pirmą kartą dauguma žmonių apie OpenAI išgirdo 2019 m. vasario 14 d. Tą dieną laboratorija paskelbė įspūdingas naujas tyrimas: modelis, galintis sukurti įtikinamus esė ir straipsnius vienu mygtuko paspaudimu. Pateikite sakinį iš Žiedų valdovas arba (netikros) naujienos apie Miley Cyrus vagystę iš parduotuvių pradžia, ir ji būtų išspjauta pastraipa po pastraipos ta pačia prasme.
Tačiau buvo ir klaida: modelis, pavadintas GPT-2, buvo per daug pavojingas, kad būtų paleistas, sakė tyrėjai. Jei tokia galinga technologija patektų į netinkamas rankas, ją būtų galima lengvai panaudoti ginklams, siekiant sukurti didžiulio masto dezinformaciją.
Mokslininkų atsakas buvo iš karto. Kai kurie teigė, kad „OpenAI“ ėmėsi reklamos triuko. GPT-2 nebuvo pakankamai pažengęs, kad būtų grėsmė. Ir jei taip, kam skelbti apie jo egzistavimą ir tada uždrausti viešą kontrolę? Atrodė, kad „OpenAI“ bandė išnaudoti paniką dėl dirbtinio intelekto, sako Britt Paris, Rutgerso universiteto docentė, tyrinėjanti dirbtinio intelekto sukurtą dezinformaciją.
Jackas Clarkas, politikos direktorius. Christie Hemm laikrodis
Iki gegužės mėn. OpenAI peržiūrėjo savo poziciją ir paskelbė apie planus išleisti etapais. Per kitus mėnesius jis paeiliui išleido vis galingesnes GPT-2 versijas. Tuo tarpu ji taip pat bendradarbiavo su keliomis mokslinių tyrimų organizacijomis, kad ištirtų algoritmo piktnaudžiavimo galimybes ir parengtų atsakomąsias priemones. Galiausiai lapkričio mėn. ji išleido visą kodą, atradusi, tai pasakė , iki šiol nėra rimtų piktnaudžiavimo įrodymų.
Be nuolatinių kaltinimų viešumo siekimu, OpenAI tvirtino, kad GPT-2 nebuvo triukas. Greičiau tai buvo kruopščiai apgalvotas eksperimentas, dėl kurio susitarta po daugybės vidinių diskusijų ir debatų. Sutarta, kad net jei šį kartą tai būtų buvę šiek tiek perdėta, veiksmas būtų precedentas pavojingesniems tyrimams. Be to, chartijoje buvo numatyta, kad susirūpinimas dėl saugos ir saugumo palaipsniui privers laboratoriją ateityje sumažinti tradicinį leidybą.
Tai taip pat buvo argumentas, kurį politikos komanda kruopščiai išdėstė savo pranešime šešių mėnesių tolesnis tinklaraščio įrašas , kurį jie aptarė, kai sėdėjau susitikime. Manau, kad tai neabejotinai yra sėkmės istorijos dalis, sakė politikos tyrinėtojas Milesas Brundage'as, pabrėždamas kai ką „Google“ dokumente. Šio skyriaus vedimas turėtų būti toks: mes padarėme ambicingą dalyką, dabar kai kurie žmonės tai kartoja, ir štai keletas priežasčių, kodėl tai buvo naudinga.
Tačiau OpenAI žiniasklaidos kampanija su GPT-2 taip pat laikėsi nusistovėjusio modelio, dėl kurio platesnė AI bendruomenė tapo juokinga. Bėgant metams, dideli, ryškūs laboratorijos pranešimai apie tyrimus buvo ne kartą apkaltinti skatinant dirbtinio intelekto ciklą. Ne kartą kritikai taip pat apkaltino laboratoriją, kad jos rezultatus iškalbinėja iki klaidingo apibūdinimo. Dėl šių priežasčių daugelis šios srities atstovų linkę laikyti OpenAI ištiestos rankos atstumu.
Ant biuro sienos kabo „OpenAI“ tyrimų leidimų viršeliai. Christie Hemm Klok
Tai nesutrukdė laboratorijai toliau kaupti išteklius savo viešajam įvaizdžiui. Savo rezultatus ji skelbia ne tik moksliniuose darbuose, bet ir labai gerai parengtuose įmonės tinklaraščio įrašuose, kuriuose viską daro savo įmonėje – nuo rašymo iki daugialypės terpės kūrimo iki kiekvieno leidimo viršelio vaizdų kūrimo. Vienu metu ji taip pat pradėjo kurti dokumentinį filmą apie vieną iš savo varžovų projektų 90 minučių filmas apie DeepMind's AlphaGo . Galiausiai pastangos išaugo į nepriklausomą kūrinį, kurį Brockmanas ir jo žmona Anna dabar iš dalies finansuoja. (Aš taip pat sutikau pasirodyti dokumentiniame filme, kad pateikčiau techninį OpenAI pasiekimo paaiškinimą ir kontekstą. Už tai man nebuvo atlyginta.)
Padidėjus smūgiui, reikia vidinių diskusijų, kaip tai išspręsti. Darbuotojai nusivylė nuolatine išorės kritika, o vadovybė nerimauja, kad tai pakenks laboratorijos įtakai ir galimybėms pasamdyti geriausius talentus. Vidiniame dokumente pabrėžiama ši problema ir jos sprendimo strategija: norėdami turėti įtakos vyriausybės lygmens politikai, turime būti laikomi patikimiausiu ML [mašininio mokymosi] tyrimų ir AGI šaltiniu, sakoma politikos eilutėje. skyrius. Plačiai paplitusi mokslinių tyrimų bendruomenės parama ir parama yra ne tik būtina norint įgyti tokią reputaciją, bet ir sustiprins mūsų žinią. Kitas, Strategijos dalyje, rašoma: „Aiškiai traktuokite ML bendruomenę kaip komunikacijos suinteresuotąją šalį. Pakeiskite savo toną ir išorinius pranešimus taip, kad prieštarautume jiems tik tada, kai sąmoningai pasirenkame.
Buvo dar viena priežastis, dėl kurios GPT-2 sukėlė tokį aštrų atsaką. Žmonės pajuto, kad OpenAI vėl atšaukia savo ankstesnius atvirumo ir skaidrumo pažadus. Po mėnesio sužinojus apie perėjimą prie pelno, nuslėpti tyrimai sukėlė dar didesnį žmonių įtarimą. Ar gali būti, kad technologija buvo paslėpta ruošiantis licencijuoti ateityje?
Ilja Sutskeveris, vienas iš įkūrėjų ir vyriausiasis mokslininkas. Christie Hemm Klok
Tačiau mažai žmonių žinojo, kad tai nebuvo vienintelis kartas, kai OpenAI nusprendė slėpti savo tyrimus. Tiesą sakant, kitas pastangas buvo visiškai paslaptyje.
Yra dvi vyraujančios techninės teorijos apie tai, ko prireiks norint pasiekti AGI. Viename jau yra visos reikalingos technikos; belieka išsiaiškinti, kaip juos pritaikyti ir surinkti. Kitame – turi būti visiškai nauja paradigma; gilaus mokymosi, šiuo metu dominuojančios DI technikos, nepakaks.
Dauguma tyrinėtojų patenka kažkur tarp šių kraštutinumų, tačiau „OpenAI“ nuolat sėdėjo beveik vien tik mastelio ir surinkimo spektro gale. Dauguma jos laimėjimų buvo žymiai didesnių skaičiavimo išteklių panaudojimas kitose laboratorijose sukurtoms techninėms naujovėms.
Brockmanas ir Sutskeveris neigia, kad tai yra vienintelė jų strategija, tačiau griežtai saugomi laboratorijos tyrimai rodo priešingai. Komanda, pavadinta Foresight, vykdo eksperimentus, kad patikrintų, kiek jie gali patobulinti AI galimybes, treniruodami esamus algoritmus su vis didesniu duomenų kiekiu ir skaičiavimo galia. Vadovybės nuomone, šių eksperimentų rezultatai patvirtino jos instinktus, kad laboratorijos visapusiška skaičiavimais pagrįsta strategija yra geriausias būdas.
Maždaug šešis mėnesius šie rezultatai buvo slepiami nuo visuomenės, nes OpenAI mano, kad šios žinios yra pagrindinis konkurencinis pranašumas. Darbuotojams ir praktikantams buvo aiškiai nurodyta jų neatskleisti, o išvykusieji pasirašė neatskleidimo sutartis. Tik sausį komanda, be įprastos fanfaros, tyliai paskelbė popierius vienoje iš pirminių atvirojo kodo duomenų bazių dirbtinio intelekto tyrimams. Žmonės, patyrę didžiulę paslaptį dėl pastangų, nežinojo, ką daryti su šiuo pakeitimu. Pažymėtina, kitas popierius su panašiais skirtingų tyrėjų rezultatais buvo paskelbta prieš kelis mėnesius.
Christie There Klok
Iš pradžių toks slaptumo lygis niekada nebuvo ketinimas, bet nuo to laiko jis tapo įprastas. Laikui bėgant vadovybė nutolo nuo savo pirminio įsitikinimo, kad atvirumas yra geriausias būdas sukurti naudingą AGI. Dabar tiems, kurie dirba su laboratorija arba dirba laboratorijoje, įspūdį daro tylėjimo svarba. Tai apima niekada nekalbėjimą su žurnalistais be aiškaus komunikacijos komandos leidimo. Po pirmųjų apsilankymų biure, kai pradėjau susisiekti su įvairiais darbuotojais, gavau el. laišką iš komunikacijos vadovės, primenantį, kad visi prašymai pokalbiui turi būti pateikti per ją. Kai atsisakiau, sakydama, kad tai pakenktų to, ką žmonės man pasakė, pagrįstumą, ji nurodė darbuotojams nuolat informuoti apie mano veiklą. Buvusio žurnalisto Clarko „Slack“ žinutėje vėliau žmonės buvo pagirti už tai, kad reporteriui uostydami šnibždėjosi.
Pareiškime, reaguodamas į šį padidintą paslaptį, OpenAI atstovas spaudai nurodė tam tikrą jos chartijos skyrių. Tikimės, kad susirūpinimas dėl saugos ir saugumo sumažins mūsų tradicinį leidybą ateityje, teigiama skyriuje, ir padidins dalijimosi saugos, politikos ir standartų tyrimais svarbą. Atstovas taip pat pridūrė: Be to, kiekvienas iš mūsų leidimų yra paleidžiamas per informacijos pavojaus procesą, kad būtų galima įvertinti šiuos kompromisus, ir mes norime lėtai skelbti savo rezultatus, kad suprastume galimą riziką ir poveikį prieš išleisdami į laukinę gamtą.
Viena didžiausių paslapčių yra projektas, prie kurio toliau dirbama OpenAI. Šaltiniai man tai apibūdino kaip ankstesnių ketverių metų tyrimų kulminaciją: AI sistema, apmokyta vaizdu, tekstu ir kitais duomenimis, naudojant didžiulius skaičiavimo išteklius. Pradinėms pastangoms buvo paskirta nedidelė komanda, tikimasi, kad kitos komandos, kartu su savo darbu, galiausiai prisidės. Tą dieną, kai apie tai buvo pranešta visos įmonės susirinkime, praktikantams nebuvo leista dalyvauti. Žmonės, susipažinę su planu, siūlo paaiškinimą: vadovybė mano, kad tai yra perspektyviausias būdas pasiekti AGI.
OpenAI strategijos vadovas yra Dario Amodei, buvęs „Google“ darbuotojas, dabar einantis tyrimų direktoriaus pareigas. Kai sutinku jį, jis man atrodo labiau nerimastinga Brockmano versija. Jis turi panašų nuoširdumą ir jautrumą, tačiau tvyro neramios nervinės energijos dvelksmas. Kalbėdamas atrodo toli, surauktais antakiais, o ranka nerūpestingai traukia jo garbanas.
Amodei laboratorijos strategiją padalija į dvi dalis. Pirmąją dalį, kurioje nurodoma, kaip ji planuoja pasiekti pažangias AI galimybes, jis palygina su investuotojo lažybų portfeliu. Skirtingos OpenAI komandos žaidžia skirtingus statymus. Pavyzdžiui, kalbų komanda turi pinigų teorijai, teigiančiai, kad dirbtinis intelektas gali sukurti reikšmingą pasaulio supratimą vien mokydamasis kalbų. Priešingai, robotų komanda plėtoja priešingą teoriją, kad intelektui vystytis reikalingas fizinis įsikūnijimas.
Kaip ir investuotojo portfelyje, ne kiekvienas statymas turi vienodą svorį. Tačiau mokslinio griežtumo sumetimais prieš išmetant reikia viską išbandyti. Amodei nurodo GPT-2 su nepaprastai tikroviškais automatiškai sugeneruotais tekstais, kaip pavyzdį, kodėl svarbu išlaikyti atvirą mintį. Gryna kalba yra kryptis, kurią ši sritis ir net kai kurie iš mūsų žiūrėjo šiek tiek skeptiškai, sako jis. Bet dabar atrodo: „Oho, tai tikrai daug žadanti“.
Laikui bėgant skirtingi statymai pakyla virš kitų, jie pritrauks daugiau pastangų. Tada jie apsidulkins ir susijungs. Tikslas yra turėti vis mažiau komandų, kurios galiausiai žlugtų į vieną techninę AGI kryptį. Tai yra tikslus procesas, kurį tariamai jau pradėjo naujausias itin slaptas OpenAI projektas.
Dario Amodei, tyrimų direktorius. Christie Hemm laikrodis
Antrojoje strategijos dalyje, aiškina Amodei, dėmesys sutelkiamas į tai, kaip tokias nuolat tobulėjančias AI sistemas padaryti saugias. Tai apima įsitikinimą, kad jie atspindi žmogiškąsias vertybes, gali paaiškinti savo sprendimų logiką ir gali mokytis nepakenkdami žmonėms. Kiekvienam iš šių saugos tikslų skirtos komandos siekia sukurti metodus, kuriuos būtų galima pritaikyti visuose projektuose, kai jie brandinami. Pavyzdžiui, paaiškinamumo komandos sukurtos technikos gali būti naudojamos GPT-2 sakinių konstrukcijų logikai arba roboto judesiams atskleisti.
Amodei pripažįsta, kad ši strategijos dalis yra šiek tiek atsitiktinė, mažiau paremta nusistovėjusiomis teorijomis šioje srityje, o daugiau – nuojauta. Kažkuriuo metu mes sukursime AGI ir iki to laiko noriu jaustis gerai, kai šios pasaulyje veikia, sako jis. Viską, kur šiuo metu nesijaučiu gerai, sukuriu ir įdarbinu komandą, kuri sutelktų dėmesį į tai.
Nepaisant visų viešumo ir slaptumo, Amodei tai sakydamas atrodo nuoširdus. Atrodo, kad nesėkmės galimybė jį trikdo.
Esame nepatogioje padėtyje: nežinome, kaip atrodo AGI, sako jis. Mes nežinome, kada tai įvyks. Tada, atidžiai įsisąmonindamas, jis priduria: bet kurio žmogaus protas yra ribotas. Geriausias dalykas, kurį radau, yra pasamdyti kitus saugos tyrinėtojus, kurių vizijos dažnai skiriasi nuo to, apie ką aš galėjau galvoti. Noriu tokios įvairovės ir įvairovės, nes tik taip viską sugauni.
Faktas yra tas, kad „OpenAI“ iš tikrųjų turi mažai skirtumų ir įvairovės – tai faktas išryškėjo trečią dieną biure. Vienų pietų metu, kai man buvo leista pabendrauti su darbuotojais, aš atsisėdau prie labiausiai matomo įvairaus stalo. Mažiau nei po minutės supratau, kad ten valgantys žmonės iš tikrųjų nebuvo OpenAI darbuotojai. Neuralink, Musko startuolis, dirbantis su kompiuterio ir smegenų sąsajomis, dalijasi tuo pačiu pastatu ir valgomuoju.
Daniela Amodei, žmonių operacijų vadovė. Christie Hemm Klok
Pasak laboratorijos atstovo, iš daugiau nei 120 darbuotojų 25% yra moterys arba ne dvejetainiai. Ji sakė, kad vykdomojoje komandoje taip pat yra dvi moterys, o lyderių komandą sudaro 30 proc. moterų, tačiau nenurodė, kas buvo įtraukta į šias komandas. (Visi keturi „C-suite“ vadovai, įskaitant Brockmaną ir Altmaną, yra baltieji vyrai. Iš daugiau nei 112 darbuotojų, kuriuos sužinojau „LinkedIn“ ir kituose šaltiniuose, didžioji dalis buvo baltieji arba azijiečiai.)
Tiesą sakant, šis įvairovės trūkumas būdingas AI. Praėjusiais metais a ataskaita Niujorke įsikūręs tyrimų institutas AI Now nustatė, kad moterys sudarė tik 18 % pirmaujančių AI konferencijų autorių, 20 % AI profesorių ir atitinkamai 15 % ir 10 % Facebook ir Google mokslininkų. „OpenAI“ atstovas sakė, kad akademinėje bendruomenėje ir pramonėje dar reikia daug nuveikti. Į įvairovę ir įtrauktį žiūrime rimtai ir nuolat stengiamės ją tobulinti dirbdami su tokiomis iniciatyvomis kaip WiML, Girl Geek ir mūsų Scholars programa.
Iš tiesų, OpenAI bandė išplėsti savo talentų grupę. 2018 m. ji pradėjo savo nuotolinę mokslininkų programą, skirtą nepakankamai atstovaujamoms mažumoms. Tačiau tik du iš pirmųjų aštuonių mokslininkų tapo visą darbo dieną dirbančiais darbuotojais, nors jie pranešė apie teigiamą patirtį. Dažniausia atsisakymo likti priežastis: reikalavimas gyventi San Franciske. Nadjai Rhodes, buvusiai mokslininkei, kuri dabar yra pagrindinė mašinų mokymosi inžinierė Niujorke įsikūrusioje įmonėje, mieste buvo per mažai įvairovės.
Tačiau jei įvairovė yra AI pramonės problema apskritai, tai yra kažkas daugiau egzistencinio įmonei, kurios misija yra tolygiai paskleisti technologiją visiems. Faktas yra tai, kad jai trūksta grupių, kurioms gresia didžiausias pavojus likti nuošalyje.
Taip pat visai neaišku, tik kaip „OpenAI“ planuoja paskirstyti AGI naudą visai žmonijai, kaip dažnai sako Brockmanas, cituodamas savo misiją. Vadovybė apie tai kalba neaiškiai ir mažai ką nuveikė, kad patikslintų specifiką. (Sausio mėn. Oksfordo universiteto Žmonijos ateities institutas paskelbė pranešimą bendradarbiaujant su laboratorija, siūlanti išmokas paskirstyti paskirstant procentą nuo pelno. Tačiau autoriai nurodė svarbias neišspręstas problemas, susijusias su … būdu, kaip jis būtų įgyvendintas.) Tai yra didžiausia mano OpenAI problema, sako buvęs darbuotojas, kuris norėjo likti anonimiškas.
Christie There Klok
Jie taiko sudėtingas technines praktikas, siekdami išspręsti socialines AI problemas, kartoja Britt Paris iš Rutgers. Atrodo, kad jie iš tikrųjų neturi galimybių iš tikrųjų suprasti socialinę. Jie tiesiog supranta, kad šiuo metu tai yra savotiška pelninga vieta, kur galima išsikelti.
Brockmanas sutinka, kad norint pasiekti OpenAI misiją, galiausiai reikės ir techninių, ir socialinių žinių. Tačiau jis nesutinka, kad socialinius klausimus reikia spręsti nuo pat pradžių. Kaip tiksliai jūs išreiškiate etiką ar kitas perspektyvas? O kada jas atveži ir kaip? Viena strategija, kurios galėtumėte laikytis, yra nuo pat pradžių pabandyti kepti viską, ko jums gali prireikti, sako jis. Aš ne galvoti kad ta strategija greičiausiai pasiteisins.
Pirmas dalykas, kurį reikia išsiaiškinti, sako jis, yra tai, kaip AGI atrodys. Tik tada ateis laikas įsitikinti, kad suprantame pasekmes.
Praėjusią vasarą, praėjus kelioms savaitėms po perėjimo prie riboto pelno modelio ir 1 milijardo dolerių injekcijos iš Microsoft, vadovybė patikino darbuotojus, kad šie atnaujinimai funkcionaliai nepakeis OpenAI požiūrio į tyrimus. „Microsoft“ buvo gerai suderinta su laboratorijos vertybėmis, o komercializavimo pastangos bus toli; esminių klausimų siekimas vis tiek liktų darbo esme.
Kurį laiką atrodė, kad šie patikinimai pasitvirtino, o projektai tęsėsi taip, kaip buvo. Daugelis darbuotojų net nežinojo, kokie pažadai buvo duoti „Microsoft“.
Tačiau pastaraisiais mėnesiais sustiprėjo komercializavimo spaudimas, o poreikis atlikti mokslinius tyrimus, leidžiančius uždirbti pinigų, nebejaučiamas kaip kažkas tolimoje ateityje. Dalindamasis savo 2020 m. laboratorijos vizija privačiai su darbuotojais, Altmano žinutė yra aiški: OpenAI turi užsidirbti pinigų, kad galėtų atlikti tyrimus, o ne atvirkščiai.
Vadovybė sakė, kad tai sunkus, bet būtinas kompromisas, kurį turėjo padaryti dėl turtingų filantropinių donorų trūkumo. Priešingai, Sietle įsikūrusi AI2, ne pelno siekianti organizacija, ambicingai skatinanti fundamentinius AI tyrimus, gauna savo lėšas iš save išlaikančio (bent jau artimiausioje ateityje) pinigų fondo, kurį paliko velionis Paulas Allenas, milijardierius, geriausiai žinomas dėl bendro įkūrimo. Microsoft.
Tačiau tiesa ta, kad OpenAI susiduria su šiuo kompromisu ne tik todėl, kad ji nėra turtinga, bet ir todėl, kad ji padarė strateginį pasirinkimą bandyti pasiekti AGI anksčiau nei bet kas kitas. Šis spaudimas verčia jį priimti sprendimus, kurie, atrodo, vis labiau nutolsta nuo pradinio ketinimo. Stengdamasi pritraukti finansavimą ir talentus, jis linksta į ažiotažą, saugo savo mokslinius tyrimus, tikėdamasis išlaikyti pranašumą ir laikosi sudėtingos skaičiavimo strategijos – ne todėl, kad tai yra vienintelis kelias į AGI, o todėl, kad atrodo greičiausias. .
Tačiau OpenAI vis dar yra talentų ir pažangiausių tyrimų bastionas, pilnas žmonių, kurie nuoširdžiai stengiasi dirbti žmonijos labui. Kitaip tariant, jame vis dar yra svarbiausi elementai ir dar yra laiko, kad jis pasikeistų.
Baigiantis interviu su Rhodes, buvusia nuotoliniu būdu, klausiu jos vieno dalyko apie OpenAI, kurio neturėčiau praleisti šiame profilyje. Manau, mano nuomone, yra problemų, ji pradeda neryžtingai. Kai kurie iš jų yra galbūt iš aplinkos, su kuria susiduria; kai kurie iš jų yra iš žmonių, kuriuos ji linkusi pritraukti, o kiti žmonės, kuriuos ji nepalieka.
Tačiau man atrodo, kad jie kažką daro šiek tiek teisingai, sako ji. Jaučiu, kad ten žmonės nuoširdžiai stengiasi.
Atnaujinimas: Mes padarėme keletą šios istorijos pakeitimų po to, kai OpenAI paprašė mūsų paaiškinti, kad kai Gregas Brockmanas pasakė, kad jis nemanė, kad yra įmanoma sukurti etiką… nuo pat pradžių kurdamas dirbtinį intelektą, jis norėjo tai reikšti, kad etiniai klausimai negali būti būti išspręstos nuo pat pradžių, o ne todėl, kad jų nepavyko išspręsti nuo pat pradžių. Be to, iškritęs iš Harvardo, jis perėjo tiesiai į MIT, o ne laukė metus. Taip pat, kad jis buvo užaugintas ne ūkyje, o 'hobių ūkyje'. Brockmanas mano, kad šis skirtumas yra svarbus.
Be to, paaiškinome, kad nors OpenAI iš tikrųjų „atsikratė savo ne pelno statuso“, valdyba, kuri yra ne pelno organizacijos dalis, vis dar ją prižiūri ir kad OpenAI skelbia savo tyrimus įmonės tinklaraščio įrašų forma, o ne vietoje, mokslo darbai. Taip pat pataisėme išorės tyrėjų darbo publikavimo datą ir Peterio Eckersley (buvusio, o ne dabartinio, AI partnerystės tyrimų direktoriaus, kurį jis neseniai paliko) ryšį.