211service.com
Kitas AI sprogimas bus apibrėžtas pagal mūsų sukurtus lustus
Jeremy Portje
Aparatinės įrangos dizainas, o ne algoritmai, padės mums pasiekti kitą didelį AI proveržį. Tai teigia Billas Dally, vyriausiasis Nvidia mokslininkas, kuris antradienį užėmė sceną EmTech Digital, MIT Technology Review AI konferencijoje. Jis sakė, kad mūsų dabartinė gilaus mokymosi revoliucija buvo įgalinta aparatinės įrangos.
Kaip įrodymą jis atkreipė dėmesį į šios srities istoriją: daugelis šiandien naudojamų algoritmų egzistavo nuo devintojo dešimtmečio, o didelio kiekio žymėtų duomenų panaudojimo neuroniniams tinklams lavinti proveržis įvyko 2000-ųjų pradžioje. Tačiau tik 2010-ųjų pradžioje, kai į paveikslą pateko grafikos apdorojimo įrenginiai arba GPU, gilaus mokymosi revoliucija iš tikrųjų prasidėjo.
Turime ir toliau teikti galingesnę aparatinę įrangą, kitaip AI pažanga tikrai sulėtės, sakė Dally.
„Nvidia“ dabar tiria tris pagrindinius kelius į priekį: kurti labiau specializuotus lustus; gilaus mokymosi metu reikalingo skaičiavimo mažinimas; ir eksperimentuoti su analoginėmis, o ne skaitmeninėmis lustų architektūromis.
„Nvidia“ išsiaiškino, kad labai specializuoti lustai, sukurti konkrečiai skaičiavimo užduočiai atlikti, gali pranokti GPU lustus, kurie gerai tvarko įvairius skaičiavimo būdus. Skirtumas, pasak Dally, gali būti net 20% didesnis efektyvumas esant tokiam pačiam našumo lygiui.
Dally taip pat nurodė tyrimą, kurį atliko „Nvidia“, siekdama išbandyti genėjimo galimybes – idėją, kad galite sumažinti skaičiavimų, kuriuos reikia atlikti treniruočių metu, skaičių, neprarandant gilaus mokymosi modelio tikslumo. Bendrovės tyrėjai išsiaiškino, kad sugebėjo praleisti apie 90 % tų skaičiavimų, išlaikydami tą patį mokymosi tikslumą. Tai reiškia, kad tos pačios mokymosi užduotys gali būti atliekamos naudojant daug mažesnes lustų architektūras.
Galiausiai Dally paminėjo, kad „Nvidia“ dabar eksperimentuoja su analoginiu skaičiavimu. Kompiuteriai beveik visą informaciją, įskaitant skaičius, saugo kaip seriją 0 s arba vienas s. Tačiau analoginis skaičiavimas leistų tiesiogiai užkoduoti visų rūšių reikšmes, tokias kaip 0,3 arba 0,7. Tai turėtų atverti daug veiksmingesnį skaičiavimą, nes skaičiai gali būti pateikiami glausčiau, nors Dally teigė, kad jo komanda šiuo metu nėra tikra, kaip analoginis bus pritaikytas lustų dizaino ateitį.
Naveenas Rao, „Intel“ AI produktų grupės įmonės viceprezidentas ir generalinis direktorius, taip pat stojo į sceną ir palygino AI aparatinės įrangos evoliucijos svarbą su evoliucijos vaidmeniu biologijoje. Pasak jo, žiurkių ir žmonių evoliucija skiriasi kelių šimtų milijonų metų laikotarpiu. Tačiau, nepaisant gerokai patobulintų galimybių, žmonės turi tokius pačius pagrindinius skaičiavimo vienetus kaip ir jų kolegos graužikai.
Tas pats principas galioja ir kalbant apie lustų dizainą, sakė Rao. Bet koks lustas – specializuotas ar lankstus, skaitmeninis ar analoginis, optinis ar kitoks – yra tiesiog informacijos kodavimo ir manipuliavimo substratas. Tačiau priklausomai nuo to, kaip tas substratas suprojektuotas, tai gali būti skirtumas tarp žiurkės ir žmogaus galimybių.
Pasak jo, vabzdžiai, kaip ir žiurkės, taip pat yra sukurti iš tų pačių pagrindinių vienetų kaip ir žmonės. Tačiau vabzdžiai turi fiksuotą architektūrą, o žmonės turi lankstesnę. Jis tvirtino, kad nė vienas iš jų nėra pranašesnis už kitą, tačiau jie aiškiai išsivystė, kad atitiktų skirtingus tikslus. Tikėtina, kad vabzdžiai gali išgyventi per branduolinį karą, o žmonės turi daug sudėtingesnių galimybių.
Vėlgi, šie principai gali būti taikomi lustų projektavimui. Kadangi į internetą įtraukiame daugiau išmaniųjų įrenginių, ne visada bus prasmės siųsti jų duomenis į debesį, kad jie būtų apdoroti naudojant giluminio mokymosi modelį. Vietoj to gali būti prasminga pačiame įrenginyje paleisti nedidelį, efektyvų giluminio mokymosi modelį. Šiai idėjai, žinomai kaip AI ant krašto, galėtų būti naudingos specializuotos fiksuotos lustų architektūros, kurios yra efektyvesnės. Kita vertus, duomenų centrai, teikiantys dirbtinį intelektą debesyje, veiktų naudojant visiškai lanksčią ir programuojamą lustų architektūrą, kad būtų galima atlikti daug platesnį mokymosi užduočių spektrą.
Rao pažymėjo, kad kad ir kokio lusto dizaino „Intel“ ir „Nvidia“ nuspręstų siekti, poveikis AI raidai bus reikšmingas. Per visą istoriją atskiros civilizacijos evoliucionavo labai skirtingai dėl jų turimų unikalių medžiagų. Taip pat operacijos, kurias „Intel“ ir „Nvidia“ palengvina naudojant skirtingus lustų dizainus, turės didelę įtaką AI bendruomenės mokymosi užduočių rūšims.
Rao sakė, kad šiuo metu esame šiame sparčiame ikikambriniame sprogime [lustų architektūroms], ir ne kiekvienas sprendimas laimės.