211service.com
Kaip AI gali spartėti po Moore'o dėsnio
Panašu, kad naujos lustų dizaino idėjos leis programinei įrangai tapti protingesne. 2017 m. gegužės 30 d
Andrea Chronopoulos
„Google“ generalinis direktorius Sundaras Pichai buvo akivaizdžiai susijaudinęs, kai anksčiau šį mėnesį kalbėjo su kūrėjais apie sėkmingą jo mašininio mokymosi laboratorijos rezultatą. Tyrėjai išsiaiškino, kaip automatizuoti kai kuriuos mašininio mokymosi programinės įrangos kūrimo darbus, o tai gali padėti daug lengviau įdiegti technologiją naujose situacijose ir pramonės šakose.
Tačiau projektas jau įgijo reputaciją tarp DI tyrėjų dėl kitos priežasties: tai, kaip jis iliustravo didžiulius skaičiavimo išteklius, reikalingus konkuruoti pažangiausiuose mašininio mokymosi srityje.
„Google“ tyrėjų dokumente teigiama, kad jie vienu metu naudojo net 800 galingų ir brangių grafikos procesorių, kurie buvo itin svarbūs pastaruoju metu išaugusiai mašininio mokymosi galiai (žr. 10 Breakthrough Technologies 2013: Deep Learning). Jie pasakojo MIT technologijų apžvalga kad projektas surišo šimtus lustų dviem savaitėms tvirtai, todėl technologijai reikia daug išteklių, kad būtų daugiau nei „Google“ tyrimų projektas.
Koderiui, neturinčiam prieigos prie milžiniškos GPU kolekcijos, reikės gilių kišenių, kad būtų galima pakartoti eksperimentą. 800 GPU nuoma iš „Amazon“ debesų kompiuterijos paslaugos tik savaitei kainuotų apie 120 000 USD nurodytomis kainomis.
Andrea Chronopoulos
Duomenų tiekimas į giluminio mokymosi programinę įrangą, kad būtų išmokytas atlikti tam tikrą užduotį, reikalauja daug daugiau išteklių nei paleisti sistemą vėliau, tačiau tai vis tiek reikalauja didelių pastangų. Skaičiavimo galia šiuo metu yra mašininio mokymosi kliūtis, sako Reza Zadeh , Stanfordo universiteto docentas ir įkūrėjas bei generalinis direktorius Matroid , startuolis, padedantis įmonėms naudoti programinę įrangą, kad būtų galima identifikuoti tokius objektus kaip automobiliai ir žmonės saugos filmuotoje medžiagoje ir kituose vaizdo įrašuose.
Staigus naujų galių, skatinančių dirbtinį intelektą, troškulys atsiranda tuo metu, kai kompiuterių pramonė prisitaiko prie dviejų dalykų, kuriais rėmėsi 50 metų, praradimo, kad lustai taptų galingesni. Vienas iš jų yra Moore'o įstatymas, kuris prognozuoja, kad tranzistorių, kuriuos galima pritaikyti tam tikroje lusto srityje, skaičius padvigubės kas dvejus metus. Kitas yra reiškinys, vadinamas Dennardo masteliu, kuris apibūdina, kaip tranzistorių sunaudojama galia mažėja, kai jie mažėja.
Šiandien nei viena, nei kita negalioja. „Intel“ sulėtino naujų lustų su mažesniais, tankesniais tranzistoriais kartas pristatymo tempą (žr. Moore'o dėsnis miręs. Kas dabar?). Ir įprastas efektyvumo padidėjimas, kurį rodė tranzistoriai mažėjant, sustojo 2000-ųjų viduryje, todėl energijos suvartojimas sukėlė didelį galvos skausmą.
Geros naujienos tiems, kurie lažinasi dėl AI, yra tai, kad grafikos lustai iki šiol sugebėjo nepaisyti gravitacijos. Neseniai vykusioje pirmaujančios grafikos lustų gamintojos „Nvidia“ konferencijoje generalinis direktorius Jensenas Huangas parodė diagramą, rodančią, kaip jo lustų našumas ir toliau eksponentiškai spartėjo, o bendrosios paskirties procesorių arba procesorių našumo augimas sulėtėjo.
Dougas Burgeris, išskirtinis „Microsoft“ NExT padalinio, kuris dirba su naujų technologijų komercializavimu, inžinierius, teigia, kad panašus atotrūkis atsiranda tarp įprastos ir mašininio mokymosi programinės įrangos. Pradedate matyti [našumo] plynaukštę bendrojoje programinėje įrangoje – ji nustojo tobulėti istoriniais tempais, tačiau ši AI medžiaga vis dar sparčiai auga, sako jis.
Burger mano, kad ši tendencija išliks. Jis sako, kad inžinieriai padidino GPU galingumą, nes jie gali būti labiau specializuoti tam tikrai matematikai, kurią reikia atlikti grafikos ar mašininio mokymosi tikslais.
Tą pačią idėją slypi „Microsoft“ vadovaujamas projektas „Burger“, kuris DI programinei įrangai suteikia daugiau galios, naudodamas perkonfigūruojamus lustus, vadinamus FPGA. Tai taip pat skatina startuolius ir tokius milžinus, kaip „Google“, kurti naujus lustus, pritaikytus mašininiam mokymuisi (žr. „Google“ atskleidžia galingą naują AI lustą ir superkompiuterį).
Ilgainiui reikės radikalesnių kompiuterių lustų veikimo pokyčių, kad dirbtinis intelektas būtų galingesnis. Viena iš galimybių yra sukurti lustus, kurie nepridedami tiksliai. Prototipai parodė, kad jie gali padaryti kompiuterius efektyvesnius, nepakenkiant mašininio mokymosi programinės įrangos rezultatų tikslumui (žr. Kodėl matematikos lustas gali padėti kompiuteriams spręsti sudėtingesnes problemas).
Lustų dizainas, tiesiogiai kopijuojantis iš biologijos, taip pat gali būti labai svarbus. IBM ir kiti sukūrė lustų prototipus, kurie skaičiuoja naudodami srovės šuolius, panašiai kaip mūsų neuronai (žr. „Mąstymas silicyje“). Burgeris pabrėžia, kad net paprasti gyvūnai sunaudoja mažai energijos, kad padarytų daugiau, nei gali atlikti šiandieniniai robotai ir programinė įranga – tai įrodymas, kad kompiuteriai turi daug ką nuveikti.
Pažiūrėkite, kokius skaičiavimus atlieka tarakonas, sako jis. Yra egzistavimo įrodymų, rodančių, kad yra daug daugiau našumo ir efektyvumo dydžių. Galime turėti dešimtmečius dirbtinio intelekto mastelio keitimo.