Maži keturių bitų kompiuteriai dabar yra viskas, ko jums reikia norint išmokyti dirbtinį intelektą

Aštuoni bitai sudaro baitą, todėl keturi bitai vadinami nibble. Kompiuterių inžinieriai turi juokingą humoro jausmą. Ponia Tech | Sveikinimo kolekcija

Gilus mokymasis yra neefektyvus energijos šernas . Tam reikalingi didžiuliai duomenų kiekiai ir gausūs skaičiavimo ištekliai, o tai padidina elektros suvartojimą. Per pastaruosius kelerius metus bendra tyrimų tendencija pablogino problemą. Didžiulių proporcijų modeliai, kurie keletą dienų buvo mokomi milijarduose duomenų taškų, yra madingi ir greičiausiai greitai neišnyks.

Kai kurie tyrėjai suskubo ieškoti naujų krypčių, pavyzdžiui, algoritmų, kurie gali treniruotis mažiau duomenų , arba techninę įrangą, kuri gali paleisti tuos algoritmus greičiau . Dabar IBM mokslininkai siūlo kitokį. Jų idėja sumažintų bitų skaičių arba vienas smėlis 0 s, reikalingos duomenims pavaizduoti – nuo ​​16 bitų, dabartinio pramonės standarto, iki tik keturių.

The dirbti , kuris šią savaitę pristatomas didžiausioje kasmetinėje AI tyrimų konferencijoje NeurIPS, gali padidinti greitį ir sumažinti energijos sąnaudas, reikalingas giliajam mokymuisi daugiau nei septynis kartus. Taip pat būtų galima treniruoti galingus AI modelius išmaniuosiuose telefonuose ir kituose mažuose įrenginiuose, o tai pagerintų privatumą, nes padėtų saugoti asmeninius duomenis vietiniame įrenginyje. Ir tai padarytų procesą labiau prieinamą tyrėjams, nepriklausantiems didelėms, daug išteklių turinčioms technologijų įmonėms.

Kaip bitai veikia

Tikriausiai jau girdėjote, kad kompiuteriai kaupia daiktus vienas smėlis 0 s. Šie pagrindiniai informacijos vienetai yra žinomi kaip bitai . Kai bitas įjungtas, jis atitinka a vienas ; kai jis išjungtas, jis virsta a 0 . Kitaip tariant, kiekvienas bitas gali saugoti tik dvi informacijos dalis.

Tačiau juos sujungus, informacijos, kurią galite užkoduoti, kiekis auga eksponentiškai. Du bitai gali reikšti keturias informacijos dalis, nes yra 2^2 deriniai: 00 , 01 , 10 , ir vienuolika . Keturi bitai gali atstovauti 2^4 arba 16 informacijos vienetų. Aštuoni bitai gali reikšti 2^8 arba 256. Ir taip toliau.

Tinkamas bitų derinys gali atstovauti duomenų tipus, pvz., skaičius, raides ir spalvas, arba operacijų tipus, pvz., sudėtį, atimtį ir palyginimą. Dauguma nešiojamųjų kompiuterių šiais laikais yra 32 arba 64 bitų kompiuteriai. Tai nereiškia, kad kompiuteris gali užkoduoti tik 2^32 arba 2^64 informacijos vienetų. (Tai būtų labai sudėtingas kompiuteris.) Tai reiškia, kad jis gali naudoti tiek daug sudėtingumo bitų, kad užkoduotų kiekvieną duomenų dalį arba atskirą operaciją.

4 bitų gilus mokymasis

Taigi, ką reiškia 4 bitų mokymas? Pirmiausia turime 4 bitų kompiuterį, taigi, 4 bitų sudėtingumą. Vienas iš būdų pagalvoti apie tai: kiekvienas skaičius, kurį naudojame mokymo procese, turi būti vienas iš 16 sveikųjų skaičių nuo -8 iki 7, nes tai yra vieninteliai skaičiai, kuriuos gali pavaizduoti mūsų kompiuteris. Tai pasakytina apie duomenų taškus, kuriuos pateikiame į neuroninį tinklą, skaičius, kuriuos naudojame neuroniniam tinklui pavaizduoti, ir tarpinius skaičius, kuriuos turime saugoti treniruočių metu.

Taigi, kaip tai padaryti? Pirmiausia pagalvokime apie treniruočių duomenis. Įsivaizduokite, kad tai visa krūva nespalvotų vaizdų. Pirmas žingsnis: tuos vaizdus turime paversti skaičiais, kad kompiuteris juos suprastų. Tai darome pateikdami kiekvieną pikselį pagal jo pilkų atspalvių reikšmę – 0 juodai, 1 baltai, o dešimtainės dalys tarp pilkų atspalvių. Mūsų vaizdas dabar yra skaičių sąrašas nuo 0 iki 1. Tačiau 4 bitų žemėje mums reikia, kad jis svyruotų nuo -8 iki 7. Triukas yra tiesiniu skaičių sąrašo masteliu, kad 0 taptų -8 ir 1 tampa 7, o dešimtainės dalys susiejamos su sveikaisiais skaičiais viduryje. Taigi:

Skaičių sąrašą galite keisti nuo 0 iki 1, kad jis būtų nuo -8 iki 7, o tada suapvalinti bet kokius dešimtainius iki sveiko skaičiaus.

Šis procesas nėra tobulas. Jei pradėtumėte nuo 0,3, tarkime, gautumėte skaičių -3,5. Tačiau mūsų keturi bitai gali reikšti tik sveikus skaičius, todėl jūs turite suapvalinti nuo -3,5 iki -4. Jūs galiausiai prarandate kai kuriuos pilkus atspalvius arba vadinamuosius tikslumas , jūsų atvaizde. Kaip tai atrodo, galite pamatyti žemiau esančiame paveikslėlyje.

Kuo mažesnis bitų skaičius, tuo mažiau nuotraukos detalių. Tai vadinama praradimu tikslumas .

Šis triukas nėra per daug nuskuręs treniruočių duomenims. Bet kai vėl taikome pačiam neuroniniam tinklui, viskas tampa šiek tiek sudėtingesnė.

Neuroninis tinklas.

Dažnai matome, kad neuroniniai tinklai yra nubrėžti kaip kažkas su mazgais ir ryšiais, kaip aukščiau pateiktame paveikslėlyje. Tačiau kompiuteriui tai taip pat virsta skaičių seka. Kiekvienas mazgas turi vadinamąjį aktyvinimas reikšmė, kuri paprastai svyruoja nuo 0 iki 1, ir kiekviena jungtis turi a svorio , kuris paprastai svyruoja nuo -1 iki 1.

Galėtume juos keisti taip pat, kaip darėme su savo pikseliais, tačiau suaktyvinimai ir svoriai taip pat keičiasi kiekvieno treniruotės metu. Pavyzdžiui, kartais aktyvacijos svyruoja nuo 0,2 iki 0,9 viename raunde, o kitame – nuo ​​0,1 iki 0,7. Taigi IBM grupė 2018 m. sugalvojo naują gudrybę: kiekviename raunde pakeisti šių diapazonų skalę, kad būtų nuo -8 iki 7 (kaip parodyta toliau), o tai veiksmingai išvengia per didelio tikslumo praradimo.

Kad neprarastų per daug tikslumo, IBM mokslininkai perskirsto neuroninio tinklo aktyvacijas ir svarmenis kiekvienam treniruotės etapui.

Bet tada lieka vienas paskutinis dalykas: kaip keturiais bitais pavaizduoti tarpines reikšmes, kurios atsiranda treniruotės metu. Sudėtinga yra tai, kad šios vertės gali apimti keletą dydžių, skirtingai nei skaičiai, kuriuos tvarkėme savo vaizdams, svoriams ir aktyvinimams. Jie gali būti maži, pavyzdžiui, 0,001, arba didžiuliai, pavyzdžiui, 1000. Bandant tiesiniu masteliu tai nustatyti iki –8 ir 7, mažame skalės gale prarandamas visas detalumas.

Tiesiškai keičiant skaičius, apimančius kelias didumo eiles, mažame skalės gale prarandamas visas detalumas. Kaip matote čia, bet kokie skaičiai, mažesni nei 100, bus padidinami iki -8 arba -7. Tikslumo trūkumas pakenktų galutiniam AI modelio veikimui.

Po dvejų metų tyrimų mokslininkai pagaliau įveikė galvosūkį: pasiskolinę esamą idėją iš kitų, jie padidina šiuos tarpinius skaičius. logaritmiškai . Kad suprastumėte, ką turiu omenyje, žemiau yra logaritminė skalė, kurią galite atpažinti su vadinamąja 10 baze, naudojant tik keturis sudėtingumo bitus. (Tyrėjai naudoja 4 bazę, nes bandymai ir klaidos parodė, kad tai veikė geriausiai.) Galite pamatyti, kaip tai leidžia užkoduoti tiek mažus, tiek didelius skaičius pagal bitų apribojimus.

Logaritminė skalė su 10 baze.

Kai visos šios dalys yra vietoje, šiame naujausiame dokumente parodyta, kaip jie susijungia. IBM mokslininkai atlieka kelis eksperimentus, kuriuose imituoja 4 bitų mokymą, skirtą įvairiems gilaus mokymosi modeliams kompiuterinio regėjimo, kalbos ir natūralios kalbos apdorojimo srityse. Rezultatai rodo ribotą bendro modelių našumo tikslumo praradimą, palyginti su 16 bitų giluminiu mokymusi. Šis procesas taip pat yra daugiau nei septynis kartus greitesnis ir septynis kartus efektyvesnis.

Būsimas darbas

Dar reikia atlikti kelis veiksmus, kol 4 bitų gilusis mokymasis taps tikra praktika. Tik popierius imituoja tokio mokymo rezultatus. Norint tai padaryti realiame pasaulyje, reikės naujos 4 bitų aparatinės įrangos. 2019 m. „IBM Research“ pradėjo dirbtinio intelekto aparatinės įrangos centrą, kad paspartintų tokios įrangos kūrimo ir gamybos procesą. Kailashas Gopalakrishnanas, IBM bendradarbis ir vyresnysis vadovas, prižiūrėjęs šį darbą, sako, kad per trejus ar ketverius metus tikisi, kad 4 bitų aparatinė įranga bus paruošta giliam mokymuisi.

Susijusi istorija

Maži dirbtinio intelekto modeliai gali papildyti automatinio taisymo ir balso asistentus jūsų telefone

Tyrime nedalyvavęs Stanfordo profesorius Borisas Murmannas rezultatus vadina įdomiais. Jis sako, kad ši pažanga atveria duris mokymams ribotų išteklių aplinkoje. Tai nebūtinai sudarytų sąlygas naujoms programoms, tačiau esamas programas padarys greičiau ir mažiau eikvoja akumuliatorių. Pavyzdžiui, „Apple“ ir „Google“ vis labiau stengėsi perkelti savo AI modelių, pvz., kalbos į tekstą ir automatinio taisymo sistemų, mokymo procesą. iš debesies ir į vartotojų telefonus . Taip išsaugomas vartotojų privatumas, nes jų duomenys išsaugomi savo telefone, kartu gerinant įrenginio AI galimybes.

Tačiau Murmannas taip pat pažymi, kad reikia daugiau nuveikti, kad patikrintų tyrimo pagrįstumą. Jo grupė 2016 m paskelbė referatą kuris demonstravo 5 bitų mokymą. Tačiau bėgant metams toks požiūris nepasitvirtino. Mūsų paprastas požiūris žlugo, nes neuroniniai tinklai tapo daug jautresni, sako jis. Taigi neaišku, ar tokia technika taip pat atlaikytų laiko išbandymą.

Nepaisant to, dokumentas paskatins kitus žmones į tai žiūrėti labai atidžiai ir paskatins naujų idėjų, sako jis. Tai labai sveikintina pažanga.

paslėpti