Radikaliai nauja technika leidžia dirbtiniam intelektui mokytis praktiškai be jokių duomenų

Mitinis raganosis. Ponia Tech / Pixabay

Mašininiam mokymuisi paprastai reikia daugybės pavyzdžių. Kad dirbtinio intelekto modelis atpažintų arklį, reikia jam parodyti tūkstančius arklių vaizdų. Dėl to technologija yra brangi skaičiavimo požiūriu ir labai skiriasi nuo žmogaus mokymosi. Vaikas dažnai turi pamatyti vos kelis daikto pavyzdžius ar net vieną, kad galėtų jį atpažinti visą gyvenimą.

Tiesą sakant, vaikams kartais nereikia bet koks pavyzdžiai ką nors identifikuoti. Parodytos arklio ir raganosio nuotraukos ir pasakyta, kad vienaragis yra kažkas tarp jų, jie gali atpažinti mitinę būtybę paveikslėlių knygoje pirmą kartą ją pamatę.

Hmm... gerai, ne visai.

MS TECH / PIXABAY

Dabar į naujas popierius iš Vaterlo universiteto Ontarijo valstijoje teigia, kad dirbtinio intelekto modeliai taip pat turėtų sugebėti tai padaryti – procesą, kurį mokslininkai vadina mažiau nei vienkartiniu arba LO-shot mokymusi. Kitaip tariant, AI modelis turėtų galėti tiksliai atpažinti daugiau daugiau nei pavyzdžių, pagal kuriuos buvo mokoma. Tai gali būti didelis dalykas sričiai, kuri vis labiau brango ir tapo neprieinama, nes naudojami duomenų rinkiniai tampa vis didesni.

Kaip veikia mažiau nei vienkartinis mokymasis

Tyrėjai pirmą kartą pademonstravo šią idėją eksperimentuodami su populiariu kompiuterinės regos duomenų rinkiniu, žinomu kaip MNIST . MNIST, kuriame yra 60 000 mokomųjų vaizdų su ranka rašytų skaitmenų nuo 0 iki 9, dažnai naudojamas išbandyti naujas idėjas šioje srityje.

Į ankstesnis dokumentas MIT mokslininkai įdiegė techniką, leidžiančią milžiniškus duomenų rinkinius distiliuoti į mažyčius, ir kaip koncepcijos įrodymą jie suglaudino MNIST iki 10 vaizdų. Vaizdai nebuvo pasirinkti iš pradinio duomenų rinkinio, bet kruopščiai sukurti ir optimizuoti, kad juose būtų tiek pat informacijos, kiek ir visame rinkinyje. Dėl to, kai dirbtinio intelekto modelis buvo apmokytas tik 10 vaizdų, jis gali pasiekti beveik tokį patį tikslumą kaip ir visų MNIST vaizdų.

Vaizdų pavyzdžiai iš MNIST duomenų rinkinio.

WIKIMEDIA

10 vaizdų, „distiliuotų“ iš MNIST, kurie gali išmokyti dirbtinio intelekto modelį pasiekti 94 % atpažinimo tikslumą pagal ranka rašytus skaitmenis.

TONGZHOU WANG ET AL.

Vaterlo tyrėjai norėjo toliau tęsti distiliavimo procesą. Jei įmanoma 60 000 vaizdų sumažinti iki 10, kodėl gi jų nesuspausti į penkis? Jie suprato, kad gudrybė buvo sukurti vaizdus, ​​​​sujungiančius kelis skaitmenis, o tada perkelti juos į AI modelį su hibridinėmis arba minkštomis etiketėmis. (Pagalvokite apie arklį ir raganosį, turinčius dalinių vienaragio bruožų.)

Jei galvojate apie skaitmenį 3, jis taip pat atrodo kaip 8 skaitmuo, bet nieko nepanašus į skaitmenį 7, sako Ilia Sucholutsky, Vaterlo doktorantė ir pagrindinė straipsnio autorė. Minkštos etiketės bando užfiksuoti šias bendras funkcijas. Taigi, užuot pasakę mašinai: „Šis vaizdas yra 3 skaitmuo“, sakome: „Šis vaizdas 60 % yra 3 skaitmuo, 30 % 8 skaitmuo ir 10 % 0 skaitmuo.

LO-shot mokymosi ribos

Kai mokslininkai sėkmingai panaudojo minkštąsias etiketes, kad pasiektų LO-shot mokymąsi MNIST, jie pradėjo domėtis, kiek ši idėja iš tikrųjų gali nueiti. Ar yra kategorijų, kurias galite išmokyti AI modelį atpažinti iš nedidelio skaičiaus pavyzdžių, skaičius ribotas?

Keista, bet atsakymas atrodo neigiamas. Naudojant kruopščiai sukurtas minkštas etiketes, net du pavyzdžiai teoriškai galėtų užkoduoti bet kokį kategorijų skaičių. Su dviem taškais galite atskirti tūkstantį klasių arba 10 000 klasių arba milijoną klasių, sako Sucholutsky.

Obuolių (žali ir raudoni taškai) ir apelsinų (oranžiniai taškai) braižymas pagal svorį ir spalvą.

PRITAIKYTA IŠ JASON MAYES „MACHINE LEARNING 101“ SLIDE DECK

Būtent tai tyrėjai demonstruoja savo naujausiame dokumente, atlikdami grynai matematinį tyrimą. Jie įgyvendina šią koncepciją naudodami vieną iš paprasčiausių mašininio mokymosi algoritmų, žinomų kaip k-arčiausiai kaimynai (kNN), kuris klasifikuoja objektus naudodamas grafinį metodą.

Norėdami suprasti, kaip veikia kNN, paimkite vaisių klasifikavimo užduotį kaip pavyzdį. Jei norite išmokyti kNN modelį suprasti skirtumą tarp obuolių ir apelsinų, pirmiausia turite pasirinkti savybes, kurias norite naudoti kiekvienam vaisiui pavaizduoti. Galbūt pasirenkate spalvą ir svorį, todėl kiekvienam obuoliui ir apelsinui pateikiate kNN vieną duomenų tašką, kurio x reikšmė yra vaisiaus spalva, o y vertė yra svoris. Tada kNN algoritmas nubraižo visus duomenų taškus 2D diagramoje ir nubrėžia ribos liniją tiesiai per vidurį tarp obuolių ir apelsinų. Šiuo metu brėžinys yra tvarkingai padalytas į dvi klases, o algoritmas dabar gali nuspręsti, ar nauji duomenų taškai atspindi vieną ar kitą, pagal kurią linijos pusę jie patenka.

Norėdami ištirti LO-shot mokymąsi naudojant kNN algoritmą, mokslininkai sukūrė mažų sintetinių duomenų rinkinių seriją ir kruopščiai sukūrė jų minkštąsias etiketes. Tada jie leido kNN nubraižyti matomas ribines linijas ir nustatė, kad sklypą sėkmingai suskaidė į daugiau klasių nei duomenų taškų. Tyrėjai taip pat puikiai kontroliavo, kur nukrito ribos. Naudodami įvairius minkštųjų etikečių patobulinimus, jie galėjo gauti kNN algoritmą, kad nubrėžtų tikslius gėlių formos raštus.

Tyrėjai naudojo minkštais pažymėtus pavyzdžius, kad išmokytų kNN algoritmą koduoti vis sudėtingesnes ribines linijas, padalydami diagramą į daug daugiau klasių nei duomenų taškų. Kiekviena iš spalvotų plotų diagramose reiškia skirtingą klasę, o skritulinės diagramos, esančios kiekvieno brėžinio šone, rodo minkštą kiekvieno duomenų taško etiketės pasiskirstymą.

ILIA SUCHOLUTSKY IR AL.

Žinoma, šie teoriniai tyrinėjimai turi tam tikras ribas. Nors LO-shot mokymosi idėja turėtų būti perkelta į sudėtingesnius algoritmus, minkštųjų pavyzdžių projektavimo užduotis tampa daug sunkesnė. kNN algoritmas yra interpretuojamas ir vizualus, todėl žmonės gali kurti etiketes; neuroniniai tinklai yra sudėtingi ir neįveikiami, o tai reiškia, kad tas pats gali būti netiesa. Duomenų distiliavimas, naudojamas kuriant minkštųjų neuroninių tinklų pavyzdžius, taip pat turi didelį trūkumą: norint jį sumažinti iki veiksmingesnio, reikia pradėti nuo milžiniško duomenų rinkinio.

Sucholutsky sako, kad dabar ieško kitų būdų, kaip sukurti šiuos mažus sintetinius duomenų rinkinius, nesvarbu, ar tai reiškia, kad juos reikia kurti rankomis, ar naudojant kitą algoritmą. Nepaisant šių papildomų tyrimų iššūkių, dokumente pateikiami teoriniai LO-shot mokymosi pagrindai. Išvada yra tokia, kad atsižvelgiant į tai, kokius duomenų rinkinius turite, tikriausiai galite gauti didžiulį efektyvumo padidėjimą, sako jis.

Tai labiausiai domina Tongzhou Wang, MIT doktorantas, vadovavęs ankstesniems duomenų distiliavimo tyrimams. Straipsnis grindžiamas tikrai nauju ir svarbiu tikslu: išmokti galingų modelių iš mažų duomenų rinkinių, sako jis apie Sucholutskio indėlį.

Ryanas Khurana, Monrealio AI etikos instituto tyrėjas, kartoja šią nuotaiką: Svarbiausia, kad mokymasis „mažiau nei per vieną kartą“ radikaliai sumažintų duomenų reikalavimus, kad būtų sukurtas veikiantis modelis. Tai galėtų padaryti dirbtinį intelektą labiau prieinamą įmonėms ir pramonės šakoms, kurioms iki šiol trukdė šios srities duomenų reikalavimai. Tai taip pat galėtų pagerinti duomenų privatumą, nes norint parengti naudingus modelius, iš asmenų reikėtų gauti mažiau informacijos.

Sucholutskis pabrėžia, kad tyrimas dar ankstyvas, tačiau jis jaudinasi. Kiekvieną kartą, kai jis pradeda pristatyti savo darbą kolegoms tyrinėtojams, jų pirminė reakcija yra pasakyti, kad idėja neįmanoma, sako jis. Kai jie staiga supranta, kad taip nėra, tai atveria visiškai naują pasaulį.

paslėpti