Kitas didelis AI žingsnis? Vaizdo įrašo supratimas

Ekrano kopija iš vieno iš vaizdo įrašų „Moments in Time Dataset“, kuri gali padėti AI geriau suprasti vaizdo įrašų turinį. Akimirkos laiko duomenų rinkinyje





Kompiuteriui atpažinti katę ar antį nuotraukoje yra gana protinga. Tačiau griežtesnis dirbtinio intelekto išbandymas bus supratimas, kai katė važiuoja „Roomba“ ir vejasi antį po virtuvę .

MIT ir IBM šią savaitę išleido didžiulį duomenų rinkinį vaizdo klipų, kruopščiai komentuotų su vykdomo veiksmo detalėmis. The Akimirkos laiko duomenų rinkinyje apima trijų sekundžių trukmės ištraukas nuo žvejybos iki breiko šokių.

Daug dalykų pasaulyje keičiasi nuo vienos sekundės iki kitos, sako Aude Oliva , pagrindinis MIT mokslininkas ir vienas iš projekto dalyvių. Jei norite suprasti, kodėl kažkas vyksta, judesys suteikia daug informacijos, kurios negalite užfiksuoti viename kadre.



Dabartinį dirbtinio intelekto bumą iš dalies paskatino sėkmė mokant kompiuterius atpažinti statinių vaizdų turinį, lavinant gilius neuroninius tinklus dideliuose pažymėtuose duomenų rinkiniuose (žr. Revoliucinė technika, kuri amžinai pakeitė mašinos regėjimą).

AI sistemos, kurios šiandien interpretuoja vaizdo įrašus, įskaitant sistemas, esančias kai kuriuose savaeigiuose automobiliuose, dažnai remiasi objektų identifikavimu statiniuose kadruose, o ne veiksmų interpretavimu. Pirmadienį „Google“ pristatė įrankį, galintį atpažinti objektus vaizdo įraše, kaip „Cloud Platform“ dalį – paslaugą, kuri jau apima AI įrankius vaizdams, garsui ir tekstui apdoroti.

Kitas iššūkis gali būti mokyti mašinas suprasti ne tik tai, kas yra vaizdo įraše, bet ir kas vyksta filmuotoje medžiagoje. Tai gali turėti tam tikros praktinės naudos ir galbūt paskatinti naujus galingus vaizdo įrašų paieškos, komentavimo ir gavybos būdus. Tai taip pat padeda robotams ar savarankiškai važiuojantiems automobiliams geriau suprasti, kaip klostosi juos supantis pasaulis.



MIT-IBM projektas iš tikrųjų yra tik vienas iš kelių vaizdo duomenų rinkinių, skirtų treniruoklių pažangai skatinti, kad suprastų veiksmus fiziniame pasaulyje. Pavyzdžiui, praėjusiais metais „Google“ išleido rinkinį aštuoni milijonai pažymėtų „YouTube“ vaizdo įrašų vadinamas YouTube-8M. „Facebook“ kuria anotuotą vaizdo įrašų veiksmų duomenų rinkinį, vadinamą „Scenų, veiksmų ir objektų rinkiniu“.

Prinstono universiteto docentė Olga Russakovsky, kuri specializuojasi kompiuterinio matymo srityje, sako, kad pasirodė sudėtinga sukurti naudingus vaizdo duomenų rinkinius, nes jiems reikia daugiau atminties ir skaičiavimo galios nei nejudančių vaizdų. Džiaugiuosi galėdama žaisti su šiais naujais duomenimis, sako ji. Manau, kad trijų sekundžių ilgis yra puikus – jis suteikia laiko kontekstą, išlaikant žemus saugojimo ir skaičiavimo reikalavimus.

Kiti laikosi kūrybiškesnio požiūrio. Dvidešimt milijardų neuronų , Toronte ir Berlyne įsikūręs startuolis, sukūrė tinkintą duomenų rinkinį, mokėdamas sutelktiniams darbuotojams už paprastas užduotis. Vienas iš bendrovės įkūrėjų, Rolandas Memiškevičius , sako, kad taip pat naudojamas neuroninis tinklas, specialiai sukurtas apdoroti laiko regėjimo informaciją.

Jis sako, kad tinklai, apmokyti naudoti kitus duomenų rinkinius, gali pasakyti, ar vaizdo įraše rodomos futbolo rungtynės, ar vakarėlis. Mūsų tinklai gali pasakyti, ar kas nors ką tik įėjo į kambarį.

Projekte bendradarbiavęs IBM mokslininkas Danny Gutfreundas teigia, kad norint efektyviai atpažinti veiksmus reikės, kad mašinos sužinotų apie, tarkime, asmenį, atliekantį veiksmą, ir perkeltų šias žinias į atvejį, kai, pavyzdžiui, gyvūnas atlieka tą patį veiksmą. Pažanga šioje srityje, vadinamoje perkėlimo mokymusi, bus svarbi AI ateičiai. Pažiūrėkime, kaip mašinos gali atlikti šį perdavimo mokymąsi, šią analogiją, kuri mums labai gerai sekasi, sako jis.

Gutfreundas priduria, kad ši technologija gali būti pritaikyta praktiškai. Galite naudoti jį vyresnio amžiaus žmonių priežiūrai, pranešdami, ar kas nors nukrito ar išgėrė vaistų, sako jis. Galite galvoti apie prietaisus, kurie padeda akliesiems.

paslėpti