Vaizdo įrašų paieška pagal vaizdą ir scenarijų

Šią savaitę „Google“ įsigijimas svetainėje YouTube.com suteikė vilčių, kad vaizdo įrašų paieška pagerės. Svetainės duomenimis, į „YouTube“ kasdien įkeliama daugiau nei 65 000 vaizdo įrašų. Turint visą tą turinį, gali būti sunku rasti tinkamą klipą.

Dabar mokslininkai sukūrė sistemą, kuri naudoja veidų atpažinimo, artimųjų antraščių informacijos ir originalių televizijos scenarijų derinį, kad automatiškai pavadintų veidus, kurie rodomi ekrane ir sukuria televizijos laidos epizodus. Buffy vampyrų žudikas galima ieškoti.

Iš esmės šį darbą vertiname kaip vieną iš pirmųjų žingsnių norint gauti automatinius vaizdo įraše vykstančio vaizdo aprašymus. Markas Everinghamas , kompiuterių mokslininkas, šiuo metu dirbantis Lidso universitete (buvęs Oksfordo universitetas), kuris rugsėjį pristatė savo tyrimus Britų mašinų matymo konferencijoje.

Šiuo metu vaizdo įrašų paieškas siūlo AOL vaizdo įrašas , Google , ir Youtube neieškokite paties vaizdo įrašo turinio, o pirmiausia pasikliaukite metaduomenimis arba tekstiniais aprašymais, kuriuos parašė vartotojai, kad sukurtų žiniatinklio medijos turinio rodyklę, kurioje galima ieškoti.

Vartotojai dažnai (ir nelegaliai) įkelia mėgstamų komedijų dalis į vaizdo įrašų bendrinimo svetaines, pvz., „YouTube“. Pavyzdžiui, neseniai atlikta vampyrų žudikės Bafi paieška „YouTube“ pasirodė beveik 2 000 klipų, daugelis jų peržiūrėta tūkstančius kartų. Dauguma šių klipų trunka trumpiau nei penkias minutes, o aprašymai neaiškūs. Pavyzdžiui, vieną, pavadintą Atėjo nauja diena, vartotojas apibūdina taip: Jame daugiausia yra Buffy ir Spike. Tai parodo, kaip Spike'as buvo šalia Buffy, kol jis mirė, o vėliau ji jautėsi viena.

Everinghamas sako, kad ankstesniame vaizdo įrašų paieškos darbe buvo naudojami subtitrų duomenys, kad būtų rasti vaizdo įrašai, tačiau jis nežino, kad kas nors būtų naudojęs jo metodą, kuris techniniame kelionės metu derina subtitrus ir scenarijaus anotaciją. Scenarijus pasakoja, kas ir kas pasakė, o subtitrai nurodo, kada kažkas sakoma, – aiškina jis. „Everingham“ programinė įranga sujungia šiuos du informacijos šaltinius su galingais įrankiais, anksčiau sukurtais veidams sekti ir garsiakalbiams identifikuoti be vartotojo įvesties.

Kas paskatino Buffy Everinghamas sako, kad toks iššūkis yra tas, kad filme ir televizijoje kalbantis asmuo ne visada būna kadre. Pavyzdžiui, žvaigždė Buffy gali kalbėti ne ekrane arba nusisukusi nuo fotoaparato, o kamera parodys jums klausytojo reakcijas. Kitais atvejais ekrane gali būti keli aktoriai arba aktoriaus veidas nėra tiesiogiai nukreiptas į kamerą. Visas šias dviprasmybes lengva interpretuoti žmonėms, bet sunku kompiuteriams – bent jau iki šiol. Everinghamas teigia, kad jų multimodalinė sistema yra tiksli iki 80 procentų laiko.

Vienas epizodas Buffy gali turėti iki 20 000 aptiktų veidų atvejų, tačiau dauguma šių atvejų atsiranda iš kelių vieno simbolio kadrų bet kuriame kadre. Programinė įranga seka pagrindinius aktoriaus veidų orientyrus – pavyzdžiui, šnerves, vyzdžius ir akis – ir jei vienas iš jų persidengia su kitu kadru, abu veidai laikomi vieno takelio dalimi. Tačiau jei šie orientyrai neaiškūs, programinė įranga naudoja drabužių aprašymą, kad sujungtų du pažeistus veido pėdsakus. Galiausiai programinė įranga taip pat stebi aktorių lūpas, kad nustatytų, kas kalba arba ar kalbėtojas yra už ekrano. Galiausiai sistema sukuria išsamią vaizdo įrašo anotaciją.

Bendra idėja yra ta, kad norite gauti daugiau informacijos, jei žmonės jos neužfiksuos, sako Alexas Bergas Kompiuterinės vizijos grupė Kalifornijos universitete Berklyje. Jei norite rasti tam tikrą sceną su veikėju, pirmiausia turite rasti scenas, kuriose yra tas veikėjas. Jis sako, kad Everinghamo tyrimai atvers kelią sudėtingesnėms televizijos programų paieškoms.

Kompiuterių mokslininkas Josefas Sivicas Oksforde Vizualinės geometrijos grupė , kurie prisidėjo prie Buffy projektas, teigia, kad ateityje bus galima ieškoti aukšto lygio koncepcijų, tokių kaip Buffy ir Spike, vaikščiojantys link fotoaparato ranka rankon, arba visos lauko scenos, kuriose yra Buffy.

Timothy Tuttle, AOL Video viceprezidentas, sako: Panašu, kad per ateinančius penkerius ar dešimt metų vis daugiau žmonių pasirinks, ką žiūrėti pagal savo tvarkaraštį, ir žiūrės turinį pagal poreikį. Jis taip pat pažymi, kad kliūtis pritaikyti tokias technologijas kaip „Everingham“ gali būti nebe techninė, o teisinė.

Šios teisinės kliūtys sumažėjo spausdintinėje žiniasklaidoje, nes įmonės naudojo finansinę naudą iš turinio, kuriame galima ieškoti – buvo įrodyta, kad „Google Book Scan“ ir „Amazon“ paieškos programos padidinti knygų pardavimą per pastaruosius dvejus metus .

Tačiau neaišku, ar ieškomas vaizdo įrašas gali taip pat padidinti DVD pardavimą. Šiuo metu „Google“ siūlo aukščiausios kokybės vaizdo įrašų turinio anonsus, sako mokslininkė Michele Covell. Ji sako, kad tam tikriems žanrams, pvz., sporto vaizdo įrašams, tampa lengviau pasirinkti anonsinį klipą, kuris paskatintų žmones pirkti vaizdo įrašą.

Shumeetas Baluja, „Google“ mokslininkas, sutinka, kad komentuoti vaizdo įrašus internete bus sunku, tačiau laikui bėgant jie galės pridėti vis daugiau metaduomenų prie populiarių vaizdo klipų neprisijungus, o tai pagerins vaizdo įrašų greitį ir tikslumą. paieškų.

paslėpti