211service.com
Kai AI tiekia garsą vaizdo klipuose, žmonės negali pasakyti skirtumo
Mašininis mokymasis keičia mūsų mąstymą apie vaizdus ir jų kūrimą. Tyrėjai išmokė mašinas kurti veidus, piešti animacinius filmus ir netgi perkelti paveikslų stilių į paveikslėlius. Tai tik trumpas žingsnis nuo šių metodų iki vaizdo įrašų kūrimo tokiu būdu, ir iš tikrųjų tai jau daroma.
Visa tai rodo būdą virtualią aplinką sukurti tik naudojant mašiną. Tai atveria visas galimybes žmogaus patirties ateičiai.
Tačiau yra problema. Vaizdo įrašas nėra tik vaizdinė patirtis; sukurti tikrovišką garsą taip pat svarbu. Taigi įdomus klausimas, ar mašinos gali įtikinamai generuoti vaizdo įrašo garso komponentą.
Šiandien mes gauname atsakymą dėka Yipino Zhou ir bičiulių iš Šiaurės Karolinos universiteto Chapel Hill ir kelių „Adobe Research“ bičiulių. Šie vaikinai išmoko mašininio mokymosi algoritmą, kad sukurtų tikroviškus garso takelius trumpiems vaizdo klipams.
Iš tiesų, garsai yra tokie tikroviški, kad jie apgauna daugumą žmonių, manydami, kad jie yra tikri. Tu gali išmėgink save čia kad pamatytumėte, ar galite atskirti.
Komanda laikosi standartinio požiūrio į mašininį mokymąsi. Algoritmai yra tokie pat geri, kaip ir jiems mokyti naudojami duomenys, todėl pirmiausia reikia sukurti didelį, aukštos kokybės anotuotų vaizdo įrašų pavyzdžių duomenų rinkinį.
Komanda sukuria šį duomenų rinkinį pasirinkdama klipų poaibį iš „Google“ kolekcijos „Audioset“, kurią sudaro daugiau nei du milijonai 10 sekundžių trukmės „YouTube“ klipų, kuriuose yra garso įvykių. Šie vaizdo įrašai suskirstyti į kategorijas, pažymėtas žmonių etiketėmis, daugiausia dėmesio skiriant šunims, grandininiams pjūklams, malūnsparniams ir pan.
Norėdami išmokyti mašiną, komanda turi turėti klipus, kuriuose garso šaltinis būtų aiškiai matomas. Taigi bet koks vaizdo įrašas, kuriame yra garso iš įvykių ne ekrane, yra netinkamas. Komanda juos filtruoja naudodama „Amazon“ „Mechanical Turk“ tarnybos darbuotojus, kad surastų klipus, kuriuose garso šaltinis yra aiškiai matomas ir dominuoja garso takelyje.
Taip buvo sukurtas naujas duomenų rinkinys su daugiau nei 28 000 vaizdo įrašų, kurių kiekvienas trunka apie septynias sekundes, apimantis 10 skirtingų kategorijų.
Tada komanda naudojo šiuos vaizdo įrašus, kad išmokytų mašiną atpažinti bangų formas, susijusias su kiekviena kategorija, ir atkurti jas nuo nulio naudojant neuroninį tinklą, vadinamą SampleRNN.
Galiausiai jie patikrino rezultatus, prašydami žmonių vertintojų įvertinti vaizdo įrašą lydinčio garso kokybę ir nustatyti, ar jis tikras, ar dirbtinai sukurtas.
Rezultatai rodo, kad mašinos gali puikiai atlikti šią užduotį. Mūsų eksperimentai rodo, kad sukurti garsai yra gana tikroviški ir turi gerą laiko sinchronizavimą su vaizdo įvestimis, tarkim, Zhou ir kt.
Ir žmonių vertintojai, atrodo, sutinka. Įvertinimai rodo, kad daugiau nei 70 % mūsų modelių generuojamo garso gali priversti žmones manyti, kad jie yra tikri, sako Zhou ir kt.
Tai įdomus darbas, atveriantis kelią automatizuotam garso redagavimui. Dažna vaizdo įrašų problema yra ta, kad pašalinis triukšmas, sklindantis ne ekrane, gali sugadinti klipą. Taigi bus naudinga turėti galimybę automatiškai pakeisti garsą realistiška mašinos sukurta alternatyva.
Ir „Adobe“ dalyvaujant šiame tyrime, gali praeiti neilgai trukus, kol pamatysime tokią galimybę komercinėje vaizdo įrašų redagavimo programinėje įrangoje.
Nuoroda: arxiv.org/abs/1712.01393 : Vaizdas į garsą: natūralaus garso generavimas vaizdo įrašams laukinėje gamtoje