Gilus mokymasis monofoninius įrašus paverčia įtraukiančiu garsu

Samuelis Dixonas | Atskleiskite purslą

Klausykitės paukščio giedojimo šalia esančiame medyje ir gana greitai galėsite nustatyti jo apytikslę vietą nežiūrėdami. Klausykitės automobilio variklio riaumojimo, kai kertate kelią, ir paprastai iš karto suprasite, ar jis yra už jūsų.

Žmogaus gebėjimas rasti garsą trimatėje erdvėje yra nepaprastas. Šis reiškinys yra gerai suprantamas - tai yra asimetrinės mūsų ausų formos ir atstumo tarp jų rezultatas.

Tačiau nors mokslininkai išmoko kurti 3D vaizdus, ​​kurie lengvai apgaudinėja mūsų regėjimo sistemas, niekas nerado tinkamo būdo sukurti sintetinius 3D garsus, kurie įtikinamai apgaudinėja mūsų garso sistemas.

Šiandien atrodo, kad tai bent iš dalies pasikeis, nes Ruohan Gao iš Teksaso universiteto ir Kristen Grauman iš „Facebook Research“. Jie panaudojo triuką, kurį žmonės taip pat naudoja mokydami dirbtinio intelekto sistemą įprastus mono garsus paversti gana geru 3D garsu. Tyrėjai tai vadina 2.5D garsu.

Pirmiausia šiek tiek fono. Smegenys naudoja įvairius įkalčius, kad nustatytų, iš kur sklinda garsas 3D erdvėje. Vienas iš svarbių užuominų yra skirtumas tarp garso atvykimo į kiekvieną ausį laiko – tarpgarsinis laiko skirtumas.

Kairėje pusėje sklindantis garsas akivaizdžiai pasieks kairę ausį anksčiau nei dešinė. Ir nors jūs nežinote šio skirtumo, smegenys jį naudoja, kad nustatytų, iš kur kilo garsas.

Kitas dalykas yra tūrio skirtumas. Tas pats garsas kairėje ausyje bus garsesnis nei dešinėje, o smegenys taip pat naudoja šią informaciją, kad atliktų skaičiavimus. Tai vadinama interauralinio lygio skirtumu.

Šie skirtumai priklauso nuo atstumo tarp ausų. Stereofoniniai įrašai neatkuria šio efekto, nes stereomikrofonų atskyrimas jo neatitinka.

Taip pat svarbu, kaip garsas sąveikauja su ausų atvartais. Atvartai iškreipia garsą tokiais būdais, kurie priklauso nuo krypties, iš kurios jis sklinda. Pavyzdžiui, iš priekio sklindantis garsas pasiekia ausies kanalą prieš atsitrenkdamas į ausies atvartą. Priešingai, tą patį garsą, sklindantį iš už galvos, iškraipo ausies atvartas, kol jis pasiekia ausies kanalą.

Smegenys taip pat gali jausti šiuos skirtumus. Tiesą sakant, asimetrinė ausies forma yra priežastis, dėl kurios galime pasakyti, kai garsas sklinda, pavyzdžiui, iš viršaus arba iš daugelio kitų krypčių.

Dirbtinio 3D garso atkūrimo gudrybė yra atkurti visos šios geometrijos poveikį garsui. Ir tai yra sunki problema.

Vienas iš iškraipymų matavimo būdų yra binauralinis įrašymas. Tai įrašas, padarytas įdėjus mikrofoną į kiekvieną ausį, kuris gali atpažinti šiuos mažus variantus.

Analizuodami variantus, mokslininkai gali juos atkurti naudodami matematinį algoritmą, žinomą kaip su galva susijusi perdavimo funkcija. Tai paverčia bet kokias įprastas ausines į ypatingas 3D garso mašinas.

Bet kadangi visų ausys yra skirtingos, visi garsą girdi skirtingai. Taigi, norint sukurti su galva susijusią perdavimo funkciją, prieš leidžiant įrašą reikia išmatuoti žmogaus ausų formą. Ir nors tai galima padaryti laboratorijoje, niekas neišsiaiškino, kaip tai padaryti laukinėje gamtoje.

Vis dėlto yra būdų, kaip apytiksliai įvertinti 3D garsą naudojant garso iškraipymus, kurie nepriklauso nuo ausies formos – tarpgarsinio laiko ir lygio skirtumų.

Graumano ir Gao naudojama gudrybė yra nustatyti, kokia kryptimi sklinda garsas, naudojant vaizdinius signalus (kaip dažnai daro ir žmonės). Taigi, atsižvelgiant į scenos vaizdo įrašą ir monofoninio garso įrašą, mašininio mokymosi sistema nustato, iš kur sklinda garsai, o tada iškraipo tarpgarsinius laiko ir lygių skirtumus, kad sukurtų tokį efektą klausytojui.

Pavyzdžiui, įsivaizduokite vaizdo įrašą, kuriame pora muzikantų groja būgnu ir pianinu. Jei būgnas yra kairėje matymo lauko pusėje, o fortepijonas – dešinėje, nesunku manyti, kad būgno garsai turi sklisti iš kairės, o pianinas – iš dešinės. Būtent tai daro ši mašininio mokymosi sistema, atitinkamai iškraipydama garsą.

Mokslininkų mokymo metodas yra gana paprastas. Pirmas žingsnis mokant bet kokią mašininio mokymosi sistemą yra sukurti duomenų bazę, kurioje būtų pateikiami efektai, kurių reikia išmokti. Graumanas ir Gao sukūrė binauralinius įrašus iš daugiau nei 2000 muzikinių klipų, kuriuos taip pat nufilmavo.

Jų binaurinį įrašymo įrenginį sudaro poros sintetinių ausų, atskirtų žmogaus galvos pločiu, kurios taip pat įrašo sceną priekyje naudojant „GoPro“ kamerą.

Tada komanda panaudojo šiuos įrašus, kad išmokytų mašininio mokymosi algoritmą, kad atpažintų, iš kur sklinda garsas, atsižvelgiant į scenos vaizdo įrašą. Tai išmokęs, jis gali žiūrėti vaizdo įrašą ir iškraipyti monofoninį įrašą taip, kad imituotų, iš kur turėtų sklisti garsas. Gautą išvestį vadiname 2,5D vaizdo garsu – vaizdo srautas padeda vieno kanalo garsą „pakelti“ į erdvinį garsą, sako Graumanas ir Gao.

Rezultatai įspūdingi. Galite žiūrėti jų darbo vaizdo įrašas čia – žiūrėdami būtinai dėvėkite ausines.

Vaizdo įraše lyginami 2,5D įrašų rezultatai su monofoniniu įrašymu ir parodoma, koks geras jis gali būti. Numatomas 2,5D vaizdo garsas suteikia labiau įtraukiantį garso potyrį, sako Graumanas ir Gao.

Tačiau dėl aukščiau paminėtų priežasčių jis nesukuria viso 3D garso – tyrėjai nesukuria suasmenintos su galva susijusios perdavimo funkcijos.

Ir kai kurias situacijas algoritmui sunku išspręsti. Akivaizdu, kad sistema negali susidoroti su jokiu garso šaltiniu, kuris nematomas vaizdo įraše. Jis taip pat negali susidoroti su garso šaltiniais, kurių nebuvo išmokytas atpažinti. Ši sistema daugiausia orientuota į muzikinius vaizdo įrašus.

Nepaisant to, Graumanas ir Gao turi protingą idėją, kuri puikiai tinka daugeliui muzikinių vaizdo įrašų. Ir jie turi ambicijų išplėsti jo taikymo sritį. Mes planuojame ištirti būdus, kaip įtraukti objektų lokalizaciją ir judėjimą, ir aiškiai modeliuoti scenos garsus, sako jie.

Nuoroda: arxiv.org/abs/1812.04204 : 2.5D vaizdo garsas

paslėpti