Gilus mokymasis padės apsaugoti vaizdo įrašus nuo interneto užkimšimo

Vaizdo įrašas užpildo internetą. Apie 75 % viso srauto sudaro vaizdo įrašų turinys, ir tikimasi, kad iki 2021 m. šis skaičius išaugs tris kartus.

Jei nenorime, kad nepasotinama kačių vaizdo įrašų ir srautinio perdavimo paslaugų paklausa amžiams užkimštų vamzdynus, turėsime pasikliauti vaizdo glaudinimu. Tai yra vaizdo įrašo failo perkodavimo, kad jis būtų mažesnis už originalą, procesas. Tačiau dabartinės suspaudimo technologijos yra senovinės pagal šiuolaikinių technologijų standartus. Esamų vaizdo glaudinimo algoritmų pagrindai per pastaruosius 20 metų labai nepasikeitė, sako Orenas Rippelis ir bendradarbiai iš WaveOne, giliai besimokančios bendrovės, kuri bando perkelti vaizdo įrašų glaudinimą į XXI amžių.

Šie vaikinai panaudojo gilų mokymąsi, kad sukurtų naują glaudinimo algoritmą, kuris gerokai pranoksta esamus vaizdo kodekus. Mūsų žiniomis, tai yra pirmasis mašininiu mokymusi pagrįstas metodas, skirtas tai padaryti, sako jie.

Pagrindinė vaizdo įrašo glaudinimo idėja yra pašalinti perteklinius duomenis iš kodo ir pakeisti juos trumpesniu aprašymu, kad vėliau būtų galima atkurti vaizdo įrašą. Dauguma vaizdo įrašų glaudinimo vyksta dviem etapais.

Pirmasis, judesio suspaudimas, ieško judančių objektų ir bando nuspėti, kur jie bus kitame kadre. Tada užuot įrašęs pikselius, susietus su šiuo judančiu objektu kiekviename kadre, algoritmas užkoduoja tik objekto formą kartu su judėjimo kryptimi. Iš tiesų, kai kurie algoritmai žiūri į būsimus kadrus, kad dar tiksliau nustatytų judėjimą, nors akivaizdu, kad tai negali veikti tiesioginėse transliacijose. Rezultatas yra tai, kad suspaustas vaizdo įrašas tiesiog paverčia objektą visame ekrane.

Antrasis suspaudimo veiksmas pašalina kitus perteklius tarp vieno ir kito kadro. Taigi, užuot įrašius kiekvieno pikselio spalvą mėlyname danguje, glaudinimo algoritmas gali nustatyti šios spalvos sritį ir nurodyti, kad ji nesikeistų per kelis kitus kadrus. Taigi šie pikseliai išlieka tos pačios spalvos, kol nebus liepta keisti. Tai vadinama likutiniu suspaudimu.

Naujasis metodas, kurį sukūrė Rippel ir bendradarbiai, naudoja mašininį mokymąsi, kad pagerintų abu šiuos suspaudimo būdus. Imkitės judesio suspaudimo, kai komandos mašininio mokymosi metodai rado naujų judesio pertekliaus, kurių įprasti kodekai niekada negalėjo išnaudoti.

Pavyzdžiui, žmogaus galva, pasukusi iš priekio į šoną, visada duoda panašų rezultatą. Tradiciniai kodekai negalės nuspėti profilio veido iš priekio, sako Rippel ir kt. Priešingai, naujasis kodekas išmoksta tokius erdvės ir laiko modelius ir naudoja juos būsimiems kadrams numatyti.

Kita problema yra paskirstyti turimą pralaidumą tarp judesio ir likutinio suspaudimo. Kai kuriose scenose judesio suspaudimas yra svarbesnis; kitose didžiausią naudą suteikia liekamasis suspaudimas. Optimalus kompromisas tarp jų skiriasi priklausomai nuo kadro.

Tradiciniams glaudinimo algoritmams tai sunku, nes jie suspaudžia abu procesus atskirai. Tai reiškia, kad nėra lengvo būdo jas pakeisti.

„Rippel“ ir „co“ tai išsprendžia suglaudindami abu signalus vienu metu ir naudodami kadrų sudėtingumą nuspręsdami, kaip efektyviausiai paskirstyti pralaidumą tarp jų.

Šie ir kiti patobulinimai leido tyrėjams sukurti glaudinimo algoritmą, kuris gerokai lenkia tradicinius kodekus. Kai glaudinamas didelės raiškos (1080p) vaizdo įrašas, įprasti glaudinimo algoritmai, tokie kaip H.265 ir VP9, ​​sukuria 20 % didesnius failus nei naudojant naująjį algoritmą.

Nauda dar didesnė standartinės raiškos vaizdo įrašams, pvz., HEVC/H.265 ir AVC/H.264. Paprastai jie sukuria iki 60 % didesnius failus nei naujas komandos metodas.

Tai įspūdingas pelnas, galintis žymiai sumažinti internetinių vaizdo įrašų dydį ir atsisiuntimo laiką.

Tačiau naujas požiūris neturi tam tikrų trūkumų. Galbūt svarbiausias yra jo skaičiavimo efektyvumas – laikas, kurio reikia vaizdo įrašams užkoduoti ir iškoduoti. „Nvidia Tesla V100“ įrenginiu ir VGA dydžio vaizdo įrašuose naujasis dekoderis veikia maždaug 10 kadrų per sekundę greičiu, o kodavimo įrenginys veikia maždaug 2 kadrų per sekundę greičiu. Tai yra ribota tiesioginės transliacijos programa.

Žinoma, mokslininkai tikisi padaryti reikšmingų patobulinimų, kai peržengs principo įrodymo etapą. Pasak jų, dabartinės spartos nepakanka diegti realiuoju laiku, tačiau ateityje ji turi būti gerokai pagerinta.

Tai reiškia, kad dėl tokio mašininio mokymosi metodo būsimi kibernetiniai banglentininkai turėtų turėti galimybę rekordiškai greitai atsisiųsti savo „Game of Thrones“ arba kačių vaizdo įrašus ir efektyviau nei bet kada anksčiau transliuoti didelės raiškos futbolo žaidimus.

Nuoroda: arxiv.org/abs/1811.06981 : Išmoktas vaizdo suspaudimas

paslėpti