Algoritmai gali paversti bet kurią sceną komiksu

Komiksai yra nejudančių vaizdų serija, kuri kartu pasakoja istoriją. Vaizdai dažnai yra labai stilizuoti, o grafikai žavisi savo įgūdžiais.

Tačiau tokio meniškumo sunku išmokti ir jį tobulinti, todėl jį pagaminti reikia daug laiko ir brangu. Taigi menininkams, leidėjams ir skaitytojams labai patiktų automatizuotas būdas padaryti vaizdą imituojamą norimą komišką stilių.

Pasirodo, toks algoritmas jau egzistuoja. Dar 2015 metais grupė tyrinėtojų Vokietijoje atrado būdą, kaip vieno įvaizdžio meninį stilių perkelti į kitą. Nuo tada kiti nuolat tobulino šį metodą, kad jis būtų greitesnis ir tikslesnis.

Iš kairės į dešinę: originalus grafinis vaizdas, tikslinis vaizdas ir gautas stilizuotas vaizdas

Tačiau iki šiol darbas buvo sutelktas į vaizduojamųjų menininkų, tokių kaip Pikasas ir Van Gogas, stiliaus perkėlimą į kitus vaizdus arba įprastų paveikslų pakeitimą tokiu būdu, kaip naktis paverčiama diena. Kaip gerai šie algoritmai veikia su dažnai labiau stilizuotais komiksų menininkų sukurtais vaizdais?

Šiandien mes gauname atsakymą dėl Maciejaus Pęśko ir Tomaszo Trzcińskio darbo Varšuvos technologijos universitete Lenkijoje. Šie vaikinai pritaikė įvairių tipų vaizdo stilių perkėlimą komiškajai grafikai ir palygino rezultatus.

Pirmiausia šiek tiek fono. Šis požiūris prasidėjo nuo Leono Gatyso iš Tubingeno universiteto ir kelių bičiulių, kurie tyrinėjo, kaip gilieji neuroniniai tinklai įrašė ir analizavo meninį stilių. Šiuos tinklus sudaro sluoksniai, kurių kiekvienas analizuoja vaizdą skirtingu lygiu – tokia informacija kaip formos, spalvos ir linijos.

Pagrindinė Gatys ir bendradarbių įžvalga yra ta, kad meninis stilius užfiksuotas ne pačiuose sluoksniuose, o jų tarpusavio sąsajose. Tai iš karto leidžia atskirti menininko stilių nuo meno turinio ir netgi perkelti jį iš vieno vaizdo į kitą.

Ir būtent tai padarė Gatys ir kiti, plačiai nustebindami kompiuterinio matymo bendruomenę. Šis darbas tapo naujos kompiuterinio regėjimo subdisciplinos, žinomos kaip nervinio stiliaus perkėlimas, pagrindu.

Viena iš naujojo požiūrio problemų yra tai, kad reikia daug skaičiavimų. Norint išanalizuoti paveikslėlį, panaikinti jo stilių ir pritaikyti tą stilių kitai scenai, reikia daug laiko – kelių sekundžių 512 x 512 vaizdams šiuolaikiniuose staliniuose kompiuteriuose.

Taigi kompiuterių mokslininkai pradėjo ieškoti įvairių metodų, kurie galėtų greičiau atlikti užduotį. Ir iš tikrųjų jie sugalvojo įvairius algoritmus, kurie atlieka panašų darbą. Tačiau yra kompromisas tarp greičio ir kokybės.

Įeikite Pęśko ir Trzciński. Šie vaikinai išbandė daugybę neuroninio stiliaus perdavimo algoritmų, atlikdami konkrečią užduotį perkelti su komiksais susijusius grafinius stilius. Pasak jų, tai pirmas bandymas įvertinti ir palyginti keliais metodais gautus rezultatus komiško stiliaus perkėlimo kontekste.

Jie ypač sutelkia dėmesį į greičiausius metodus, kurie gali dirbti su bet kokiu grafiniu vaizdu. Mes daugiausia dėmesio skiriame metodams, kurių vykdymo laikas vienam vaizdui neviršija 2 sekundžių, sako jie.

Tokiu būdu jie išbandė penkis skirtingus algoritmus 600 x 450 pikselių vaizdams, apdorotiems naudojant 12 gigabaitų Titan X grafikos apdorojimo įrenginį. Jie atrinko įvairius komiksų stilius vaizduojančius vaizdus ir perkėlė juos į vaizdus, ​​atsitiktinai pasirinktus iš „Google“ vaizdų paieškos.

Galiausiai jie parodė rezultatus 100 žmonių, kad įvertintų, kaip gerai algoritmai pasiekė stiliaus perdavimą.

Rezultatai rodo šios srities pažangą. Geriausiai įvertintas algoritmas, žinomas kaip adaptyvus egzempliorių normalizavimas, sukurtas 2017 m., už jį surinkus apie 30 procentų balsų. Tai patvirtina mūsų prielaidas, kad šis metodas suteikia rezultatus, kurie stilistiniu panašumu yra artimiausi animaciniams filmams ar komiksams, sako Pęśko ir Trzciński.

Tačiau rezultatai jokiu būdu nėra tobuli. Visi metodai tam tikru mastu kenčia nuo problemų, tokių kaip netinkamas spalvų perkėlimas ir susiliejimas. Manome, kad dar yra kur tobulėti, sako mokslininkai.

Tai reiškia galimybę. Vien JAV komiksų rinka siekia 1 milijardą dolerių per metus. Ir daugelis pasaulio šalių, pavyzdžiui, Indija, dar turi sukurti savo kultūrą apie komiksus. Taigi yra rinkų, kurios turi potencialo augti.

Galimybė kurti aukštos kokybės komiškus vaizdus labai pakeis visus, norinčius užkariauti tas rinkas.

Tačiau yra ir kita problema: iššūkis sukurti galingus personažus ir patrauklias siužetas. Neuroniniai tinklai to negali padėti… bent jau kol kas.

Nuoroda: arxiv.org/abs/1809.01726 : Neuroninio komikso stiliaus perkėlimas: atvejo tyrimas

paslėpti