Šis algoritmas vaizdo įrašuose automatiškai nustato veidų apsikeitimą

Neseniai tapo įmanoma paimti vieno žmogaus veidą ar išraišką ir uždėti ją kito asmens vaizdo įraše. Visų pirma, pornografiniai vaizdo įrašai, vadinami giliomis klastotėmis, pasirodė tokiose svetainėse kaip „Reddit“ ir „4Chan“, kuriuose rodomi ant aktorių kūno uždėti žinomų asmenų veidai.

Šis reiškinys turi reikšmingų pasekmių. Tai bent jau gali pakenkti žmonių, kurie tapo tokio pobūdžio klastojimo aukomis, reputacijai. Tai kelia problemų biometrinėms tapatybės sistemoms. Ir tai grasina pakirsti visuomenės pasitikėjimą bet kokiais vaizdo įrašais.

Taigi labai reikalingas greitas ir tikslus būdas pastebėti šiuos vaizdo įrašus.

Kurios iš šių vaizdų porų yra klastotės? Atsakymas žemiau.

Įveskite Andreasą Rosslerį iš Miuncheno technikos universiteto Vokietijoje ir jo kolegas, kurie sukūrė gilaus mokymosi sistemą, kuri gali automatiškai aptikti vaizdo įrašus, kuriuose keičiami veidai. Naujoji technika gali padėti atpažinti suklastotus vaizdo įrašus, kai jie skelbiami internete.

Tačiau darbas turi ir geluonį. Ta pati giluminio mokymosi technika, kuria galima aptikti vaizdo įrašus, kuriuose keičiami veidai, taip pat gali būti panaudota siekiant pagerinti apsikeitimo veidus kokybę, o dėl to juos gali būti sunkiau aptikti.

Naujoji technika remiasi gilaus mokymosi algoritmu, kurį Rossler ir bendradarbiai išmokė pastebėti veidų apsikeitimą. Šie algoritmai gali mokytis tik iš didžiulių anotuotų gerų pavyzdžių duomenų rinkinių, kurių iki šiol tiesiog nebuvo.

Taigi komanda pradėjo kurdama didelį vaizdo įrašų ir jų originalų duomenų rinkinį. Jie naudoja dviejų tipų veidų mainus, kuriuos galima lengvai atlikti naudojant programinę įrangą Face2Face. (Šią programinę įrangą sukūrė kai kurie šios komandos nariai.)

Pirmojo tipo veido keitimas vieno žmogaus veidą uždeda ant kito kūno, kad jis įgautų jo išraiškas. Antrasis paima vieno veido išraiškas ir pakeičia antrąjį veidą, kad parodytų jas.

Komanda tai padarė su daugiau nei 1000 vaizdo įrašų ir sukūrė maždaug pusės milijono vaizdų duomenų bazę, kuriose veidai buvo manipuliuojami naudojant naujausią veido redagavimo programinę įrangą. Jie tai pavadino FaceForensics duomenų baze.

Šios duomenų bazės dydis yra reikšmingas patobulinimas, palyginti su tuo, kas buvo prieinama anksčiau. Pristatome naują manipuliuojamų vaizdo įrašų duomenų rinkinį, kuris viršija visus esamus viešai prieinamus teismo ekspertizės duomenų rinkinius, sako Rossleris ir kt.

Tada komanda naudoja duomenų bazę, kad išmokytų gilaus mokymosi algoritmą, kad atpažintų skirtumą tarp veidų apsikeitimo ir jų nepadirbtų originalų. Gautą algoritmą jie vadina XceptionNet.

Galiausiai jie lygina naująjį požiūrį su kitais klastojimo aptikimo būdais.

Rezultatai įspūdingi. „XceptionNet“ akivaizdžiai pranoksta kitas technologijas aptikdamas vaizdo įrašus, su kuriais buvo manipuliuojama, net kai vaizdo įrašai buvo suspausti, o tai žymiai apsunkina užduotį. Mes nustatėme tvirtą pagrindą rezultatų, skirtų aptikti veido manipuliavimą naudojant šiuolaikines giluminio mokymosi architektūras, sako Rossler ir kt.

Taip turėtų būti lengviau aptikti suklastotus vaizdo įrašus, kai jie įkeliami į internetą. Tačiau komanda puikiai žino klastojimo aptikimo katės ir pelės prigimtį: kai tik atsiranda nauja aptikimo technika, lenktynės pradeda ieškoti būdų, kaip ją apgauti.

Rossler ir bendradarbiai turi natūralų pranašumą nuo tada, kai sukūrė „XceptionNet“. Taigi jie naudoja jį norėdami pastebėti signalinius požymius, kad vaizdo įrašas buvo manipuliuojamas, o tada naudoja šią informaciją, kad patikslintų klastotę, todėl ją dar sunkiau aptikti.

Paaiškėjo, kad šis procesas pagerina klastotės vizualinę kokybę, tačiau neturi didelės įtakos XceptionNet gebėjimui jį aptikti. Mūsų rafinuotojas daugiausia pagerina vaizdo kokybę, tačiau tik šiek tiek apsunkina klastotės aptikimą giliojo mokymosi metodui, parengtam tiksliai pagal suklastotus išvesties duomenis, sako jie.

Tai įdomus darbas, nes jame pristatomas visiškai naujas būdas pagerinti vaizdo manipuliavimo procesą. Manome, kad ši klastojimo ir aptikimo sąveika yra nepaprastai jaudinantis tolesnio darbo būdas, sako jie.

Nuoroda: arxiv.org/abs/1803.09179 : FaceForensics: didelio masto vaizdo duomenų rinkinys, skirtas aptikti klastotes žmonių veiduose

Atsakymas: Viršutinis kiekvienos poros vaizdas yra tikras.

paslėpti