211service.com
Keistame naujame netikro aktoriaus pasaulyje
Panetta ir Burgundija
2019 m. dvi multimedijos menininkės Francesca Panetta ir Halsey Burgund ėmėsi provokuojančios idėjos. Deepfake vaizdo ir garso įrašai buvo tobulinami lygiagrečiai, bet dar nebuvo integruoti į visą patirtį. Ar jie galėtų tai padaryti taip, kad būtų parodytas visas technologijos potencialas, kartu mokant žmones, kaip ja galima piktnaudžiauti?
Kad eksperimentas būtų gyvas, jie pasirinko ne mažiau provokuojančią temą: sukurs an alternatyvi 1969 m. Apolono nusileidimo Mėnulyje istorija . Prieš paleidimą JAV prezidento Richardo Nixono kalbų autoriai parengė dvi jo nacionalinio kreipimosi versijas – vieną Mėnulio nelaimės atveju , jei viskas vyktų ne taip, kaip planuota. Tikrasis Niksonas, laimei, niekada neturėjo jo pristatyti. Tačiau netikras Niksonas galėtų.
Taigi Panetta, MIT Virtualumo centro kūrybos direktorius, ir Burgundas, MIT atvirosios dokumentikos laboratorijos bendradarbis su dviem dirbtinio intelekto įmonėmis. Canny AI tvarkytų gilų padirbtą vaizdo įrašą ir Kalbėtojas paruoštų gilų padirbtą garsą. Sumontavus visus techninius komponentus, jiems tereikėjo paskutinio dalyko: aktoriaus, kuris pristatytų spektaklį.
Mums reikėjo rasti žmogų, kuris norėtų tai padaryti, nes tai šiek tiek keistas klausimas, sako Burgundas. Kažkas, kas lanksčiau mąstė apie tai, kas yra ir ką daro aktorius.
Nors „deepfake“ klastotės egzistuoja jau keletą metų, „deepfake“ aktorių atranka ir vaidyba yra palyginti nauji. Ankstyvosios gilios klastojimo technologijos nebuvo labai geros, dažniausiai naudojamos tamsiuose interneto kampeliuose, kad įžymybės be jų sutikimo būtų pakeičiamos pornografiniais vaizdo įrašais. Tačiau padirbinėjimui tapus vis realistiškesniu, vis daugiau menininkų ir filmų kūrėjų pradėjo juos naudoti transliacijos kokybės kūryboje ir TV reklamoje. Tai reiškia, kad vienam ar kitam spektaklio aspektui reikia samdyti tikrus aktorius. Kai kurie darbai reikalauja, kad aktorius pateiktų pagrindinę filmuotą medžiagą; kitiems reikia balso.
Aktoriams tai atveria įdomių kūrybinių ir profesinių galimybių. Tačiau tai taip pat kelia daugybę etinių klausimų. Tai taip nauja, kad nėra tikro proceso ar panašiai, sako Burgundas. Aš turiu galvoje, mes tiesiog sugalvojome dalykus ir plevėsavome.
Nori tapti Niksonu?
Pirmas dalykas, kurį Panetta ir Burgundas padarė, buvo paklausti abiejų kompanijų, kokio aktoriaus jiems reikia, kad giliosios klastotės veiktų. Buvo įdomu ne tik kokie buvo svarbūs kriterijai, bet ir kokie nebuvo , sako Burgundija.
Vaizdams „Canny AI“ specializuojasi vaizdo dialogo pakeitime, kuris naudoja aktoriaus burnos judesius, kad būtų galima manipuliuoti kažkieno burna esamoje medžiagoje. Kitaip tariant, aktorius atlieka lėlininko vaidmenį, kurio galutiniame produkte niekada nematyti. Asmens išvaizda, lytis, amžius ir etninė priklausomybė iš tikrųjų neturi reikšmės.
Tačiau dėl garso įrašo Respeecher, kuris vieną balsą paverčia kitu, sakė, kad būtų lengviau dirbti su aktoriumi, kurio registras ir akcentas panašus į Nixono. Apsiginklavę šiomis žiniomis, Panetta ir Burgundas pradėjo rašyti įvairiuose vaidybos forumuose ir el. paštu siųsti vietinėms aktorystės grupėms. Jų žingsnis: Nori tapti Niksonu?
Aktorius Lewisas D. Wheeleris dienas praleido studijoje, mokydamas giliai padirbtų algoritmų, kad susietų jo balsą ir veidą su Niksono balsu.
PANETTA IR BURGUNDIJATaip Bostone gyvenantis baltasis aktorius Lewisas D. Wheeleris kelias dienas atsidūrė studijoje, klausydamas ir kartodamas Niksono garso fragmentus. Jis sako, kad buvo šimtai fragmentų, kurių kiekvienas buvo vos kelių sekundžių trukmės, kai kurie iš jų net nebuvo pilni žodžiai.
Fragmentai buvo paimti iš įvairių Niksono kalbų, didžioji dalis iš jo atsistatydinimo. Atsižvelgiant į rimtą Mėnulio nelaimės kalbos pobūdį, Respeecher reikėjo mokomosios medžiagos, kurioje užfiksuotas toks pat niūrus tonas.
Wheelerio darbas buvo iš naujo įrašyti kiekvieną fragmentą savo balsu, tiksliai suderinant ritmą ir intonaciją. Tada šios smulkmenos buvo įtrauktos į Respeecherio algoritmą, kad jo balsas būtų susietas su Niksono balsu. Jis sako, kad tai buvo gana varginantis ir gana kruopštus, bet taip pat tikrai įdomu, statant plyta po plytos.
Paskutinis Nixono klastojimas, sakydamas kalbą „Mėnulio nelaimės atveju“.
PANETTA IR BURGUNDIJAVizuali giluminio padirbinėjimo dalis buvo daug paprastesnė. Archyvinėje filmuotoje medžiagoje, kuria būtų galima manipuliuoti, Nixonas pateikė tikrąjį Mėnulio nusileidimo adresą tiesiai prieš kamerą. Wheeleriui tereikėjo pristatyti savo alternatyvą, pradėti iki finišo tokiu pat būdu, kad gamybos komanda fiksuotų jo burnos judesius tinkamu kampu.
Būtent čia jis, kaip aktorius, pradėjo suprasti dalykus. Galiausiai jo pasirodymas būtų ta jo dalis, kuri pateks į paskutinę gilią klastotę. Jis sako, kad tai buvo pats sudėtingiausias ir naudingiausias dalykas. Tam turėjau iš tikrųjų įsigilinti į mąstyseną, gerai, apie ką ši kalba? Kaip pasakyti Amerikos žmonėms, kad įvyko ši tragedija?
Kaip mes jaučiamės?
Iš pirmo žvilgsnio Zachas Mathas, a filmo prodiuseris ir režisierius , dirbo prie panašaus projekto. Kūrybinė agentūra Mischief USA jį pasamdė vadovauti pora skelbimų už balsavimo teisių kampaniją. Reklamose būtų padirbtos Šiaurės Korėjos lyderio Kim Jong-uno ir Rusijos prezidento Vladimiro Putino versijos. Tačiau jis atsidūrė kažkokio kitokio nei Panettos ir Burgundo eksperimento viduryje.
Pasikonsultavusi su melagingu menininku Johnu Lee, komanda nusprendė pakeisti veidus atvirojo kodo programinė įranga DeepFaceLab . Tai reiškė, kad į galutinę reklamą bus įtraukti aktorių kūnai, todėl jiems reikėjo sukurti patikimus kūno dublius.
Skelbime taip pat būtų įtraukti tikrieji aktorių balsai, o tai papildomai atsižvelgtų į aktorių atranką. Komanda norėjo, kad „deepfake“ lyderiai kalbėtų angliškai, nors su autentiškais Šiaurės Korėjos ir Rusijos akcentais. Taigi aktorių atrankos direktorius ieškojo aktorių vyrų, kurie savo kūno sudėjimu ir veido struktūra būtų panašūs į kiekvieną lyderį, atitiktų jų etninę kilmę ir galėtų atlikti įtikinamą balso apsimetinėjimą.
„DeepFaceLab“ mokymo procesas, norint sukurti Kim Jong-uno veidą.
ISKLIENTA JAVPutinui aktorių atranka buvo gana lengva. Yra daugybė vaizdo įrašų, kuriuose Putinas kalba įvairias kalbas, suteikiant algoritmui daug mokymo duomenų, leidžiančių padirbti jo veidą ir daryti įvairias išraiškas. Vadinasi, buvo daugiau lankstumo nustatant, kaip aktorius galėtų atrodyti, nes didžiąją dalį darbo galėjo atlikti gilus padirbinys.
Tačiau daugumoje turimų Kim vaizdo įrašų buvo matyti, kad jis nešiojo akinius, kurie uždengė veidą ir sugedo algoritmas. Susiaurinus treniruočių filmuotą medžiagą iki vaizdo įrašų be akinių, liko daug mažiau treniruočių pavyzdžių, iš kurių būtų galima mokytis. Gautas padirbinys vis tiek atrodė kaip Kimas, tačiau jo veido judesiai atrodė ne tokie natūralūs. Pakeistas ant aktoriaus veidas, nutildė aktoriaus išraiškas.
Siekdama to išvengti, komanda pradėjo leisti visas aktorių atrankos juostas per DeepFaceLab, kad pamatytų, kuris iš jų pasirodė įtikinamiausias. Jų nuostabai, nugalėtoja fiziškai atrodė mažiausiai panaši į Kim, tačiau pasižymėjo išraiškingiausiu pasirodymu.
Aktorius, pasirinktas vaidinti Kim Jong-uną, mažiausiai fiziškai buvo panašus į diktatorių, bet buvo išraiškingiausias.
Siekdama atkreipti dėmesį į Kim išvaizdos aspektus, kurių „deepfake“ nepavyko atkartoti, komanda pasikliovė makiažu, kostiumais ir postprodukcijos darbu. Pavyzdžiui, aktorius buvo lieknesnis už Kimą, todėl jis liepė vilkėti storą kostiumą.
Kalbant apie giluminio padirbinėjimo kokybę, Math sako, kad tai buvo mažiau apie vaizdines detales, o apie patirtį. Niekada nebuvo „Ar ta ausis atrodo keistai?“ Turiu galvoje, buvo tų diskusijų, sako jis. Bet visada buvo taip: „Prisėskite – kaip mes jaučiamės?“
Jie veiksmingai veikė kaip žmogaus skydas
Tam tikrais atžvilgiais nėra jokio skirtumo tarp netikros vaidybos ir CGI vaidybos, o gal ir balso vaidybos animaciniame filme. Jūsų panašumas nepatenka į galutinę produkciją, bet rezultatas vis tiek turi jūsų parašą ir interpretaciją. Tačiau netikras atkūrimas gali vykti ir kita kryptimi, kai žmogaus veidas pakeičiamas kieno nors kito pasirodymu.
Padaryti tokio tipo netikrą įtikinamą buvo Ryano Laney, vizualinių efektų menininko, dirbusio prie 2020 m. HBO dokumentinio filmo, užduotis. Sveiki atvykę į Čečėniją . Filmas pasakoja apie aktyvistus, kurie rizikuoja savo gyvybėmis kovodami su LGBTQ asmenų persekiojimu Rusijos respublikoje. Daugelis jų gyvena paslaptyje, bijodami kankinimų ir egzekucijos.
Siekdamas papasakoti savo istorijas, režisierius Davidas France pažadėjo apsaugoti jų tapatybę, tačiau norėjo tai padaryti neprarasdamas jų žmogiškumo. Išbandžiusi daugybę sprendimų, jo komanda pagaliau atsidūrė giliuose padirbiniuose. Jis bendradarbiavo su Laney, kuris sukūrė algoritmą, kuris uždengė vieną veidą ant kito, išlaikant pastarojo išraiškas.
Kairėje: Maksimas Lapunovas, pagrindinis dokumentinio filmo veikėjas, kuris įpusėjus filmui išeina į viešumą. Teisingai: Latino LGBTQ aktyvistas, kuris savanoriškai pasisiūlė būti Maksimo skydu.
JŪSŲ MEDIATaigi aktorių atranka buvo ieškoma ne atlikėjų, o 23 žmonių, kurie norėtų paskolinti savo veidus. Prancūzija galiausiai paprašė LGBTQ aktyvistų savanoriauti kaip priedangos. Jis atėjo iš to, kas yra geriausias aktorius, o iš žmonių, kurie domisi šia priežastimi, sako Laney, nes jie veiksmingai veikė kaip žmogaus skydas.
Komanda ieškojo aktyvistų per renginius ir „Instagram“ įrašus, atsižvelgdama į jų išvaizdą. Kiekvienas viršelio veidas turėjo atrodyti pakankamai skirtingai nuo maskuojamo asmens, o taip pat atitikti tam tikras savybes. Pavyzdžiui, veido plaukai, žandikaulio linijos ir nosies ilgis turėjo apytiksliai sutapti, o kiekviena pora turėjo būti maždaug tokio paties amžiaus, kad dengiančiojo veidas ant pradinio subjekto kūno atrodytų natūraliai.
Kairėje: demaskuotas Maksimo veidas. Dešinėje: Maksimas su savo netikru viršeliu.
JŪSŲ MEDIATačiau komanda ne visada atitiko etninę ar lytį. Pagrindinis veikėjas Maksimas Lapunovas, kuris yra baltaodis, buvo apsaugotas Lotynų Amerikos aktyvisto, o moterišką veikėją – lyties neatitinkanti aktyvistė.
Viso proceso metu Prancūzija ir Laney pasirūpino, kad gautų visapusišką visų šalių sutikimą. Filmo subjektai iš tikrųjų turėjo pažvelgti į kūrinį prieš Davidui jį išleidžiant, sako Laney. Kiekvienas turėjo pasirašyti savo viršelyje, kad įsitikintų, jog jaučiasi patogiai.
Tai tiesiog priverčia žmones susimąstyti
Nors profesionalūs padirbiniai peržengė meno ir kūrybos ribas, jų egzistavimas taip pat kelia sudėtingų etinių klausimų. Šiuo metu nėra jokių realių gairių, kaip pažymėti, pavyzdžiui, gilias klastotes arba kur yra riba tarp satyros ir dezinformacijos.
Kol kas menininkai ir filmų kūrėjai pasikliauja asmeniniu teisingumo ir neteisingumo jausmu. Pavyzdžiui, Prancūzija ir Laney dokumentinio filmo pradžioje pridėjo atsisakymą, kuriame teigiama, kad kai kurie personažai buvo užmaskuoti skaitmeniniu būdu, kad būtų apsaugoti. Jie taip pat pridėjo minkštus kraštus kaukėtiems asmenims, kad juos atskirtų. Nenorėjome ką nors slėpti nepasakę publikai, sako Laney.
Stephanie Lepp, menininkė ir prodiuserė, kurianti gilius padirbinius politiniams komentarams, panašiai iš anksto pažymi savo vaizdo įrašus, kad aiškiai parodytų, kad jie netikri. Jos serijoje Gilūs skaičiavimai , kurioje įsivaizduojama, kad tokios galingos figūros kaip Markas Zuckerbergas atsiprašo už savo veiksmus, ji taip pat naudojo balso aktorius, o ne netikrą garsą, kad dar labiau atskirtų projektą kaip satyrinį, o ne apgaulingą.
Kiti projektai buvo gudresni, pavyzdžiui, Barnaby Francis, menininko aktyvisto, dirbančio Billo Posters slapyvardžiu. Bėgant metams Pranciškus apgavo tokius politikus Borisas Johnsonas ir įžymybės kaip Kim Kardashian , viskas vardan išsilavinimo ir satyros. Tačiau kai kurie vaizdo įrašai pažymėti tik išoriškai, pavyzdžiui, antraštėje, kai Pranciškus juos paskelbia „Instagram“. Ištraukti iš šio konteksto, jie rizikuoja sulieti meną ir tikrovę, o tai jį kartais atvesdavo apleista teritorija .
Peržiūrėkite šį įrašą InstagramĮrašas, kurį pasidalino Bill plakatai (@bill_posters_uk) 2019 m. birželio 1 d., 3:47 PDT
Peržiūrėkite šį įrašą InstagramĮrašas, kurį pasidalino Bill plakatai (@bill_posters_uk) 2019 m. lapkričio 11 d., 23.55 val. PST
Taip pat yra keletas taisyklių, dėl kurių vaizdais ir kalba gali būti manipuliuojama, ir mažai apsaugos aktorių užkulisiuose. Iki šiol dauguma profesionalių padirbinių buvo pagrįsti garsiais žmonėmis ir sukurti turint aiškius, konstruktyvius tikslus, todėl jie yra teisiškai saugomi JAV pagal satyros įstatymus. Tačiau „Michief’s Putin“ ir „Kim deepfakes“ atveju aktoriai dėl asmeninio saugumo sumetimų liko anonimiški, nurodė komanda, nes manipuliavimas diktatorių atvaizdais yra prieštaringas.
Žinodami, kaip mėgėjiškos klastotės buvo naudojamos prievartauti, manipuliuoti ir priekabiauti prie moterų, kai kurie kūrėjai taip pat nerimauja, kokia kryptimi viskas galėtų pasisukti. Pranciškus sako, kad daug žmonių patenka į vagoną, kurie iš tikrųjų nesijaudina nei etiškai, nei moraliai, kas yra jų klientai, kur tai gali pasirodyti ir kokia forma.
Tačiau nepaisant šių sunkių klausimų, daugelis menininkų ir filmų kūrėjų tvirtai tiki, kad padirbiniai turėtų išlikti. Naudojant etiškai, technologija išplečia meno ir kritikos, provokacijos ir įtikinėjimo galimybes. Tai tiesiog priverčia žmones susimąstyti, sako Francis. Tai tobula meno forma tokiems absurdistiniams, beveik siurrealistiniams laikams, kuriuos išgyvename.