Kam priklauso tavo veidas?

Policija jau seniai naudojo veido atpažinimo priemones protestuotojams suimti – to aktyvistai nepamiršo nuo George'o Floydo mirties. Paskutinėje keturių dalių serijoje apie veido atpažinimą laidos vedėja Jennifer Strong tiria šios technologijos kelią ir nagrinėja, kaip galėtų atrodyti politika.

Susitinkame :

• Artemas Kuharenko, „NTechLab“.
• Deborah Raji, AI dabar institutas
• Toussaint Morrison, muzikantas, aktorius ir Black Lives Matter organizatorius
• Jameson Spivack, Privatumo ir technologijų centras

Kreditai

Apie šį epizodą pranešė ir prodiusavo Jennifer Strong, Tate'as Ryanas-Mosley, Emma Cillekens ir Karen Hao. Mums padėjo Benji Rosen. Mus redaguoja Michaelas Reilly ir Gideonas Lichfieldas. Mūsų techninis direktorius yra Jacob Gorski.

Visas epizodo nuorašas

Toussaint Morrison : Pirmąjį komendanto valandos savaitgalį ši vieta buvo siaubingai tyli. Čia taip pat labai lėtai važiavo labai tylūs policijos automobiliai.

Jennifer Strong: Tai Toussaint Morrison. Jis rodo mano prodiuserį Tate'ą Ryaną Mosley aplink parką Mineapolyje, Minesotoje, už pustrečio mylios nuo tos vietos, kur Gegužės 25 d. buvo nužudytas George'as Floydas, sukeldamas tikriausiai didžiausią protestų judėjimą Amerikos istorijoje.

Toussaint Morrison : Maždaug už pusės mylios į rytus buvo bandoma sudeginti penktąją policijos nuovados nuovadą.

Jennifer Strong: Morrisonas yra muzikantas, aktorius, filmų kūrėjas, o per pastaruosius kelis mėnesius jis taip pat tapo judėjimo „Black Lives Matter“ Mineapolyje organizatoriumi.

Toussaint Morrison: Jūsų pyktis yra visiškai pagrįstas. Tavo oda graži, o tu nesi toks nusikaltėlis, kokiu tave laiko.

Jennifer Strong: Jis čia gerai žinomas. Aktyvistai žino, kas jis toks. Valdžios pareigūnai žino, kas jis toks. Ir jis mano, kad policija tikriausiai taip pat.

Tate'as Ryanas-Mosley : Ar turėjote kokių nors pokalbių su žmonėmis, kurie nerimauja, kad juos atpažins policijos pareigūnai, galintys turėti jų nuotraukas protestuose, kurie yra protesto dalis?

Toussaint Morrison: Tikrai yra baimė. Sužinojau apie tai šiek tiek per vėlai. Mano vyriausybės vardas ir veidas yra ten. Taigi, turiu galvoje, taip, tai tikrai kėlė susirūpinimą. Ir aš girdėjau tai nuo juodaodžių iki baltųjų iki visko tarp žmonių.

Jennifer Strong: Nors jis sako, kad protestuotojai šiuo metu labiau susirūpinę savo fiziniu saugumu, pavyzdžiui, būti partrenkti automobilio.

Toussaint Morrison: Tapatybės išvyka nebuvo kažkas, apie ką aš girdėjau tiek daug, kiek bijodamas dėl savo gyvybės tikrojo žygio metu.

Jennifer Strong: Iš „Buzzfeed“ atlikto tyrimo žinome, kad policija čia turi prieigą prie daugybės stebėjimo technologijų, įskaitant „Clearview“ veido atpažinimo programinę įrangą, kurią prisiminsite iš antrojo epizodo, be to, jie turi spygliuočių spindulius, kurie veikia kaip mobiliojo ryšio bokštai mobiliesiems duomenims patraukti, garso stebėjimas. sistema, vadinama ShotSpotter, ir fotoaparatų sistema su vaizdo analize, išdėstyta viršuje.

Per protestus federaliniai agentai taip pat skraidino plėšrūnų droną. Morrisonas mano, kad šios priemonės skirtingos spalvotoms bendruomenėms.

Toussaint Morrison: Dabar jiems nereikia priežasties įtarinėti. O, aš mačiau, kad tavo veidas buvo šiame mitinge. Ir, ir matau, kad tai dera su kažkuo kitu. Na, o jei technologija neteisinga? Jie negalvos, kad taip gali būti, nes jie pasitiki kompiuteriu. Taigi ši technologija didina pavojų. Tai jau pavojinga. Ir tai jau nukreipta į spalvotus žmones, neįgalius žmones, trans žmones. Mes esame šios technologijos našta. Taigi, ką kuriant tą technologiją ji daro didžiausią įtaką?

Jennifer Strong: Aš esu Jennifer Strong ir tai yra ketvirtoji mūsų serijos apie policiją ir veido atpažinimą dalis, kurioje mes išnagrinėsime kelią į priekį ir kaip galėtų atrodyti reguliavimas.

Toussaint Morrison : Einant į priekį, aš nežinau, kas nutiks,

bet aš žinau, kad kelio atgal nebus, žinote, kelio atgal nebus.

Jamesonas Spivekas : Mes nežinome, ar dabartinėje protestų bangoje policija naudoja veido atpažinimą, tačiau žinome du dalykus. Viena, kad daugelis iš jų turi galimybę tai padaryti, ir antra – tai atsitiko praeityje.

Jennifer Strong: Jamesonas Spivekas yra Privatumo ir technologijų centro politikos bendradarbis...

Jamesonas Spivekas : ...tai nepriklausoma ekspertų grupė, įsikūrusi Džordžtauno teisės mokykloje.

Jennifer Strong: 2015 metais Baltimorės policija naudojo socialinių tinklų žmonių, protestuojančių prieš Fredžio Grėjaus mirtį, sekimą.

Veido atpažinimas padėjo policijai atpažinti protestuotojus, turinčius neįvykdytus orderius, ir jie suėmė juos tiesiai iš minios.

Spivekas nerimauja, ką tai reiškia žodžio laisvei, jei ji tęsis.

Jamesonas Spivekas : Tai tikrai kelia nerimą, nes tai atgraso nuo politinių kalbų ir dalyvavimo, o tai saugoma pirmuoju pakeitimu. taigi, jei žmonės mano, kad yra atpažinti arba suimti dėl nusikaltimo, visiškai nesusijusio su protestais, jie nedalyvaus. Taigi tai yra būtent juodaodžių politinių kalbų nukreipimas ir atgrasymas.

Jennifer Strong: Ir plačiau...

Jamesonas Spivekas : Tai gerokai perkelia jėgų pusiausvyrą į vyriausybes. Tai suteikia jiems galimybę atpažinti ir sekti daugybę žmonių… per atstumą ir slaptai. Ir vyriausybė niekada neturėjo galimybės taip stebėti visuomenės. Tai iš esmės yra išeitis, leidžianti policijai atlikti nepagrįstas paieškas.

Jennifer Strong: Štai kaip jis mato, kad reguliavimas pradeda formuotis.

Jamesonas Spivekas : Vienas iš variantų, kuris jau buvo, yra tiesiog uždrausti policijai naudoti šią technologiją. Tai yra ydinga... Tai palengvina precedento neturintį vyriausybės stebėjimo lygį, o policija piktnaudžiauja juo. Taip pat dar viena galimybė yra moratoriumas policijos naudojimui veido atpažinimo įrankiu. Tai suteikia visuomenei ir išrinktiems pareigūnams laiko sužinoti, kas yra ši technologija, kaip ji veikia, kaip policija ja naudojasi. Tada kita galimybė yra tiesiog priimti reglamentą, leidžiantį policijai juo naudotis, tačiau turi tam tikrus apribojimus jų galimybei juo naudotis.

Jennifer Strong: Pranešdami apie šią seriją, kalbėjomės su keliais žmonėmis, kurie mano, kad veido ID naudojimo pakeisti tiesiog neįmanoma. ACLU teigia, kad tai turėtų būti uždrausta nacionaliniu mastu. Taigi, man įdomu, kokio tipo reguliavimas, jo manymu, tikrai pakeistų?

Jamesonas Spivekas : Tokie dalykai, kaip reikalaujama tikėtinos priežasties atgalinės paieškos orderio atliekant bet kokią veidų atpažinimo paiešką, ribojamas naudojimas smurtiniams nusikaltimams ir draudimas naudoti veido atpažinimą vykdant imigracijos vykdymą. Siaurieji draudimai naudoti veido atpažinimą kartu su tokiais dalykais kaip bepiločiai orlaiviai arba policijos nešiojamose kūno kamerose arba nuolatiniam stebėjimui, nes veido atpažinimo negalima naudoti gyvybės ar mirties atveju. Kitas dalykas yra privalomas, privalomas atskleidimas kaltinamiesiems, kad policija naudoja veido atpažinimą, kad nustatytų ir galiausiai suimtų.

Jennifer Strong: Bet net jei tos taisyklės nebus įvykdytos, jis sako, kad mums reikia...

Jamesonas Spivekas : Bandymas, siekiant įsitikinti, kad jis tikslus ir nėra šališkas, taip pat ataskaitos apie tai, kaip jis naudojamas, ir skaidrumas... Visa tai gerai ir jų reikia... Bet jų neužtenka. Mums tikrai reikia šių, gilesnių reformų.

Jennifer Strong: Jis sako, kad ne tik įmonės, kuriančios technologiją, gali būti atsakingos už ją reglamentuojančias taisykles.

Jamesonas Spivek : Turime būti labai budrūs ir paklausti savęs, ką šios įmonės remia teisės aktais, ar jos tikrai saugos žmones, ar tai tik būdas įmonėms išsiaiškinti, kaip technologija yra reguliuojama, bet iš tikrųjų nėra reguliuojamas pakankamai stipriai, kad iš tikrųjų apsaugotų žmones ir iš tikrųjų paveiktų įmonės gebėjimą jį gaminti. Nemanau, kad jie savo noru atsisakys šios technologijos pardavimo. taigi įstatymų leidėjai tikrai turi įsikišti.

Jamesonas Spivekas : Dauguma didžiųjų įmonių, kuriančių veidų atpažinimą policijai ir vyriausybei, yra mažesnės, labiau specializuotos įmonės, apie kurias dauguma žmonių nėra girdėję.

Jennifer Strong: Viena iš tų kompanijų, apie kurias tikriausiai niekada negirdėjote, yra „NTechLab“, nors ji pirmą kartą sukėlė bangas maždaug prieš penkerius metus, kai, būdama visiškai nauja įmonė, įveikė „Google“ ir laimėjo tarptautinį konkursą, kurio tikslumas vienoje iš kategorijų buvo 95 proc. .

Nuo tada Rusijos įmonė ne kartą laimėjo biometrinių duomenų konkursus, kuriuos rengia tokios įmonės kaip „Amazon“, JAV vyriausybės agentūros ir universitetai.

Jennifer Strong: O įmonės įkūrėjas yra šis žmogus…

Artemas Kuharenko : Artemas Kuharenko

Jennifer Strong: „NTechLab“ yra geriausiai žinoma dėl savo programėlės „FindFace“, kuri leidžia žmonėms savo telefonuose ieškoti socialinių tinklų profilių su nuotraukomis.

Ar jis skirtas tam tikrai žmonių grupei, ar norite, kad jis būtų prieinamas bet kam socialinėje žiniasklaidoje?

Artemas Kuharenko : Tai buvo prieinama visiems internete.

Jennifer Strong: Taip Johnas Oliveris apibūdino programą per neseniai HBO laidos „Paskutinę savaitę šiąnakt“ seriją.

Džonas Oliveris : Jei norite pajusti, kokia siaubinga gali būti ši technologija, jei ji taptų kasdienio gyvenimo dalimi, tiesiog pažiūrėkite, kaip Rusijos televizijos laidų vedėjas demonstruoja programėlę, pavadintą „FindFace“… [informacija] Jei atsiduriate kavinėje su patrauklia mergina ir tu neturi drąsos prie jos prieiti, nėra problemų. Tereikia išmaniojo telefono ir aplikacijos FindFace.

Jennifer Strong: Vyras šiame vaizdo įraše naudoja programą, kad nufotografuotų moterį prie kito stalo. Tai akimirksniu ištraukia jos profilį Rusijos „Facebook“ versijoje.

Džonas Oliveris : Tik įsivaizduok, kad iš moters perspektyvos... nesijaudink, aš jau žinau, kur tu gyveni.

Jennifer Strong: Programa buvo labai populiari. Tačiau šiomis dienomis NTechLab dėmesys skiriamas tiesioginiam veido atpažinimui – tai reiškia, kad algoritmas veikia vaizdo įraše realiu laiku.

Manoma, kad jų įdiegta sistema Maskvos mieste yra viena didžiausių tokio tipo pasaulyje.

Artemas Kuharenko : Šiuo metu prie sistemos prijungta daugiau nei 100 000 vaizdo kamerų, kuri pasirodė esąs labai naudinga ir naudinga miestui.

Jennfier Strong: Taigi, 100 tūkstančių vaizdo kamerų, užfiksuojančių milijardą veidų per mėnesį. Ir jis tvirtina, kad sistema yra labai labai tiksli.

Artemas Kuharenko : Taigi tai tik vienas klaidingas sutikimas iš 10 milijardų palyginimų. Tai vienas iš 10 nulių.

Jennfier Strong : Toks tikslumas negirdėtas. Bet mes taip pat negalime sakyti, kad tai neįmanoma – ir aš netrukus išsiaiškinsiu, kodėl. Mes žinome, kad tiesioginio vaizdo įrašo tikslumą pasiekti daug sunkiau nei nuotraukose.

Anksčiau šioje serijoje kalbėjome apie Londono policijos atliekamus tiesioginio veido atpažinimo bandymus, kurių tikslumas buvo apie 20 procentų. Ir dar vienas Niujorke, kuris per savo bandymų laikotarpį nepateikė nė vieno teisingo atitikmens.

Tačiau Maskvoje Kuharenko sako, kad jo sistema naudojama nusikaltimams išaiškinti realiu laiku. Įskaitant didžiausias pasaulyje futbolo varžybas:

Artemas Kuharenko : Per FIFA pasaulio čempionatą 2018 m. Maskvoje dėl sistemos buvo sučiupta daugiau nei 100 nusikaltėlių.

Jennfier Strong : „NtechLab“ dirba su daugiau nei šimtu klientų 20 šalių, įskaitant JAV lustų gamintoją „Nvidia“ ir Kinijos telekomunikacijų įmonę „Huawei“. Ji taip pat turi išmaniųjų miestų projektų Dubajuje, fintech projektų Europoje ir mažmeninės prekybos partnerystes Šiaurės ir Pietų Amerikoje.

Bendrovė pateikia kai kuriuos algoritmus JAV vyriausybei išbandyti, tačiau jis sako, kad jie negali to padaryti savo pažangiausiu darbu.

Kadangi NIST (arba Nacionalinis standartų ir technologijų institutas) išbando veido atpažinimo algoritmus nuotraukose, o jo naujausios sistemos naudoja vaizdo įrašus.

Artemas Kuharenko: Jų bandymai yra gana toli nuo realaus gyvenimo scenarijų.

Jennfier Strong: Ir jei vyriausybinės institucijos nepasivija technologijų, įmonės daugiau ar mažiau paliekamos audituoti pačias.

Artemas Kuharenko : Šioje srityje lyderiaujančios įmonės turi savo testus. Mūsų įmonėje mes atliekame daugybę skirtingų bandymų prieš išsiunčiant jį į gamybą. Tačiau problema ta, kad nėra nepriklausomo testo, kuris būtų atviras, kur bet kas galėtų matyti ir bet kas išbandyti visus algoritmus.

Jennfier Strong : Šią vasarą „NTechLab“ į savo vaizdo įrašų platformą įtraukė siluetų aptikimą. Jis naudojamas žmonėms identifikuoti profilyje.

Jie taip pat prisiėmė naują vaidmenį pasaulinės pandemijos metu…

Artemas Kuharenko: ...išmatuokite atstumą tarp žmonių ir suraskite vietas, kuriose daug žmonių stovi arti vienas kito, kad miestas pagerintų procesus, vykstančius šiose vietose. Tai taip pat padėjo sustabdyti koronaviruso plitimą Maskvoje.

Jennifer Strong : Dabar, kai esame šios pasaulinės pandemijos viduryje, kaip gerai technologija veikia, kai kas nors dėvi kaukę?

Artemas Kuharenko : Veikia tokiu pat tikslumu kaip ir be kaukės. Taigi tai beveik toks pat tikslumas. Taip pat turime specialų algoritmą, kuris gali pasakyti, ar ant žmogaus yra kaukė ir ar ji teisingai dėvima, ar ne.

Jennfier Strong: Dėl kaukės dėvėjimo šių sistemų tikslumas paprastai sumažėjo, įskaitant NIST atliktą ikipandeminį NTech Lab testą. Tačiau pandemija sukėlė ginklavimosi varžybas tarp įmonių, bandančių sukurti sistemas, kurios skaito užmaskuotus veidus. Agentūra taip pat teigia, kad įmonės algoritmai dažnai yra vieni iš tiksliausių testų.

Mes tiesiog nežinome.

Bet maskuoti ar ne, veido atpažinimas nėra vienintelis dalykas, vykstantis tuose vaizdo įrašuose.

Artemas Kuharenko: Automobilio aptikimas... valstybinio numerio atpažinimas... ir visą šią vaizdo analizę sujungiame, kad ji veiktų kaip visa sistema ir iš vaizdo srauto išgautų kuo daugiau informacijos. Idealiu atveju sistema galės išgauti tiek informacijos, kiek žmogus gali matyti vaizdo įraše. Tačiau algoritmas gali tai padaryti daug didesniu greičiu. Ir jei žmogus vienu metu gali apdoroti tik vieną vaizdo įrašų srautą, sistema realiuoju laiku gali apdoroti šimtus ir šimtus tūkstančių vaizdo įrašų.

Jennfier Strong: Ar kada nors nerimaujate, kad kas nors gali imtis viso jūsų sunkaus darbo ir panaudoti jį kurdamas pasaulį, kuriame iš tikrųjų nenorite gyventi?

Artemas Kuharenko : Na, aš netikiu, aš netikiu šiuo scenarijumi, nes tai yra gana, tai yra geras scenarijus filmui, bet tai labai mažai tikėtinas scenarijus realiame gyvenime.

Artemas Kuharenko : Kaip technologijų įmonė, mes visada stengiamės pasakyti žmonėms, kad žmonės suprastų, kas vyksta, ir priimtų sprendimą, nori to ar ne.

Jennfier Strong : Kaip ir „Clearview“ įkūrėjas, jis sako, kad mes – kasdieniai žmonės ir piliečiai visame pasaulyje – turime nuspręsti, ar gyventi su šia technologija ir kaip ją naudoti. Dabar, atsižvelgiant į daugybę skaidrumo ir atskaitomybės klausimų, tai neatrodytų taip paprasta. Tačiau yra žmonių, kurie sunkiai stengiasi prisiimti šią atsakomybę.

Ir sutiksite vieną akimirką.

Deb Radži: Spėju, kad kelionė ten, kur esame šiandien, kilo dėl šio pirmojo tipo rožinių lęšių nulaužimo. Tai technologija, kuri veikia ir parodo, kad ji netinka labai konkretiems žmonėms... o vėliau atidarius. Šis pokalbis apie tai, ką iš tikrųjų reiškia veido atpažinimo veikimas?

Aš esu Debra Raji ir esu „A-I now“ instituto technologijų bendradarbis.

Jennfier Strong : Jis įsikūręs NYU ir siekia suprasti socialinį veido atpažinimo ir kitų AI technologijų poveikį.

Deb Radži: Žinote, kaip mes iš tikrųjų galime pradėti diskutuoti apie jo apribojimą, apie jo naudojimo atskleidimą ir kaip tai atsiliepia politikos apribojimams?

Jennfier Strong : Kaip AI tyrinėtoja, ji turi didžiulę galią, kurios dauguma iš mūsų neturi. Ji gali tikrinti algoritmus, dėl kurių veido ID produktai veikia... tol, kol įmonės suteikia prieigą.

Ir jos pastangos verčia keistis. Kibirkštis, nuleidusi ją šiuo keliu, kilo iš to, ką ji apibūdina kaip siaubingą supratimą per kolegijos stažuotę mašininio mokymosi startuolyje.

Debas Radži : Palaukite, veido atpažinimas iš tikrųjų veikia ne visiems.

Jennfier Strong: Ji dirbo su kompiuterinio matymo modeliu, kuris padėtų klientams pažymėti netinkamus vaizdus kaip nesaugius darbui. Bėda ta, kad spalvotų žmonių nuotraukos buvo pažymėtos daug dažniau.

Taigi ji ieškojo problemos ir ją rado. Modelis mokėsi atpažinti nesaugius vaizdus iš pornografijos ir saugius vaizdus iš atsarginių nuotraukų. Pasirodo, pornografija yra daug įvairesnė ir dėl šios įvairovės modelis automatiškai susiejo tamsią odą su maloniu turiniu.

Startuolis atsisakė nieko daryti. Taigi, ji ėmėsi šių klausimų spręsti su moterimi, su kuria anksčiau susitikome šioje serijoje – Joy Buolamwini – kuri, būdama abiturientė, sukūrė įvairesnį ir subalansuotą duomenų rinkinį. Jie naudojo jį jau parduodamų veido ID produktų algoritmams tikrinti.

Šis darbas labai susijęs su šiandienos supratimu, kaip šie gaminiai nuvilia moteris ir spalvotus žmones.

Bet tai kainavo.

Deb Radži: Tuo metu kompiuterinės vizijos bendruomenė nekalbėjo apie etiką, visuomenę ir sąžiningumą. Pavyzdžiui, dabar mums daug lengviau dirbti su šiuo darbu, bet buvo laikas, kai net mokslininkų bendruomenė taip pat buvo labai priešiška ir klausinėjo, kas tai yra? Kokia tavo prasmė čia? Kokia to reikšmė?

Jennfier Strong : Laikui bėgant tai pasikeitė ir ji sako, kad ji taip pat rado paramą įmonėse, kurias jie audituoja.

Debas Radži : Ir nors jų institucinio ar įmonės lygio pozicija buvo gynybinė. Šie asmenys šiose įmonėse labai sunkiai kovojo, kad pakeistų savo įmonių padėtį ir siektų kai kurių iš šių pozicijų, kurias matome šiandien.

Jennfier Strong : „Amazon“ ir „Microsoft“ neseniai sustabdė savo veido I-D sistemų pardavimą teisėsaugai. IBM visiškai nustojo su juo dirbti.

Debas Radži : Su šiais moratoriumais yra toks papildomas pripažinimas, kad reikia pasakyti: palaukite ir iš tikrųjų, kol vyksta šis niuansuotas pokalbis dėl šios politikos ir šio mums labai reikalingo reguliavimo nustatymo. Mes neketiname parduoti šios technologijos tuo pačiu metu. Ir aš manau, kad tas suvokimas ir ta spraga yra svarbus pokalbio žingsnis į priekį.

Jennfier Strong : Taigi ši akimirka yra skubi, kurią ji vadina pauze. Ir per šią pauzę turime daug ką išspręsti.

Bet jei pasikliausime technologijų įmonėmis, kurios viską reguliuos?

Debas Radži : … jiems visada nepavyks.

BALSAS: Ir ji perspėja, kad veido ID yra tik ledkalnio viršūnė.

Debas Radži : Daug lengviau kalbėti apie veidus, nei apie draudimo duomenis ar medicininius duomenis arba, žinote, net kai kurias iš šių, socialinės apsaugos sistemas, net jei tokia neproporcinga situacija taip pat galioja. tiems atvejams.

Jennfier Strong : Taigi, toliau ji nori atskleisti informaciją ir skaidrumą. Ji taip pat reikalauja tinkamos vertinimo sistemos.

Tačiau galiausiai:

Deb Radži: Daug galios yra politikos formuotojų rankose, nes didelės technologijų įmonės tikrai neturėtų kontroliuoti pokalbio.

Jennfier Strong : Galime būti vingio taške santykiuose su veido atpažinimu ir jo pripratimu.

Ir vis dėlto atrodo saugu teigti, kad šios technologijos diegimas greičiausiai tęsis nepaprastai greitai, palikdamas mūsų supratimą apie jos galią ir poveikį dulkėse – nebent tikrai sustosime, atsikvėpsime ir nenustatysime tam tikrų taisyklių. gauna prieigą prie mūsų veidų vaizdų ir ką jie gali su jais daryti.

Kitas epizodas... Niujorko metro ieškome koronaviruso ir tyrinėjame AI vaidmenį atkuriant pasaulio viešojo transporto sistemas.

Apie šį epizodą pranešiau ir prodiusavau aš, Tate'as Ryanas-Mosley, Emma Cillekens ir Karen Hao. Mums padėjo Benji Rosen. Mus redaguoja Michaelas Reilly ir Gideonas Litchfieldas. Mūsų techninis direktorius yra Jacob Gorski.

Pasimatysime čia po poros savaičių.

Ačiū, kad klausotės, aš esu Jennifer Strong.

paslėpti