Kaip modifikuoti išmaniojo telefono kamerą, kad ji filmuotų milijoną kadrų per sekundę

xiaojie2020

Dar 1930-aisiais jaunas elektros inžinierius Haroldas Edgertonas MIT pradėjo eksperimentuoti su elektronine fotografija su blykste. Jis puikiai panaudojo jį kasdienių objektų, tokių kaip vandens srovė, sprogstantis balionas ir kulka, pataikiusi į obuolį, veikimui užšaldyti.

Edgertonas pradėjo kurti daugybę vienos ir kelių blykstės metodų (taip pat daugelio kitų vaizdo gavimo metodų). Daugelis jų dabar yra standartiškai prieinami populiariuose fotoaparatuose ir išmaniuosiuose telefonuose.

Nuo tada užrakto greitis padidėjo. Kai kurie „iPhone“ gali užfiksuoti pavienius vaizdus, ​​kurių užrakto greitis yra 1/10 000 sekundės. Specializuotos kameros gali įrašyti vaizdus 40 000 per sekundę greičiu. Tačiau tokia įranga yra sudėtinga ir brangi, todėl daugumai žmonių šie būdai yra neprieinami.

Šiandien atrodo, kad tai pasikeis dėl Samo Dillavou iš Harvardo universiteto ir kelių kolegų, kurie sukūrė techniką, leidžiančią įprastomis elektroninėmis kameromis ir išmaniaisiais telefonais įrašyti vaizdus kvapą gniaužiančiu milijonų kadrų per sekundę greičiu.

Pirmiausia šiek tiek fono. Šiuolaikinės kameros naudoja elektroninius pikselius, kad įrašytų į juos patenkančią šviesą. Šie pikseliai registruoja intensyvumą, paprastai 16 lygių skalėje. Tai lemia pikselių bitų lygis. Taigi ekspozicijos metu kiekvienas pikselis gali įrašyti 14 pilkų atspalvių tarp juodos ir baltos spalvos.

Tačiau daugeliui vaizdų tipų tokio detalumo lygio nereikia – tereikia paprasto juodo arba balto vaizdo. Tokiu atveju papildoma pilka detalė yra perteklinė.

Tai suteikė Dillavou ir kolegoms idėją atskirti atskirus vaizdus į kelias trumpesnes ekspozicijas.

Štai kaip. Įsivaizduokite baltą sieną, uždengtą juoda užuolaida. Dabar atidarykite užuolaidą iš kairės į dešinę, kad atskleistumėte sieną, ir užfiksuokite judesį vienu eksponavimu.

Ekspozicijos metu pikseliai kairėje vaizdo pusėje pirmiausia įrašo juodą užuolaidą, bet tada baltą sieną, kai uždanga juda per kadrą. Vidutiniškai tai yra šviesiai pilka.

Priešingai, pikseliai, įrašantys dešinę vaizdo pusę, didžiąją ekspozicijos dalį mato juodą uždangą. Tik ekspozicijos pabaigoje atsiskleidžia balta siena. Tokiu atveju vidurkis yra tamsiai pilkas.

Panašiai vaizdo viduryje esantys pikseliai įrašys vidutinio pilkumo spalvą. Ir galutinis vaizdas pasirodo kaip graduota pilka spalva, kuri atspindi užuolaidos judėjimą.

Pagrindinė Dillavou ir kolegų idėja yra ta, kad šį vieną vaizdą galima įsivaizduoti kaip daug nespalvotų judančios užuolaidos vaizdų, uždėtų vienas ant kito. Iš tiesų, vaizdų, kuriuos galima ištraukti iš vieno vaizdo, skaičius priklauso nuo pikselių įrašomų bitų lygių skaičiaus.

Apsiginklavę šia įžvalga, jie sukūrė matematinę techniką, skirtą šiems vaizdams išgauti iš vieno vaizdo, idėją jie vadina virtualaus kadro technika. Šiuo atveju jis gali sukurti 16 užuolaidų, judančių per sieną, vaizdų.

Ši technika gali paversti beveik bet kurią elektroninę kamerą didelės spartos stebuklu. Komanda jį išbandė lygindama virtualius kadrus su tais, kurie užfiksuoti didelės spartos kameros, įrašančios 40 000 kadrų per sekundę greičiu.

Jie padėjo ištemptą guminį lakštą prieš spindulio skirstytuvą, kuris siųsdavo šviesą į abi kameras, todėl abiem buvo vienodas lapo vaizdas. Komanda nustatė apšvietimą taip, kad guminis lakštas būtų juodas, o fonas – baltas. Jie naudojo skalpelį, kad įrėžė guminį paklodę ir abiem kameromis užfiksavo, kaip jis skilo, kai lūžis skrieja per paklodę.

Galiausiai komanda panaudojo virtualių kadrų techniką, kad išskirtų didelio kadrų dažnio vaizdus ir palygintų juos su didelės spartos kameros, fotografuojančios 40 000 kadrų per sekundę greičiu. Šio palyginimo vaizdo įrašas yra parsisiųsti čia .

Rezultatai rodo, kad virtualaus kadro technika turi didžiulį potencialą. Pirma, abiejuose vaizdų rinkiniuose rodomas panašus lūžio procesas, o tai patvirtina metodo pranašumą. Tačiau jis taip pat turi nemažai reikšmingų pranašumų. Kiekviename vaizde jis įrašo 1,3 megapikselio, palyginti su standartinės kameros 60 kilopikselių. Tai labai padidina matymo lauką, taigi ir atstumą, per kurį galima užfiksuoti lūžį.

Virtualus kadrų dažnis taip pat yra daug greitesnis. Efektyvus kadrų dažnis, pasiekiamas naudojant [virtualiojo kadravimo techniką], yra 1 MHz, sako Dillavou ir kt.

Jie toliau tyrinėja, kaip naujos technikos taikymas įvairioms kameroms padidina jų kadrų dažnį. Skaičiai atveria akis. Pavyzdžiui, Nikon D850 įrašo virtualius kadrus 16 MHz dažniu, išlaikant didesnę nei 50 Mpx skiriamąją gebą. Net „iPhone X“ gali įrašyti iki milijono kadrų per sekundę, naudojant šią techniką.

Nėra pagrindo manyti, kad tai negali būti lengvai valdoma, nes visas apdorojimas atliekamas vėliau. Šis padidintas virtualus kadrų dažnis nereikalauja jokių fotoaparato veikimo pakeitimų, teigia komanda.

Tačiau yra keletas svarbių reiškinių tipų, kuriuos galima užfiksuoti tokiu būdu, ribos. Pirma, dominantis objektas turi būti juodas baltame fone (arba atvirkščiai). Bet kokios pilkos spalvos scenoje sugadins rezultatus.

Ir pats reiškinys turi būti tai, ką Dillavou ir bendradarbiai vadina monotonišku. Kitaip tariant, bet koks pakeitimas ekspozicijos metu turi pereiti iš juodos į baltą (arba atvirkščiai), bet ne atgal. Pavyzdyje su užuolaida virtualaus rėmelio technika veikia, jei uždanga juda viena kryptimi, bet ne, jei ji juda pirmyn ir atgal.

Nepaisant to, virtualaus kadro technika yra reikšmingas fotografijos pažanga. Jis gali paversti išmaniojo telefono kamerą galinėje kišenėje greitaeigiu įrašymo įrenginiu, kuris būtų sužavėjęs net Doc Edgerton.

Nuoroda: arxiv.org/abs/1811.02936 : Virtualaus kadro technika: itin greitas vaizdavimas naudojant bet kokią kamerą

paslėpti