Mašininis matymas išmoko naudoti radijo bangas, kad matytų per sienas ir tamsoje

Veiksmų atpažinimo išvestis, rodanti figūras, besispiriančias ir glostydamas nugarą SU CSAIL

Mašininio matymo rekordas yra įspūdingas. Jis turi antžmogišką gebėjimą atpažinti žmones, veidus ir objektus. Jis netgi gali atpažinti daugybę skirtingų veiksmų, nors dar ne taip gerai, kaip žmonės.

Tačiau jo veikimui yra ribos. Mašinoms ypač sunku, kai žmonės, veidai ar daiktai yra iš dalies užkimšti. Ir kai šviesos lygis nukrenta per toli, jie veiksmingai apakinami, kaip ir žmonės.

Tačiau yra ir kita elektromagnetinio spektro dalis, kuri nėra ribojama taip pat. Radijo bangos užpildo mūsų pasaulį, nesvarbu, ar tai naktis, ar diena. Jie lengvai prasiskverbia pro sienas ir yra perduodami bei atspindėti žmogaus kūne. Iš tiesų, mokslininkai sukūrė įvairius būdus, kaip naudoti „Wi-Fi“ radijo signalus norėdami pamatyti už uždarų durų.

Tačiau šios radijo matymo sistemos turi tam tikrų trūkumų. Jų skiriamoji geba yra maža; vaizdai yra triukšmingi ir užpildyti atitraukiančiais atspindžiais, dėl kurių sunku suprasti, kas vyksta.

Šia prasme radijo vaizdai ir matomos šviesos vaizdai turi vienas kitą papildančių privalumų ir trūkumų. O tai iškelia galimybę panaudoti vieno stipriąsias puses kito trūkumams įveikti.

Įeikite į Tianhong Li ir kolegas iš MIT, kurie rado būdą, kaip išmokyti radijo regos sistemą atpažinti žmonių veiksmus, mokydami ją regimosios šviesos vaizdais. Naujoji radijo regėjimo sistema gali matyti, ką asmenys veikia įvairiose situacijose, kai nepavyksta vaizduoti matomoje šviesoje. Pristatome neuroninio tinklo modelį, kuris gali aptikti žmogaus veiksmus per sienas ir okliuzijas bei prasto apšvietimo sąlygomis, tarkime Li ir kt.

Komandos metodas naudoja tvarkingą triuką. Pagrindinė idėja yra įrašyti tos pačios scenos vaizdo įrašus naudojant matomą šviesą ir radijo bangas. Mašininio matymo sistemos jau gali atpažinti žmogaus veiksmus iš matomos šviesos vaizdų. Taigi kitas žingsnis yra susieti tuos vaizdus su tos pačios scenos radijo vaizdais.

Tačiau sunku užtikrinti, kad mokymosi procesas būtų sutelktas į žmogaus judėjimą, o ne į kitas savybes, pvz., foną. Taigi Li ir bendradarbiai pristato tarpinį žingsnį, kurio metu mašina sukuria 3D figūrėlių modelius, atkuriančius scenoje esančių žmonių veiksmus.

Išvertus įvestį į tarpinį skeleto vaizdą, mūsų modelis gali mokytis iš regėjimo ir radijo dažnių duomenų rinkinių ir leisti abiem užduotims padėti viena kitai. pasakyti Li ir bendrai.

Tokiu būdu sistema išmoksta atpažinti veiksmus matomoje šviesoje, o vėliau atpažinti tuos pačius veiksmus, vykstančius tamsoje ar už sienų, naudodama radijo bangas. Mes parodome, kad mūsų modelis pasiekia panašų tikslumą su vizija pagrįstomis veiksmų atpažinimo sistemomis matomuose scenarijuose, tačiau ir toliau tiksliai veikia, kai žmonės nėra matomi, sako mokslininkai.

Tai įdomus darbas, turintis didelį potencialą. Akivaizdus pritaikymas yra scenarijus, kai matomos šviesos vaizdai nepavyksta – esant prastam apšvietimui ir už uždarų durų.

Tačiau yra ir kitų programų. Viena iš problemų, susijusių su vaizdais matomoje šviesoje, yra ta, kad žmonės yra atpažįstami, o tai kelia privatumo problemų.

Tačiau radijo sistema neturi veido atpažinimo skiriamosios gebos. Veiksmų nustatymas neatpažįstant veidų nekelia tų pačių privatumo baimių. Jis gali atpažinti veiksmus žmonių namuose ir leisti jį integruoti į išmaniųjų namų sistemas, sako Li ir kt. Tai gali būti naudojama, pavyzdžiui, pagyvenusio žmogaus namams stebėti ir atitinkamoms tarnyboms įspėti apie kritimą. Ir tai padarytų be didelės rizikos privatumui.

Tai viršija šiandieninių vizija pagrįstų sistemų galimybes.

Nuoroda: arxiv.org/abs/1909.09300 : Padaryti nematomą matomu: veiksmo atpažinimas per sienas ir okliuzijas

paslėpti