211service.com
Gestų kalbos vertėjas
Dvikalbiai žodynai paprastai yra dvipusė gatvė: galite ieškoti žodžio anglų kalba ir rasti, tarkime, jo atitikmenį ispaniškai, bet galite padaryti ir atvirkščiai. Tačiau gestų kalbos žodynai verčia tik iš rašytinių žodžių į gestus. Tai gali būti labai varginanti, ypač kurčiųjų vaikų tėvams, kurie nori suprasti nepažįstamus gestus, arba kurtiesiems, kurie nori bendrauti internete naudodami savo pagrindinę kalbą. Taigi Bostono universiteto (BU) mokslininkai kuria a gestų kalbos paieškos žodynas , kuriame bet kuris vartotojas gali įvesti gestą į žodyno paieškos variklį iš savo nešiojamojo kompiuterio, pasirašydamas prieš įmontuotą kamerą.
Paieška pagal ženklą: Bostono mokslininkai kuria pirmąjį gestų kalbos žodyną, kuriame galima ieškoti gestais. Signataras (nuotraukoje) sėdi studijoje, kurioje yra didelės spartos kameros, fiksuojančios rankų judesius ir veido išraiškas. Vaizdo įrašai nešiojamajame kompiuteryje ragina ją daryti tam tikrus ženklus. Pasirašančiojo vaizdo įrašas bus naudojamas lavinant algoritmus, leidžiančius nustatyti gestų modelius.
Galbūt „YouTube“ turite gestų kalbos rinkinį, o dabar norėdami ieškoti turite ieškoti anglų kalba, sako Stanas Sclaroffas , BU informatikos profesorius. Tai atitikmuo, sako Sclaroffas, ieškant teksto ispanų kalba naudojant vertimus į anglų kalbą. Tai nenatūralu, sako jis, ir tai nėra teisinga.
Sclaroff kuria žodyną bendradarbiaudamas su Carol Neidle , BU lingvistikos profesorius ir Teksaso universiteto Arlingtone kompiuterių mokslo ir inžinerijos docentas Vassilis Athitsos. Kai vartotojas atlieka gestą, žodynas jį analizuos ir ištrauks penkis geriausius galimus atitikmenis ir reikšmes.
Šiandieninis gestų kalbos atpažinimas yra toks, koks buvo prieš 20 metų Tadas Starneris , Džordžijos technologijos instituto kontekstinio skaičiavimo grupės vadovas. Starnerio grupė vystėsi gestų kalbos atpažinimo programinė įranga vaikams , naudodami jutikliais užpildytas pirštines, kad stebėtumėte rankų judesius. Jis su mokiniais sukūrė lavinamuosius žaidimus, kuriuose klausos negalią turintys vaikai, mūvėdami pirštines, mokosi gestų kalbos. Kompiuteris įvertina rankos formą ir pereina prie kito pratimo, jei vaikas teisingai pasirašė.
Skirtingai nuo Starnerio darbų, Sclaroff ir Neidle siekia sukurti be jutiklių sistemą, kurioje kiekvienas, turintis fotoaparatą ir interneto ryšį, galėtų išmokti gestų kalbos ir bendrauti. Šis metodas, pasak Starnerio, yra unikalus gestų kalbos atpažinimo, taip pat kompiuterinio matymo srityje.
Tam reikia daug apdorojimo galios, o bandyti susidoroti su gestų kalba naudojant skirtingas vaizdo kokybę yra labai sunku, sako Starner. Taigi, jei jiems pasiseks, būtų labai šaunu, jei iš tikrųjų būtų galima ieškoti internete gestų kalba.
Siekdama įveikti šį sudėtingą iššūkį, BU komanda prašo kelių pasirašiusiųjų sėdėti studijoje po vieną ir pasirašyti 3000 gestų klasikiniame Amerikos gestų kalbos (ASL) žodyne. Kai jie pasirašo, keturios didelės spartos aukštos kokybės kameros vienu metu fiksuoja priekinį ir šoninį vaizdą bei veido išraiškas. Anot Neidle'io, šypsenos, susiraukę antakiai ir pakelti antakiai yra iš esmės nepakankamai ištirta ASL dalis, galinti aiškiai suprasti gesto reikšmę.
Kai gaunami vaizdiniai duomenys, Neidle ir jos mokiniai juos analizuoja, pažymėdami kiekvieno ženklo pradžią ir pabaigą bei nustatydami pagrindinius pogestus – vienetus, atitinkančius anglų kalbos fonemas. Tuo tarpu Sclaroff naudoja šią informaciją kurdamas algoritmus, kurie, tarkime, gali atskirti pasirašančiojo rankas nuo fono arba atpažinti rankos padėtį ir formą bei judėjimo modelius. Atsižvelgdama į tai, kad kiekvienas asmuo galėtų pasirašyti žodį šiek tiek kitaip, komanda analizuoja ir vietinių, ir nevietinių pasirašiusiųjų gestus, tikėdamasi sukurti kompiuterinį atpažinimo įrenginį, kuris galėtų valdyti tokius variantus.
Pagrindinis iššūkis ateityje gali būti atsižvelgti į daugybę nekontroliuojamų veiksnių vartotojo sąsajos pusėje, sako Sclaroffas. Pavyzdžiui, kas nors, naudojant gestą, įvesdamas paieškos užklausą į nešiojamąjį kompiuterį, turės prastesnės kokybės kamerą. Fonas gali būti netvarkingas nei kruopščiai kontroliuojama studijos aplinka duomenų bazės pavyzdžiuose, todėl kompiuteris turės prisitaikyti prie kintamųjų, tokių kaip drabužiai ir odos atspalvis.
Tik sukurti ženklą ir jį apžiūrėti – tai tikroji naujovė, kurią mes stengiamės pasiekti, sako Neidle. Tai būtų patobulinimas, palyginti su viskuo, kas dabar egzistuoja.