„Microsoft“ naujas blizgus žaislas

Praėjusį kovą vykusioje technologijų, pramogų, dizaino (TED) konferencijoje Monterėjuje, Kalifornijoje, aukščiausiojo lygio susitikime, kuris buvo apibūdintas kaip Davosas digeratams, ramaus balso programinės įrangos architektas iš Microsoft staiga pradėjo savo demonstraciją, greitai naršydamas per vaizdų jūrą, rodomą didelis ekranas. Naudodamas Seadragon – technologiją, kuri leidžia sklandžiai ir greitai tyrinėti didelius teksto ir vaizdo duomenų rinkinius, jis be vargo įsitraukė į 300 megapikselių žemėlapį, priartindamas vaizdą, kad viename kampe būtų parodytas Kongreso bibliotekos datos antspaudas. Tada jis atsigręžė į vaizdą, kuris atrodė kaip brūkšninis kodas, bet iš tikrųjų buvo visas Charleso Dickenso tekstas Liūdnas namas , priartinkite tol, kol ekraną užpildys du ryškių kraštų šrifto simboliai, o po to greitai priartinsite atgal į milžinišką teksto ir vaizdų skiautę.

Tu esi čia: „Microsoft Live Labs“ kuriama programa „Photosynth“ siūlo įtraukiantį būdą peržiūrėti tam tikro daikto ar vietos nuotraukas. Programinė įranga dar nebuvo išleista, bet „Microsoft“ demonstruoja ją internete su nuotraukų kolekcijomis, tokiomis kaip ši Venecijos Šv. Morkaus aikštės.

„Microsoft“ praėjusiais metais įsigijo „Seadragon“, o kartu ir laidos vedėją Blaise'ą Agüera y Arcas. Tačiau Agüera y Arcas atvyko į TED ne vien tam, kad pademonstruotų Seadragon. Netrukus jis išpjovė panoramą, išklotą iš Kanados uolų nuotraukų; mozaika pasislinko jam slenkant per ją, atskleisdama dramatišką keteros liniją. Po to atėjo vaizdas iš oro, kaip atrodė pažįstamo pastato modelis: Dievo Motinos katedra. Modelis, paaiškino Agüera y Arcas, buvo surinktas iš šimtų atskirų vaizdų, surinktų iš Flickr. Tai buvo taškų debesis – taškų rinkinys trimatėje erdvėje.

Ši istorija buvo mūsų 2008 m. kovo mėnesio numerio dalis

• Žr. likusią numerio dalį
• Prenumeruoti

Kalbėdamas Agüera y Arcas erzindamas naršydamas po Notre Dame pakraštį, kuris ne kartą atgydavo ir vėl pritemdavo. Judėjimo per besikeičiančius vaizdus ir židinio taškus poveikį sušvelnino subtilūs pereinamieji efektai. Tai atrodė kaip tyčia sulėtinta animacija kadras po kadro; efektas buvo stulbinantis. Minia nustebusi stebėjo, kaip Agüera y Arcas veržėsi gilyn į pastato arkos priekinį vaizdą ir baigdavosi stambaus plano gargoyle. Kai kurie vaizdai, kuriuos nupiešė technologija, net nebuvo griežtai fotografiniai: ji ieškojo Flickr visų susijusių vaizdų, įskaitant katedros plakatą. „Agüera y Arcas“ demonstravo ne vaizdo įrašą, bet ir ne tik nuotraukų rinkinį, net ir milžinišką. Jis taip pat buvo panašus į žemėlapį, tačiau įtraukiantis, pagyvintas svajonių logikos, kai suliejamos formos ir keičiasi perspektyvos.

Tai buvo Photosynth – technologija, kuri analizuoja susijusius vaizdus ir susieja juos kartu, kad iš naujo sukurtų fizinę aplinką akinančioje virtualioje erdvėje. Ši technologija sukuria metaversiją, sakė Agüera y Arcas (daugiau apie besiformuojančių žemėlapių technologijų, pvz., „Google Earth“ ir fantastinių žaidimų, tokių kaip „Second Life“ sferos, derinį, žr. „Second Earth“, 2007 m. liepos/rugpjūčio mėn.); tačiau ji taip pat yra ilga „Virtual Earth“, „Microsoft“ konkurentės „Google“ žemė“, uodega, nes ji gali remtis ir prisidėti prie daugybės vietinių žemėlapių ir vaizdų duomenų, pasiekiamų internete. Pasak jo, tai galėtų pateikti nepaprastai turtingus virtualius kiekvienos įdomios žemės dalies modelius, surinktus ne tik iš viršaus esančių skrydžių, palydovinių vaizdų ir pan., bet ir iš kolektyvinės atminties. Tuo metu pristatymas baigėsi taip pat staiga, kaip ir prasidėjo prieš šešias minutes. Agüera y Arcas baigiamasis pareiškimas sulaukė audringų plojimų.

Multimedija

• Peržiūrėkite nuotraukas iš Photosynth ir sužinokite, kaip ji veikia.

• Kartu žiūrėkite Photosynth dygsnio nuotraukas.

Be vaizdų susiuvimo
Photosynth gimė iš to, ką Agüera y Arcas vadina Seadragon ir Photo Tourism santuoka – Microsoft projekto, skirto pakeisti nuotraukų rinkinių pakavimo ir rodymo būdus. Fototurizmas prasidėjo kaip uolaus 26 metų Vašingtono universiteto absolvento Noah Snavely daktaro disertacija. Vienas iš „Snavely“ patarėjų buvo Rickas Szeliski, „Microsoft Research“, bendrovės tyrimų ir plėtros padalinio, kompiuterinės regos tyrėjas. Apibūdinau, kad reikia gerų stiprios skaidrių demonstracijos elementų, pavyzdžiui, puikios kompozicijos, – prisimena Szeliski, kurio ankstesnis darbas „Microsoft“ padėjo sukurti vaizdų susiuvimo technologiją, dabar dažniausiai naudojamą skaitmeniniuose fotoaparatuose, siekiant užpildyti platesnį ar aukštesnį kadrą. Jis taip pat siekė sklandumo tarp vaizdų ir interaktyvumo jausmo juos peržiūrėdamas.

Dirbdama su Szeliski ir Vašingtono universiteto profesoriumi Steve'u Seitzu, Snavely siekė užkoduoti kelią į priekį per skaičiuojant draudžiamą iššūkį: kaip sulieti nuotraukas, remiantis jų panašumais, į fizinį 3-D modelį, kurį galėtų sukurti žmogus. akis galėtų atpažinti kaip autentiško, tikro pasaulio kraštovaizdžio dalį. Be to, modelis turėtų būti toks, kurį vartotojai galėtų naršyti ir patirti erdvėje. Esama nuotraukų susiuvimo programinė įranga, naudojama elektroniniuose įrenginiuose, pvz., skaitmeniniuose fotoaparatuose, žinojo, kaip nustatyti ryšį tarp vaizdų pagal jų darymo seką. Tačiau Snavely bandė sukurti programinę įrangą, galinčią atlikti tokius vertinimus visiškai kitaip. Jis sukūrė dviejų etapų procesą: pirmame žingsnyje mes nustatome svarbiausius visų 2-D vaizdų taškus, sako jis. Tada bandome išsiaiškinti, kurie skirtingų vaizdų taškai atitinka tą patį 3D tašką.

Šis procesas, pasak Snavely, vadinamas „judesio struktūra“. Iš esmės judanti kamera gali nustatyti 3D struktūrą. Tai ta pati idėja, kaip ir tada, kai judinate galvą pirmyn ir atgal ir galite geriau suvokti to, į ką žiūrite, 3D struktūrą. Pabandykite užmerkti vieną akį ir pajudinti galvą iš vienos pusės į kitą: pamatysite, kad skirtingi taškai skirtingais atstumais judės skirtingai. Tai yra pagrindinė judėjimo struktūros idėja.

Kompiuterinė vizija, kaip paaiškina Agüera y Arcas, turi paprastą garantiją: visi erdviniai duomenys yra kiekybiškai įvertinami. Kiekvienas erdvės taškas turi tik tris laisvės laipsnius: x, y ir z, sako jis.

Atributai, kuriais dalijasi tam tikros nuotraukos, priduria jis, padeda pažymėti jas kaip panašias: išskirtinės formos grindinio akmuo, tarkime, gali atsirasti pakartotinai. Kai programinė įranga atpažįsta panašumus – akmuo šioje nuotraukoje taip pat pasirodo tame – ji moka ieškoti tolesnių panašumų. Vaizdų grupavimas pagal suderintus vaizdinius elementus taip suaktyvėja, kol iš tų grindinio akmenų galima atkurti visą kelią. Kuo daugiau vaizdų sistema pradeda, tuo realesnis rezultatas, ypač jei originalios nuotraukos buvo darytos įvairiais kampais ir perspektyvomis.

Taip yra todėl, kad antrasis skaičiavimo pratimas, pasak Snavely, yra palyginti vaizdus, ​​kuriuose bendros savybės pavaizduotos skirtingais kampais. Pasirodo, pirmasis procesas padeda antrajam, suteikdamas mums informacijos apie tai, kur turi būti kameros. Galime atkurti požiūrio tašką, iš kurio buvo daryta kiekviena nuotrauka, o kai vartotojas pasirenka nuotrauką, jis nukreipiamas į tą vaizdą. Kiekvienam vaizdui nustatydama požiūrio tašką – apskaičiuodama, kur fotoaparatas turėjo būti fotografuojant – programinė įranga gali imituoti binokulinio regėjimo veikimą ir sukurti 3D efektą.

Tačiau, kaip žinojo Szeliski, žmogaus akis yra nepastoviausias kritikas. Taigi jis ir du jo kolegos siekė daugiau, nei tik mažesnes dalis sujungti į didesnę visumą; jie taip pat dirbo su perėjimo efektais, kad vaizdai būtų kuo sklandesni. Jų patobulinti metodai apima tirpimą arba išnykimą, būdingą metodą, kuriuo filmų ir vaizdo įrašų redaktoriai sujungia vaizdus.

Demonstracinėje versijoje, kurioje buvo parodytas Trevi fontanas Italijoje, „Photo Tourism“ sukūrė niūrią, elementarią „Photosynth“ gaminių versiją: taškų debesį, surinktą iš vaizdų, vaizduojančių skirtingas perspektyvas vienoje vietoje. Įspūdingesnis buvo programinės įrangos gebėjimas peržiūrėti vaizdų bankus, atsisiųstus iš „Flickr“, remiantis aprašomomis žymomis – nuotraukomis, kurios, žinoma, nebuvo darytos modelio kūrimo tikslais. Rezultatas, prisimena Szeliski, buvo stebinantis ir gaivus net jo veterano akims.

Mes turėjome naują būdą vizualizuoti nuotraukų kolekciją, interaktyvų skaidrių demonstravimą, sako Szeliski. Manau, kad fototurizmas nustebino saviškius ir pašalinius asmenis dėl skirtingų priežasčių. Asmenys buvo suglumę dėl neįtikėtino lengvumo. Pašaliniai, anot jo, sunkiai galėjo patikėti, kad tai apskritai įmanoma.

Tačiau Photo Tourism programos ateitis buvo neaiški. Nors tai buvo techninis atradimas, sukurtas „Linux“ ir galintis veikti „Windows“, jis vis tiek buvo prototipas, o tolesnio jo kūrimo planas buvo neaiškus.

2006 m. pavasarį, kai Snavely pristatė Photo Tourism vidiniame Microsoft seminare, Blaise'as Agüera y Arcas, tuomet naujas darbuotojas, priėjo ir pastebėjo. Jis atvyko neseniai, kai įsigijo savo įmonę Seadragon, kuri sukūrė programinę įrangą, kurią jis apibūdina kaip 3D virtualios atminties tvarkyklę vaizdams. „Seadragon“ akį traukiantis patrauklumas slypi galimybe leisti vartotojams įkelti, naršyti ir manipuliuoti precedento neturinčiu vaizdinės informacijos kiekiu, o didelis techninis pasiekimas – galimybė tai padaryti tinkle. (Tačiau „Photosynth“ gebėjimas dirbti su vaizdais iš „Flickr“ ir panašių dalykų atsiranda dėl technologijos, kuri atsirado naudojant „Photo Tourism“.)

Tą dieną Agüera y Arcas ir Snavely pradėjo kalbėtis. Iki 2006 m. vasaros buvo pristatytos demonstracinės versijos. Gautas hibridinis produktas – dalis „Photo Tourism“ ir dalis „Seadragon“ – sujungia didelę panašių vaizdų (nuotraukų ar iliustracijų) grupę, sujungiant juos į 3D vizualinį tikrojo pasaulio objekto modelį. Tai netgi suteikia trimačių sričių, kuriose susijungia dvimatės nuotraukos. Kiekvienas atskiras vaizdas atkuriamas nepriekaištingai, tačiau perėjimuose tarp jų „Photosynth“ užpildo suvokimo spragas, kurios kitu atveju neleistų nuotraukų kolekcijai pasijusti platesnės perspektyvos vaizdo dalimi. Be to, kad sintezuotas modelis yra vizualinis tikros scenos analogas, jis yra visiškai naviguojamas. Kaip paaiškina Snavely, dominuojantis naršymo režimas yra kitos nuotraukos, kurią norite aplankyti, pasirinkimas spustelėjus valdiklius, o sistema automatiškai perkelia 3D peržiūros tašką į tą naują vietą. Besisukanti akis yra gera metafora. Programinė įranga iš naujo sukuria fotografuojamą objektą kaip vietą, kurią reikia įvertinti kiekvienu dokumentuotu kampu.

Stulbinantis „Photosynth“ techninis pasiekimas yra tarsi triušio ištraukimas iš kepurės: jis sukuria tikrovišką 3D sąsają iš 2D fotografijos terpės. Tai yra kažkas iš nieko, sako Aleksejus A. Efrosas, Carnegie Mellon profesorius, besispecializuojantis kompiuterinio matymo srityje. Paslaptis, aiškina Efrosas, yra nuotraukų kiekis. Kai gaunate vis daugiau vaizdinių duomenų, kiekis tampa kokybe, sako jis. Ir kai gaunate nuostabų duomenų kiekį, jis pradeda pasakoti dalykus, kurių anksčiau nežinojote. Dėl patobulinto modelio atpažinimo, indeksavimo ir metaduomenų mašinos gali daryti išvadą apie trimatį. Efrosas teigia, kad anksčiau, nei tikimės, regėjimas bus pagrindinis mašinų jutiklis, kaip ir dabar žmonėms.

Microsoft demonstruoja Photosynth internete su nuotraukų kolekcijomis, tokiomis kaip Venecijos Šv. Morkaus aikštės. Šios kolekcijos kadrai buvo padaryti vieno fotografo per 10 dienų.
Kreditas: „Microsoft Live Labs“ sutikimas

Kuo tai gali tapti
„Microsoft“ darbas su „Photosynth“ parodo bendrovės strategiją, skirtą 100 žmonių turinčioms „Live Labs“. Dalis žiniatinklio skunkso darbų, dalis sraigtų vadovų, kuriems įmonės patronuojanti įmonė nėra tinkama, įdarbinimo vieta. „Live Labs“ iš dalies siekia mesti iššūkį, ką žmonės galvoja apie „Microsoft“, sako 40 metų Gary'is Flake'as. technikos bendradarbis, kuris yra laboratorijos įkūrėjas ir direktorius. Tikslesnis tikslas yra pateikti žiniatinklio technologijas rinkai.

Flake'o pasisakymas apie Live Labs kultūrą yra energingas, nes jis kalba apie savo pastangas sujungti mokslinius tyrimus ir produktų inžineriją. Flake'as, dirbęs daugelyje mokslinių tyrimų organizacijų, įskaitant NEC tyrimų institutą ir „Yahoo Research Labs“, kurias jis įkūrė ir kurioms vadovavo, tai apibūdina kaip visos pramonės iššūkį. „Live Labs“ turime apgalvotą apsidraudimo portfelį, – aiškina jis. Turime labai įdomų derinį, apimantį 40 skirtingų projektų.

Flake'as nenori išsamiai aptarinėti daugelio savo projektų, tačiau jis kupinas jaudulio dėl savo įgaliojimo įnešti daugiau DNR į neapdorotus talentus. Jis sako, kad norime sukurti ir tobulinti interneto produktų ir paslaugų būklę, tačiau jis taip pat aistringai kalba apie „Live Labs“ darbuotojus kaip apie „Rosetta“ akmenis, kurie gali būti vertėjai mokslinių tyrimų ir plėtros pasaulyje, kuriame inžinieriai ir mokslininkai dažnai kalba skirtingai. kalbomis.

Pasak Flake'o, „Photosynth“ projektas įkūnija sėkmę, kurią jis nori pasiekti, stengdamasis įveikti tradicinę takoskyrą tarp mokslo ir produktų inžinerijos. Tai rodo rimtą pažangą.

Šiuo metu „Photosynth“ galima pamatyti tik internetinėje demonstracijoje, tačiau „Agüera y Arcas“ komanda tikisi ją išleisti iki metų pabaigos. Ką jį įsigijęs asmuo gali su juo padaryti, dar reikia pamatyti. Taškinius debesis galima sudaryti tik iš dviejų ar trijų vaizdų, todėl galima įsivaizduoti, kad vartotojai sukuria palyginti neįmantrius savo fotografijos, tarkime, šeimos kelionės į Rašmoro kalną, sintezes. (Žinoma, žmonės, turintys Photosynth, gali pradėti fotografuoti daug daugiau tam tikros vietos nuotraukų, kad vėliau galėtų padaryti turtingą sintezę.) Tačiau gali būti, kad vartotojai pasinaudos internetinėmis nuotraukų bibliotekomis, kurios tikriausiai reikės atsisiųsti į vietinį kompiuterį, kad būtų galima sukurti savo labai fotografuojamų svetainių sintezes.

Vis dėlto „Photosynth“ dažniausiai žada ir turi mažai įrodymų. Daug techninių klausimų, kaip bus lengva juo naudotis ir kokios tiksliai bus jo galimybės. Be to, nepaisant „Linux“ fototurizmo ištakų, „Photosynth“ artimiausioje ateityje liks tik „Windows“.

Be to, nepaisant tiesioginio Photosynth patrauklumo, jos pritaikymai taip pat lieka neaiškūs. Pasauliui nereikia kitos vaizdų naršyklės, net novatoriškos. Dar labiau mažai tikėtina, kad vartotojai mokėtų už dabartinę „Photosynth“ formą. Tuo tarpu Photosynth likimas priklausys nuo to, ar ji galės sukurti plačią vartotojų bendruomenę. Ar tie, kurie ją naudoja, bus pritaikyti naujai, kaip tai padarė „Google Earth“? Dar svarbiau, ar „Microsoft“ išleis galutinį produktą pakankamai atvirą, kad tokia bendruomenė galėtų ieškoti kitokių, nei iš pradžių numatytų, naudojimo būdų?

Flake praneša, kad Photosynth komanda sukūrė daugybę galimų naudojimo būdų, iš kurių du atrodo ypač tikėtini.

Vienas iš jų yra geriau integruoti jį su „Microsoft Virtual Earth“, kad jis taptų įrankiu, perkeliančiu vartotojus į kitą gilaus mastelio keitimo žingsnį. Kadangi „Virtual Earth“ tvarko topografiją ir aerofotografiją, o „Photosynth“ suderina daugybę antžeminės fotografijos medžiagos, šios dvi programos gali sukurti lengvą metaversą, naudojant terminą, kurį Agüera y Arcas vartojo TED.

Atkreipdamas dėmesį į „Photosynth“ įrenginį su pastatais ir miesto aikštėmis, Seitzas taip pat numato didelį jos plėtrą. Norėtume užfiksuoti ištisus miestus, sako jis. Iš tiesų, Agüera y Arcas ir Stephenas Lawleris, „Microsoft“ virtualios žemės projekto generalinis direktorius, 2007 m. rugpjūčio mėn. Las Vegase, kasmetiniame įsilaužėlių suvažiavime „Defcon“, paskelbė, kad planuoja partnerystę. Kai bus pašalintos kai kurios palyginti nedidelės techninės kliūtys, sako Seitzas, niekas netrukdo mums modeliuoti miestų.

Kai žmonės kuria ir saugo vis daugiau skaitmeninės laikmenos, „Photosynth“ netgi gali suteikti vartotojams galimybę perteikti savo šeimos nuotraukų albumus. Įsivaizduokite, jei galėtumėte stebėti, kaip jūsų vaikai auga jūsų namuose, sako Flake'as, tik iš jūsų nuotraukų kolekcijos.

Tokioms idėjoms sklindant, „Photosinth“ komanda vargu ar sėdi vietoje. Praėjusią vasarą mokslininkai išleido internetinį demonstracinį bendradarbiavimą su NASA, o dabar jie dirba su Jet Propulsion Lab, kad susintetintų nedidelę Marso paviršiaus dalį.

Kyla klausimas, kiek „Microsoft“ yra pasirengusi bankrutuoti tokio pobūdžio „geek-out“. Vėlgi, kaip retoriškai klausia Agüera y Arcas ir Flake, kaip įvertinti tokį techninį pasiekimą? Nors atrodo, kad Photosynth šiek tiek trūksta aiškaus kelio į rinką, jam taip pat visiškai trūksta konkurencijos.

Jeffrey MacIntyre yra laisvai samdomas žurnalistas, daug rašantis kultūros, mokslo ir technologijų temomis.

paslėpti