211service.com
Kaip skaitmeninti milijoną knygų
Praėjus penkiolikai mėnesių po to, kai „Google“ paskelbė apie biblinio masto knygų nuskaitymo projektą – pastangas suskaitmeninti visas Niujorko viešosios bibliotekos ir Harvardo universiteto bibliotekų knygų kolekcijas, be kita ko, bendrovė vis dar slepia, kaip sprendžia pagrindines technines problemas. ir nepasakys, kiek daug jie nuveikė iki šiol.
Tačiau panašus, jei mažesnis projektas – Milijono knygų projektas Carnegie Mellon universitete Pitsburge – vyksta apie septynerius metus. Tai galėtų suteikti tam tikrų užuominų. Projekto direktorius kompiuterių mokslininkas Raj Reddy sako, kad jis ir jo kolegos neturi daugiau žinių apie „Google“ metodus ar pažangą nei bet kas kitas, tačiau jie sprendžia daugelį tų pačių iššūkių.
„Google“ knygų paieškos tikslas – padaryti, kad visos neprisijungus pasiekiamos knygos – šiuo metu „Google“ akims nematomos – būtų galima ieškoti. Tai reiškia, kad reikia fiziškai nuskaityti šimtus milijonų puslapių, įrištų tarp maždaug 18 milijonų knygų viršelių, atpažinti apie 430 kalbų ir visų rūšių šriftų, padaryti teksto paieškų rezultatus prieinamus ir atkartoti tradicinę bibliotekos naršymo patirtį, kai visa tai bus padaryta. Danielis Clancy, „Google“ knygų paieškos inžinierių direktorius, sako negalintis komentuoti to, ką bendrovė iki šiol nuveikė.
Tačiau CMU projekte nuskaitymo technologija nebepasiekiama. Jie naudojasi lengvai prieinamais Minolta PS 7000 knygų skaitytuvai, įrengti 40 nuskaitymo stočių Indijoje ir Kinijoje, kur vietos valdžia padeda išlaikyti mažas pelno nesiekiančio projekto išlaidas. Šioje sąrankoje darbuotojai rankiniu būdu verčia kiekvieną puslapį. Septynerius projekto metus buvo nuskaityta apie 600 000 knygų (daugiausia viešųjų kūrinių, siunčiamų iš viso pasaulio), o kiekvieną dieną dar 100 000 puslapių prisijungia prie skaitmeninio korpuso. Tokiu tempu TVS projektui užbaigti gali prireikti kiek mažiau nei penkerių metų.
Priešingai, Clancy teigia, kad „Google“ sukūrė savo nuskaitymo technologiją. Tačiau įmonei rūpi techninės aparatinės įrangos detalės, optinio simbolių atpažinimo (OCR) programinė įranga ir nuskaitymo greitis savo penkiuose nuskaitymo centruose, esančiuose šalia bendradarbiaujančių bibliotekų partnerių Harvarde, Stenforde, Mičigano universitete, Oksfordo universitete ir Niujorke. Viešoji biblioteka.
Reddy sako, kad parduodamas programinė įranga už anglų kalbos atpažinimą puikiai tinka Milijono knygų projektui. Iššūkius, su kuriais susiduria OCR, sprendžia jų Kinijos partneriai, kurie kuria specialią programinę įrangą, kad geriau atpažintų netradicinius šriftus ir kaligrafinius raštus, dažnai randamus senesnėse knygose. Be to, jų partneriai Egipte kuria OCR arabų kalbai. Šiuo metu Reddy sako, kad OCR yra aktyvi tyrimų sritis, kurioje daugelis šalių prisideda prie patirties.
Kai knygos nuskaitomos ir jų tekstai pasiekiami, pagrindinis iššūkis yra padaryti tekstą naudingu ieškant. Clancy sako, kad knygų fizinės kokybės nenuoseklumas gali sukelti problemų, ypač dėl puslapių numeravimo. Pavyzdžiui, gali trūkti pilnų puslapių arba užklijuoti kampai gali atskleisti neteisingą puslapio numerį. Ir jei vienoje knygos dalyje neteisingas puslapių numeravimas, klaida plinta visame kūrinyje.
CMU Reddy teigimu, ši problema įveikiama kuriant programinę įrangą, kuri nesiremia puslapių numeriais. Vietoj to, jis sukuria struktūrinius metaduomenis, kurie iš esmės yra žymos, apibendrinančios informacijos reikšmę knygoje, kad tyrėjai galėtų susieti turinyje esančius žodžius su atitinkamais skyriais. Be to, indeksuotus terminus galima susieti su teisingomis ištraukomis. Deja, sako Reddy, nuorodų kūrimas vis dar yra rankinis procesas; niekas nesukūrė programinės įrangos, kuri galėtų nustatyti šiuos hipersaitus daugiau nei 90 procentų tikslumu. Tačiau jei techniką galima patobulinti, teksto paieškas būtų galima padaryti prasmingesnes.
Galiausiai, sako Clancy, „Google“ norėtų, kad knygų paieška gautų tokį patį rezultatą, kaip kas nors, eidamas į biblioteką, žvalgydamasis jos krūvose ir siaubingai randa įdomią ar naudingą knygą. Vienas iš būdų tai padaryti būtų susieti knygas viena su kita pagal kategorijas ir temas, siūlo jis. Tačiau užduotis tampa sudėtingesnė, kai, pavyzdžiui, Virginia Woolf kūrinius sieja su jos kūrybos kritika, kūriniais, kurie ją įkvėpė, ar autoriais, rašančiais toje pačioje epochoje. Clancy teigia, kad algoritmų, galinčių efektyviai organizuoti visą šią naują informaciją, kūrimas yra vienas didžiausių iššūkių ir užtruks daug metų.
Reddy sako, kad CMU tyrėjai bando išspręsti šį iššūkį naudodami statistinį informacijos organizavimo metodą. Taikant šį metodą, pavyzdžiui, Virginijos Woolf sąmonės srauto sakiniai būtų analizuojami naudojant algoritmą, kuris rastų šablonus, pagrįstus sakinio ilgiu, struktūra ir skyrybos ženklais. Ši technika gali rasti Jameso Joyce'o, vieno iš Woolfo įtakų, kūrinį arba neaiškio autoriaus, kurio raštai kitu atveju niekada nebūtų rasti.
Tuo tarpu mokslininkai ieško nuorodų, kaip ieškoti autorių, knygų ir žanrų, sako Reddy. Panašiai kaip bendradarbiaujant filtruojant „Amazon“ naudojami ankstesni žmonių pirkiniai, kad padėtų kitiems rasti galimus pirkinius, knygų paieškos naudotojai galėtų padėti vieni kitiems. Bendruomeninis požiūris yra idėja, kurios „Google“ nepaskelbė, sako Clancy, tačiau tai galėtų papildyti knygų paieškas ir sukelti paprastų žmonių susidomėjimą projektu.
Be abejo, kortelių laikymas šalia „Google“ nėra naujiena. Jie yra paslaptingi apie beveik viską, ką daro... tai labai įprasta Silicio slėnio įmonėse, sako Reddy iš CMU. Jis sako, kad knygų paieškos atveju „Google“ nori turėti neribotą sprendimą visoms bibliotekoms. Nepaisant to, Reddy džiaugiasi „Google“ projektu ir tiki, kad galiausiai jis papildys jo tyrimus. Esu tikras, kad kada nors jie turės nuorodą į mūsų knygas, sako jis.
Tuo tarpu „Google“ turi susidoroti su netechnine problema, kai nepatenkinti autorių teisių turėtojai traukia juos į teismą. Autorių gildija ir daugelis leidėjų padavė juos į teismą, teigdami, kad „Google“ projektas pažeidžia autorių teisių įstatymą. (Stenfordo profesorius Lawrence'as Lessigas skyrė 30 min vaizdo įrašą apie teisinį ginčą.)
Tačiau jei pavyks įveikti teisinius ir techninius iššūkius, suskaitmenintos fizinės knygos informacijos platumu ir gyliu gali gerokai pranokti milijardus esamų tinklalapių. Iš tiesų, vienas išsamus milijonų pasaulio knygų internetinių kortelių katalogas gali sukurti visiškai naują informacijos amžiaus skyrių.