211service.com
Jūs taip pat galite būti kitas Google
„Google“ dirbau ketverius metus ir „Google“ akivaizdžiai turi kelis kompiuterius daugiau nei mes“, – sako Tomas Annau, „Blekko“ inžinerijos viceprezidentas, paieškos variklio, kuris teigia, kad jis viskuo prilygsta esamiems paieškos milžinams „Bing“ ir „Google“, atėmus šlamštas.
Naudojant naujas svetaines kaip tarpininką, žmonių žinių augimas sulėtėjo...
Tačiau tikros, naudingos ir įdomios informacijos kiekis internete neauga taip greitai, kaip pagal Moore'o dėsnį, priduria jis.
Moore'o įstatymas yra ne tiek įstatymas, kiek bendra tendencija mikroprocesorių pramonėje – tiek daug dešimtmečių trukusių įmonių, tokių kaip Intel, mokslinių tyrimų ir plėtros rezultatas, kaip bet kokių pagrindinių fizinių principų rezultatas. Jame teigiama, kad mikroprocesorių, kuriuos galite gauti už pinigus, skaičius padvigubėja kas 18 mėnesių. Tai reiškia mažesnius, greitesnius lustus, kurių galios eksponentiškai išaugo nuo septintojo dešimtmečio.
Priešingai, interneto augimas gali išsilyginti . Nepaisant to, kaip bet kuri įmonė, o tuo labiau startuolis, galėtų tikėtis konkuruoti su tikrai milžiniška serverių ir tinklo infrastruktūra, tokiais kaip „Google“ ir „Microsoft“?
Žiniatinklio paieška vis dar yra programa, kuri gana sunkiai peržengia dabartinių skaičiavimo įrenginių ribas, sako Annau. Tačiau „Blekko“ sukuria pilną, naujausią žiniatinklio indeksą, kuriame yra mažiau nei 1000 serverių – tikriausiai mažiau nei būtų bet kuriame iš pirminių „Google“ duomenų centrų – išnaudodama problemos sumažinimą iki valdomo dydžio būdų, kaip paieškos milžinai negali arba nenori.
Stengiamės vengti šlamšto ir kito blogo turinio tikrinimo, sako Annau. Manau, kad kiti varikliai turi „nuskaitymo“ politiką, pirmiausia užduodate klausimus. Vienintelis efektyvumas, kurį galime pasiekti, yra tiesiog nenuskaityti šlamšto tinklaraščių ir kitų mašinų sukurtų nešvarumų.
Beveik visas kompiuterių sukurtas turinys žiniatinklyje yra sukurtas būtent tam, kad sugautų paieškos sistemos vorus, kurie jį nuskaito, ir prikimštų jų indeksus puslapiais, kuriuose gausu skelbimų. Vengiant šių svetainių kartu – naudojant šlamšto aptikimo algoritmus ir žmogaus kuravimą – „Blekko“ sutaupo milžiniškus išteklius.
Egzistuoja tam tikras mastas, kurį peržengus, jei ir toliau naršysite, nebenorėsite naršyti įdomesnių, naudingesnių ar geresnių dalykų – didelė žiniatinklio tikrinimo grąža mažėja, sako Annau.
„Blekko“ taip pat taiko kitų paieškos sistemų naudojamą taktiką – padalintą tikrinimą, kuris nuodugniai indeksuoja visą žiniatinklį, įskaitant didžiąją dalį jo statinio turinio, rečiau nei greitas tikrinimas, kuris nuolat iš naujo indeksuoja dažnai besikeičiančias svetaines, pvz., naujienas ir tinklaraščius.
Mes agresyviai tikriname daugybę aukštos kokybės, greitai kintančių šaltinių, sako Annau. Tai matote, kai ieškote pasvirojo datos – galite pamatyti dalykus, kurie buvo pateikti vos prieš minutę.
Moore'o įstatymas tęsiasi.
(DC)Wgsimonas
Annau ilgas požiūris į paiešką yra toks, kad viso žiniatinklio ar bent naudingų dalių indeksavimas tampa lengviau valdomas, o ne mažiau. Šiuo skaičiavimu Microsoft ir Google bei kitos didelės paieškos sistemos reklamuoja savo duomenų centrų mastą iš dalies siekdamos įbauginti galimus varžovus; kad įėjimo į paieškos verslą kliūtys atrodytų didesnės, nei yra iš tikrųjų.
Nesvarbu, ar mums pasiseks, ar nepavyks, kaip startuolis, tiesa, kad kiekvienais metais atskiri serveriai taps vis galingesni, o galimybė naršyti ir indeksuoti naudingą informaciją internete iš tikrųjų taps vis labiau prieinama, sakoma. Anau.
Kiekvienas startuolis yra hipotezė apie tam tikrą rinkos efektyvumą, kurį jie suvokia, priduria jis. Blekko ir kitose paieškos sistemose, tokiose kaip Gabrielio Weinbergo vieno žmogaus operacija „Duck Duck Go“, šis efektyvumas yra tas, kad žmogiškųjų žinių suma bus geriausia, nes didėja skaičiavimo galia.
Kaip mėgsta pabrėžti „Blekko“ generalinis direktorius Richas Skrenta, Vikipedijos augimas išsilygino. Pasaulyje tiesiog nėra tiek daug temų – žmonės gali pridėti ir redaguoti puslapius, bet jūs nepastebėsite, kad jų dydis nuolat padvigubės, sako Annau.
