211service.com
Google ir Akamai: paslapties kultas prieš atvirumo karalystę
Niekada neturėtumėte pasitikėti šiuo skaičiumi, sakė Rutgerso universiteto kompiuterių mokslų profesorius Martinas Farachas-Coltonas, kalbėdamas šiek tiek daugiau nei prieš metus. Žmonės dėl to daro didelę reikšmę, ir tai netiesa.
Farachas-Coltonas skaitė viešą paskaitą apie savo dvejų metų atostogas „Google“. Skaičius, kurį jis niekino, buvo jo PowerPoint skaidrės viduryje:
- 150 milijonų užklausų per dieną
Kitoje skaidrėje buvo dar keli skaičiai:
- 1 000 užklausų per sekundę (piktas)
- 10 000 ir daugiau serverių
- Daugiau nei 4 tera-ops/sek dienos piko metu
- Indeksas: 3 milijardai tinklalapių
- Iš viso 4 milijardai dokumentų
- 4+ petabaitų disko saugykla
Keletas žmonių iš auditorijos pradėjo kikenti: „Google“ skaičiai nesutapo.
Aš pats pradėjau skaičiuoti skaičius. Pažiūrėkime: 4 tera-ops/sek reiškia 4000 milijardų operacijų per sekundę; aukščiausios klasės serveris gali atlikti gal du milijardus operacijų per sekundę, tai reiškia, kad galbūt 2000 serverių, o ne 10 000. Keturi petabaitai yra 4x1015 baitų saugykla; išplito, kad daugiau nei 10 000 serverių ir jūs turėtumėte 400 gigabaitų vienam serveriui, o tai vėlgi atrodo neteisinga, nes Farach-Colton anksčiau sakė, kad „Google“ į kiekvieną serverį įdeda du 80 gigabaitų standžiuosius diskus.
Ir tada yra 150 milijonų užklausų per dieną problema. Jei sistema apdoroja didžiausią 1 000 užklausų per sekundę apkrovą, tai reiškia, kad didžiausias greitis yra 86,4 milijono užklausų per dieną arba galbūt 40 milijonų užklausų per dieną, jei manote, kad sistema praleidžia tik pusę savo laiko didžiausiu pajėgumu. Kad ir kaip skaičiuotumėte, „Google“ statistika nėra nuosekli.
Šie skaičiai yra beprotiškai maži, tęsė Farachas-Coltonas. „Google“ visada praneša daug, daug mažesnius skaičius, nei yra tiesa.
Jis paaiškino, kad kai kas nors iš „Google“ sukuria naują pristatymą, viešųjų ryšių skyrius stebi kalbas ir nulaužia skaičius. Iš pradžių, pasak jo, skaidrėje su skaičiais buvo rašoma, kad 1000 užklausų per sekundę yra minimalus rodiklis, o ne didžiausias. Turime daugiau nei 10 000 serverių. Tai yra daug pliuso.
Lygiai taip pat, kaip „Google“ paieškos variklis grįžta akimirksniu ir, atrodytų, be jokių pastangų, atsakydamas į bet kurią jūsų pateiktą užklausą, slepiantis nuo vartotojų tikrąjį užduoties sunkumą, įmonė taip pat nori, kad jos konkurentai nežinotų apie problemos sudėtingumą. Galų gale, jei „Google“ paskelbtų, kiek puslapių ji indeksavo ir kiek kompiuterių turi savo duomenų centruose visame pasaulyje, paieškos konkurentai, tokie kaip „Yahoo!“, „Teoma“ ir „Mooter“, žinotų, kiek kapitalo jie turi pritraukti, kad turėtų viltis išstumti karalių kalvos viršūnėje.
„Google“ kartais sunkiai sekdavo savo istoriją. Kai 2002 m. lapkričio mėn. Vašingtono universitete inžinerijos viceprezidentas Ursas Hoelzle'as kalbėjo apie „Google“ „Linux“ grupes, jis pakartojo tą skaičių – 1 000 užklausų per sekundę, tačiau jis pasakė, kad priemonė buvo atlikta gruodžio 25 d. 2 val. , 2001. Jo mintis, akivaizdi visiems salėje, yra ta, kad net iki 2002 m. lapkričio mėn. „Google“ atliko daug daugiau nei 1 000 užklausų per sekundę, tačiau kiek daugiau, buvo galima spėlioti.
Gali sklisti faktai. Praėjusią Padėkos dieną „New York Times“ pranešė, kad „Google“ peržengė 100 000 serverių ribą. Jei tai tiesa, tai reiškia, kad „Google“ valdo bene didžiausią kompiuterių tinklą planetoje. Paprastas faktas, kad jie gali kurti ir eksploatuoti tokio dydžio duomenų centrus, yra stulbinantis, sako Peteris Christy, Silicio slėnio rinkos tyrimų ir strategijos įmonės „NetsEdge Research Group“ įkūrėjas. Daugiau nei 30 metų šioje industrijoje dirbusi Christy stebisi Google sistemų mastais ir įmonės kompetencija jas eksploatuoti. Nemanau, kad yra kas nors artimas.
Būtent šis gebėjimas kurti ir eksploatuoti neįtikėtinai tankius grupes, kaip ir bet kas kitas, yra „Google“ sėkmės paslaptis. Ir priežastis, aiškina Marissa Mayer, bendrovės vartotojų žiniatinklio produktų direktorė, susijusi su tuo, kaip „Google“ pradėjo dirbti Stanforde.
Užuot įsigijęs kelis greitus kompiuterius ir maksimaliai juos paleidęs, Mayeris per įdarbinimo renginį MIT paaiškino, kad įkūrėjai Sergejus Brinas ir Laris Peidžas turėjo tenkintis Stanfordo informatikos skyriaus „rankomis“. Jie eidavo į pakrovimo doką pažiūrėti, kas gauna naujus kompiuterius, tada klausdavo, ar galėtų turėti senų, pasenusių mašinų, kurias keičia nauji. Taigi nuo pat pradžių Brinas ir Peidžas buvo priversti kurti paskirstytus algoritmus, kurie veikė ne itin patikimų mašinų tinkle.
Šiandien ši filosofija yra įtraukta į įmonės DNR. „Google“ perka pigiausius kompiuterius, kokius tik gali rasti, ir talpina juos į stelažus bei stovus savo šešiuose (ar daugiau) duomenų centruose. Kompiuteriai yra pakankamai patikimi, bet jei jų turite tūkstantį, vienas suges kiekvieną dieną, sakė Hoelzle. Taigi, jei galite tiesiog nusipirkti 10 procentų papildomai, tai vis tiek pigiau nei pirkti patikimesnę mašiną.
Neseniai vienas inžinierius man pasakė, kad darbas „Google“ yra artimiausias būdas turėti neribotą skaičiavimo galią.
Atvirumo karalystė
Yra kita įmonė, kuri ištobulino meną valdyti daugybę kompiuterių su palyginti nedideliu darbuotojų kiekiu. Ta įmonė yra „Akamai“.
„Akamai“ dabar nėra buitinis žodis, tačiau jis pateko į pirmuosius puslapius, kai 1999 m. lapkritį bendrovė išleido į viešumą ir tuo metu buvo ketvirtas sėkmingiausias pirminis viešas akcijų siūlymas istorijoje. „Akamai“ akcijos smarkiai išaugo ir iš jos įkūrėjų tapo milijardieriais. Tačiau vėlesniais metais Akamai ištiko sunkūs laikai. Tai buvo ne tik „dot-com“ katastrofa, dėl kurios buvo atleista daug darbuotojų ir bendrovės Kalifornijos biurai: „Akamai“ įkūrėjas ir vyriausiasis technologijų pareigūnas Danny Lewinas rugsėjo 11 d. skrido „American Airlines Flight 11“ ir žuvo, kai lėktuvas buvo įskridęs į Pasaulio prekybos centras. Įmonės nuotaika buvo sugriauta.
„Akamai“ tinklas veikia tokiu pačiu sudėtingumo mastu kaip „Google“. Nors Akamai turi tik 14 000 mašinų, šie serveriai yra 2 500 skirtingų vietų, išsibarsčiusių visame pasaulyje. Tinklalapiams teikti serverius naudoja tokios įmonės kaip CNN ir Microsoft. Kaip „Google“ serverius šiandien naudoja praktiškai visi interneto naudotojai, taip ir „Akamai“ serveriai.
Dėl savo masto „Akamai“ ir „Google“ turėjo sukurti įrankius ir metodus, skirtus šių mašinų valdymui, našumo problemų derinimui ir klaidų tvarkymui. Tai nėra programinė įranga, kurią įmonė gali nusipirkti iš lentynos – jai reikia kruopštaus kūrimo įmonės viduje. Tiesą sakant, programinė įranga yra vienas iš pagrindinių „Akamai“ konkurencinių pranašumų.
Taip, kelios kitos organizacijos taip pat valdo dideles kompiuterių grupes. NASA Ames tyrimų centras ir Virginia Tech turi dideles grupes, skirtas mokslinei kompiuterijai. Tačiau yra esminių skirtumų tarp šių sistemų ir „Google“ ir „Akamai“ sukurtų grupių. Mokslinės sistemos yra vienoje vietoje, o ne visame pasaulyje. Paprastai jie nėra tiesiogiai veikiami interneto. Ir, ko gero, svarbiausia, kad mokslinės sistemos kasdien neteikia prekių paslaugų šimtams milijonų interneto vartotojų: „Google“ ir „Akamai“ turi užtikrinti 100 procentų veikimo laiką. Lengva išeiti ir nusipirkti 10 000 kompiuterių – jums tereikia grynųjų. Daug sunkiau tuos kompiuterius priversti veikti kartu kaip vieną paslaugą, kuri palaiko milijonus vienu metu veikiančių vartotojų.
Teisybės dėlei reikia pasakyti, kad tarp „Google“ ir „Akamai“ yra svarbių skirtumų, kurie užtikrina, kad „Google“ artimiausiu metu nesiveržs į „Akamai“ verslą ir „Akamai“ neperkels į „Google“. Abi bendrovės sukūrė infrastruktūrą, skirtą masiškai lygiagrečioms sistemoms paleisti, tačiau programos, kurias jos naudoja šiose sistemose, skiriasi. Pagrindinė Google programa yra paieškos variklis. Priešingai, „Akamai“ sukūrė tinklalapių, srautinės medijos ir daugelio kitų standartinių interneto protokolų pateikimo sistemą.
Kitas svarbus skirtumas, sako Christy, yra tas, kad „Akamai“ buvo labai sunku sukurti aiškų verslo modelį, kuris veikia, o „Google“ buvo neįtikėtinai sėkmingas. Taigi „Akamai“ pradėjo ieškoti naujų būdų, kaip parduoti paslaugas, kurias gali teikti tik didžiulis paskirstytas tinklas. Dėl pelningumo kovodama įmonė agresyviai ieškojo naujų galimybių savo technologijoms. Tai gali būti priežastis, dėl kurios Akamai, skirtingai nei „Google“, norėjo būti apklaustas dėl šio straipsnio.
Pradėjome nuo pagrindinių bitų pristatymo – objektų, nuotraukų, reklamjuosčių, skelbimų, – sako Tomas Leightonas, vyriausiasis Akamai mokslininkas. Mes tai darome vietoje. Padarykite tai greitai. Padarykite jį patikimu. Padarykite svetaines geresnes.
Dabar „Akamai“ kuria būdus, leidžiančius klientams paleisti programas tiesiogiai įmonės paskirstytuose serveriuose. Leightonas teigia, kad tai padarė 25 didžiausi „Akamai“ klientai. Sistema gali atlaikyti staigius viršįtampius, todėl idealiai tinka tais atvejais, kai neįmanoma numatyti paklausos.
Pavyzdžiui, sako Leightonas, „Akamai“ tinklas buvo naudojamas „Logitech“ remiamam klaviatūros dovanojimo konkursui. Galvodama, kad konkursas gali būti populiarus, „Logitech“ sukūrė sudėtingą taisyklių seriją, užtikrinančią, kad kiekvienai valstijai ir per tam tikrą laikotarpį bus atiduota tik tiek klaviatūrų. Tačiau „Logitech“ labai neįvertino, kiek žmonių dalyvautų konkurse. Praeityje tokie neįvertinimai sukeldavo labai viešai paskelbtus interneto įvykius, tokius kaip „Victoria's Secret“ žiniatinklio transliacija, nuvildami milijonus interneto naršytojų ir sukeldami gėdą bendrovei. Bet ne šį kartą: „Logitech“ konkursas „Akamai“ tinkle vyko be kliūčių.
Žinoma, „Logitech“ galėjo pabandyti sukurti sistemą pati. Jis galėjo sukurti ir išbandyti serverį, galintį vienu metu aptarnauti 100 vartotojų. Tas serveris gali kainuoti 5000 USD. Tada „Logitech“ būtų galėjusi nusipirkti 20 tokių serverių už 100 000 USD ir įdėti juos į duomenų centrą. Tačiau vienas duomenų centras gali būti perpildytas, todėl gali būti prasmingiau 10 iš jų įdėti į vieną duomenų centrą rytinėje pakrantėje ir 10 į kitą duomenų centrą Vakarų pakrantėje. Vis dėlto ta sistema vienu metu galėtų aptarnauti tik 2 000 vartotojų: galbūt būtų geriau nusipirkti 100 serverių, kurių bendra kaina yra 500 000 USD, ir įdėti juos į 10 skirtingų duomenų centrų. Bet net jei jie būtų tai padarę, Logitech inžinieriai nebūtų galėję žinoti, ar sistema iš tikrųjų būtų veikusi, kai buvo išbandyta – ir jie būtų investavę didžiulę pinigų sumą į inžineriją, kuri nebūtų buvo reikalingi po įvykio.
Ir konkursai nėra vienintelis dalykas, kuris gali vykti Akamai tinkle. Praktiškai bet kuri programa, parašyta Java programavimo kalba, gali veikti įmonės infrastruktūroje. Sistema gali tvarkyti hipotekos paraiškas, katalogus ir elektroninius pirkinių krepšelius. „Akamai“ netgi valdo „Apple iTunes“ 99 centų muzikos paslaugą.
Galbūt todėl, kad „Akamai“ taip didžiuojasi sukurta sistema, bendrovė labai atvirai kalba apie tinklo technines detales. Jos tinklo operacijų centre Kembridže, MA, yra stiklinė siena, leidžianti lankytojams matyti didelį ekraną su statistika. Kai lankiausi įmonėje sausio mėn., ekrane buvo rodoma, kad „Akamai“ aptarnauja 591 763 paspaudimus per sekundę, 14 372 centriniai procesoriai prisijungę, 14 563 gigahercų bendra apdorojimo galia ir 650 terabaitų bendra saugykla. Balandžio 14 d. skaičius šoktelėjo iki didžiausio 900 000 apsilankymų per sekundę dažnio ir 43,71 mlrd. užklausų per 24 valandas. („Akamai“ neatskleis procesorių skaičiaus internete, nes šis skaičius yra jos ketvirčio pajamų ataskaitos, kuri bus paskelbta balandžio 28 d., dalis. Tačiau jis beveik nepasikeitė, sakė man bendrovės atstovas.)
Paštas ir mastelis
Žvelgiant į ateitį, kelios verslo galimybės yra akivaizdžiai patrauklios ir „Google“, ir „Akamai“. Pavyzdžiui, abi bendrovės galėtų pasinaudoti savo patirtimi kuriant didelio masto paskirstytus grupes, kad sukurtų didžiulę atsarginę sistemą mažoms įmonėms ir namų kompiuterių vartotojams. Arba jie gali perimti namų kompiuterių valdymą ir paversti juos išmaniaisiais terminalais, kuriuose veikia programos nuotoliniuose serveriuose. Tai leistų kompiuterių naudotojams išvengti sunkumų administruojant savo mašinas, diegiant naujas programas ir nuolat atnaujinant antivirusines programas.
Ir tada yra el. Balandžio 1 d. „Google“ paskelbė, kad ketina įžengti į vartotojų el. pašto verslą pateikdama neįprastą pranešimą spaudai: Paieška yra antrasis internetinis aktyvumas – el. paštas yra numeris vienas: „Po velnių, taip“, – sako „Google“ įkūrėjai.
Nuo tada „Google“ sulaukė didelio viešumo dėl paskelbto „Gmail“ („Google Mail“) pasiūlymo dizaino. Nemokama paslauga vartotojams žada vieno gigabaito pašto saugyklą (daugiau nei šimtą kartų daugiau, nei siūlo kiti žiniatinklio pašto tiekėjai), stulbinančią paiešką pašto archyvuose ir pažadą, kad vartotojams daugiau niekada nereikės ištrinti el. Iš pradžių daugelis žmonių manė, kad pranešimas buvo balandžio pirmosios pokštas – gigabaitas vienam vartotojui tiesiog atrodė per daug vietos. Tačiau kadangi didžioji dauguma vartotojų nenaudos tiek daug saugyklos vietos, „Google“ pažadas iš tikrųjų sako, kad „Google“ gali nusipirkti naujų standžiųjų diskų greičiau, nei interneto vartotojai gali juos užpildyti. [ Redaktoriaus pastaba: „Google“ pasiūlymas finansuoti „Gmail“ rodant reklamas pagal vartotojų el. pašto turinį sulaukė nemažos kritikos iš įvairių privatumo aktyvistų. Anksčiau šį mėnesį daugelis privatumo aktyvistų išplatino laišką, kuriame „Google“ prašė nepaleisti „Gmail“, kol nebus išspręstos šios privatumo problemos. Simsonas Garfinkelis pasirašė šį laišką kaip rėmėjas po to, kai buvo parašytas šis straipsnis, bet prieš jo paskelbimą.]
Atrodo, kad „Google“ infrastruktūra puikiai tinka tokiai paslaugai kaip „Gmail“ diegti. Praėjusią vasarą „Google“ paskelbė techninį dokumentą „Google“ failų sistema (GFS), kuri, matyt, yra pagrindinė „Google“ sukurta technologija, leidžianti sparčiai replikuoti ir pasiekti duomenis visose jos grupėse. Naudojant GFS, kiekvieno vartotojo el. paštas gali būti kopijuojamas keliose skirtingose „Google“ grupėse; kai vartotojai prisijungia prie Gmail, jų žiniatinklio naršyklė gali būti automatiškai nukreipta į artimiausią grupę, kurioje buvo jų pranešimų kopija.
Tai sudėtinga technologija, kurią reikia pritaikyti, ir būtent tokia sistema, kurią „Akamai“ kūrė pastaruosius šešerius metus. Tiesą sakant, iš esmės nėra jokios priežasties, kodėl „Akamai“ negalėtų gana lengvai įdiegti panašios didelio masto el. pašto sistemos savo serveriuose. Nėra jokios priežasties, tai yra, išskyrus įmonės filosofiją.
Leightonas nemano, kad „Akamai“ pereis į bet kokį verslą, kuriam reikia, kad įmonė tiesiogiai bendradarbiautų su galutiniais vartotojais. Labiau tikėtina, anot jo, „Akamai“ suteiktų infrastruktūrą kitai įmonei, kuri galėtų atlikti atsiskaitymus, klientų aptarnavimą ir rinkodarą galutiniams vartotojams. Mūsų tikslas – parduoti įmonei, sako jis.
George'as Hamiltonas, „Yankee Group“ analitikas, apimantis įmonių skaičiavimą ir tinklų kūrimą, sutinka. Hamiltonas idėją „Google“ konkuruoti su „Akamai“ vadina toli menančia. Tačiau „Google“ galėtų samdyti „Akamai“, kad papildytų „Google“ technologijų poreikius, sako jis.
Vis dėlto tokia partnerystė atrodo mažai tikėtina – bent jau iš pirmo žvilgsnio. „Google“ gali nusipirkti „Akamai“, kaip bendrovė „Pyra Labs“ įsigijo 2003 m. vasario mėn., kad įsigytų asmeninę „Pyra“ žiniatinklio leidybos sistemą „Blogger“. Tačiau Akamai, pasižyminti atvirumo kultūra, neatrodo kaip tinkama slaptosioms Google. Be to, pagal Akamai 2003 m. lapkričio mėn. ketvirtinę ataskaitą 20 procentų „Akamai“ pajamų dabar gaunama tiesiogiai iš „Microsoft“. „Google“ konkurencija su „Microsoft“ interneto paieškoje (o dabar ir el. pašte) buvo plačiai komentuojama spaudoje; vargu ar įmonė norėtų taip glaudžiai bendradarbiauti su tokiu artimu „Microsoft“ partneriu.
Rinkos tyrimų įmonės „Forrester“ viceprezidentas Tedas Schadleris teigia, kad galima įsivaizduoti, kad dvi bendrovės konkuruoja, nes jos abi naudojasi tomis pačiomis didžiulėmis paskirstytomis kompiuterių galimybėmis. Ta prasme jie turi tą pačią viziją. Jie turi sukurti daug tos pačios technologijos, nes jos nėra. Jie turi išmokti daug tų pačių pamokų ir sukurti daug tų pačių technologijų bei verslo modelių.
Schadleris sako, kad „Akamai“ ir „Google“ yra pavyzdžiai to, ką jis vadina programuojamais interneto verslo kanalais. Šie kanalai yra įmonės, siūlančios didelę infrastruktūrą, kuri gali pasiūlyti aukštos kokybės paslaugas internete šimtams milijonų vartotojų vienu jungiklio paspaudimu. „Google“ ir „Akamai“ yra tokios įmonės, bet taip pat „Amazon.com“, „eBay“ ir net „Yahoo!“. Tai visos paslaugos, suteikiančios verslo veiklos pagrindų paslaugas, kurias galima saugiai išplėsti, sako Schadleris.
Jei būčiau lažybų žmogus, priduria Schadleris, sakyčiau, kad „Google“ yra daug labiau suinteresuota aptarnauti klientus, o „Akamai“ – teikti infrastruktūrą – tai mažmeninė, o ne didmeninė prekyba. Šių į mažmeninę prekybą orientuotų paslaugų bus daug ir daug.
Jei tai tiesa, „Google“ staiga gali konkuruoti su įmone, kuri, kaip ir pati „Google“, atrodė iš niekur. Išskyrus šį kartą, tai įmonei nereikės sugalvoti jokių gudrybių, kaip valdyti didžiulę infrastruktūrą.
Ir tai paaiškina, kodėl „Google“ yra tokia slapta.