Akamai algoritmai

Jūs darote matematiką. Tomas Leightonas, MIT kompiuterių mokslų laboratorijos (LCS) profesorius, turi beveik 10 milijonų bendrovės „Akamai Technologies“, kurią jis įkūrė 1998 m. rugpjūčio mėn., akcijų. Praėjusių metų spalį „Akamai“ pateko į biržą, o kainos buvo paskelbtos pirminio viešo siūlymo metu (IPO). ) pradedant nuo 26 USD už akciją; iki dienos pabaigos investuotojai pasiūlė kainą iki 145 USD už akciją. Po mėnesio akcijos buvo parduotos už 327 USD už akciją. Kad ir kiek nerimtų dėl matematikos, supranti – Tomas Leitonas tapo labai turtingu žmogumi.

Akademikas, kurio kompetencija yra lygiagrečių algoritmų ir taikomosios matematikos srityje, Leightonas iš pirmo žvilgsnio yra mažai tikėtinas kandidatas į interneto tvido sėkmės istoriją. Tačiau atidžiau panagrinėjus, tai visiškai logiška. Daugelį metų Leighton atidžiai nagrinėjo, kaip veikia sudėtingi tinklai ir kaip juos galima optimizuoti. Taigi, prieš penkerius metus, kai Timas Bernersas-Lee (World Wide Web išradėjas) atėjo į LCS salę, ieškodamas būdų, kaip geriau valdyti didėjantį srautą internete, Leightonas ir jo absolventų komanda buvo akivaizdus. vieta užsukti.

Ši istorija buvo mūsų 2000 m. rugsėjo mėn. numerio dalis

• Žr. likusią numerio dalį
• Prenumeruoti

Per ateinančius kelerius metus Leighton ir MIT magistrantūros studentų ir studentų derinys bandė sugalvoti geresnį būdą valdyti ir platinti turinį internete. 1998 m. pradžioje grupė, kurioje buvo absolventas Danielis Lewinas (jis kartu su Leightonu ir Jonathanu Seeligu, MIT Sloano mokyklos studentu, įkūrė Akamai), dalyvavo MIT 50 tūkst. USD verslumo konkurse. Komanda buvo finalininkė, bet nelaimėjo. Vis dėlto pasibeldė rizikos kapitalistai. O visa kita – interneto istorija. Šiandien bendrovė valdo pasaulinį daugiau nei 4000 serverių tinklą, kuris platina žiniatinklio turinį tokiems klientams kaip Yahoo!, CNN ir C-SPAN; jei kompiuterio vartotojas prašo, pavyzdžiui, vaizdo transliacijos iš C-SPAN svetainės, serverių sistema Akamai padeda pateikti tą turinį, taip išvengiant kliūčių C-SPAN centralizuotoje svetainėje. Dėl paskirstyto tinklo turinio pristatymas žiniatinklyje tampa greitesnis ir patikimesnis.

Nepaisant to, kad laimėjo IPO pagrindinį prizą, švelniai kalbantis MIT profesorius (šiuo metu atostogaujantis iš LCS) rodo keletą akivaizdžių materialinės sėkmės požymių. Naujojoje Akamai būstinėje, esančioje greta MIT universiteto, bendrovės vyriausiasis mokslininkas Leightonas užima kuklų kampinį biurą, prižiūrintį kabinų labirintą. Tai iš esmės yra profesoriaus biuras, o Leitonas kalba kantriais ir tiksliais žodžiais, kurių žmogus įpratęs paaiškinti, kaip viskas veikia. TR vyresnysis redaktorius Davidas Rotmanas neseniai lankė pamoką apie srauto valdymą šiandieniniame internete.

TR: Kada supratote, kad galite naudoti algoritmus, kad optimizuotumėte turinio pateikimą internete?
LEIGHTON: Pirmą kartą apie internetą pagalvojau 1995 m. Mano biuras [MIT LCS] yra priešais Timą Bernersą-Lee ir žiniatinklio konsorciumą. Laikui bėgant kalbėjome apie kai kurias problemas, su kuriomis susiduria internetas. Tai yra plataus masto tinklų kūrimo problemos, kurias mūsų grupė dirbo ir kuriomis aš esu ilgalaikis susidomėjimas. Taigi kai kurias iš jų ėmėmės kaip mokslinių tyrimų projektus.

TR: Tam tikra prasme internetas iš tikrųjų yra didžiausias tinklų iššūkis, ar ne?
LEIGHTON: Taip. Teisingai.

TR: Su kokia problema pradėjote 1995 m.?
LEIGHTON: Ieškojome būdų, kaip susidoroti su perpildymu ir karštų taškų atsiradimu. Štai čia daug žmonių vienu metu eina į vieną svetainę ir užlieja svetainę bei sugriauna aplink jį esantį tinklą ir padaro visus nepatenkintus.

TR: Ar galite paaiškinti savo sukurtas technologijas?
LEIGHTON: Šiandien mes tikriausiai esame vienas didžiausių paskirstytų tinklų pasaulyje. Aukštu lygiu teikiame turinį arba tvarkome programas galutiniams vartotojams ir tai darome iš serverių, kurie yra arti galutinių vartotojų. Uždaryti yra kažkas, kas keičiasi dinamiškai, atsižvelgiant į tinklo sąlygas, serverio našumą ir apkrovą. Kadangi esame arti, galime išvengti daugelio trikdžių, vėlavimų ir paketų praradimo, kurį galite patirti būdami toli. Anksčiau paprastai bendraudavote su centrine svetaine. Ir paprastai tai buvo toli. Dabar jūs paprastai daug bendraujate – ne visi, bet daug – su šalia jūsų esančiu ir realiuoju laiku pasirinktu „Akamai“ serveriu.

TR: Kokie yra gudrybės ir iššūkiai, kad ši paskirstyta sistema veiktų?
LEIGHTON: Tai itin sunki sritis; Jūs negalite tiesiog išmesti daugybės serverių ir priversti juos dirbti tarpusavyje. Patys serveriai suges. Procesoriai suges. Internetas turi savo problemų ir gedimų būdų. Taigi visi šie dalykai turi būti įtraukti į algoritminį metodą. Kaip sukurti decentralizuotą algoritmą su netobula informacija, kuris vis dar veiks? Tai didžiulis iššūkis. Bet aišku, ką jūs turite padaryti. Negalite turėti jokio centrinio gedimo taško, kitaip sistema suges. Negaliu galvoti apie komponentą ar aparatūros dalį, kuri nebuvo sugedusi tam tikru momentu ar tam tikroje vietoje. Taigi, savaime suprantama, [kad jums reikia paskirstytos sistemos].

Kai klientas ateina pas vieną iš mūsų klientų, ieškodamas turinio, turime išsiaiškinti, kur tas klientas yra, iš kurios mūsų vietos tuo metu geriausia aptarnauti klientą ir kokios apkrovos sąlygos, todėl perkrauti bet ką. Turime susidoroti su miniomis, kurios yra geografinės ir specifinės. Turime nedelsdami pakartoti turinį, kad išspręstume bet kokias tokias problemas, bet negalite sau leisti visur turėti visko kopijų. Turite priimti šiuos sprendimus ir atsakyti klientams per milisekundes. Turime būti automatiški. Ir kai kūriniai sugenda, turite tai automatiškai kompensuoti.

TR: Tai jūs vadinate atsparumu gedimams?
LEIGHTON: Taip, ir jūs turite būti tolerantiški gedimams visais aspektais. Tada yra ir neakivaizdžių dalykų. Kaip ir atsiskaitymas. Kasdien pateikiame milijardus įvykių ir atsiskaitome už kiekvieną paspaudimą. Turime išsiaiškinti, kieno tai buvo turinys ir kiek baitų jis turi, ir apmokestinti juos. Be to, turime paslaugą, kurią siūlome savo klientams, kur jie per 60 sekundžių gali pamatyti, kiek pataisymų jiems pateikėme per pastarąsias 60 sekundžių. Be to, galime suskirstyti savo klientams, iš kur gaunami hitai, pagal šalį ar valstiją. Tai sudėtinga algoritminė problema. Kaip jūs iš tikrųjų tai darote? Ir priversti jį veikti naudojant ribotą aparatinės įrangos ir išteklių kiekį?

TR: Aparatinė įranga tikrai nėra raktas į tai, ar ne?
LEIGHTON: Tai net nėra pagrindinis komponentas. Nenoriu menkinti mūsų aparatinės įrangos partnerių, bet svarbiausia čia yra algoritminė ir programinės įrangos infrastruktūra. Tai kritiška.

TR: Kokia jūsų konkurencija siūlant paskirstytą tinklą turinio pristatymui?
LEIGHTON: Ten tikrai nėra daug. Esame tokiu metu, kai yra daug verslo planų ir daug istorijų. Šiandien nėra daug realių paslaugų. Beveik vienintelis konkurentas mūsų erdvėje yra „Digital Island“, kuri neseniai įsigijo „Sandpiper“ [Networks]. Yra ir kitų, kurie paskelbė [apie verslo planus], bet kol kas aktyviai nevykdo srauto. Vienas iš dalykų, išskiriančių „Akamai“, yra mokslinių tyrimų ir inžinerijos bei mokslinių tyrimų ir plėtros pastangos, skirtos kuriant sistemą. Tai nėra tik krūvos dėžių išmetimas. Yra įmonių, kurios bandė tai padaryti be paskirstytos sistemos. Įmonės, kurios prieš dvejus ar trejus metus paskelbė apie paslaugas pagal šį metodą, vis dar neveikia. Tai padaryti nepavyko.

TR: Kokie yra būsimi technologijų iššūkiai? Ar reikia greičiau pateikti turinį?
LEIGHTON: Tai yra komponentas. Stengiamės ištesėti interneto pažadą. Yra mintis, kad interneto srityje vyksta didžiulė revoliucija. Tuo pačiu metu yra nusivylimas dėl apribojimų. Tai, ką mes stengiamės padaryti, yra padaryti internetą naudingesnį. Be to, jis tampa greitesnis ir patikimesnis. Kitas komponentas, šiek tiek susijęs, suteikia galimybę teikti labiau praturtinantį, labiau įgalinantį turinį. Jei galime pagerinti srautinį perdavimą, o šiuo atveju problema yra ne tiek greitis, o pralaidumas ir paketų praradimas, ekrane gausite daug geresnį vaizdą; su juo nuveiksite daugiau ir daugiau žmonių naudos jį turiniui ir informacijai perteikti. Ir tai yra neįkainojama praturtinant interneto galią.

Tačiau ne viskas slegia. „Akamai“ siūlo paslaugas tokioms funkcijoms kaip interneto konferencijos, kurios įgalina, pavyzdžiui, nuotolinį mokymąsi. Naudodamiesi šiomis paslaugomis, turinio teikėjai arba įmonės klientai gali efektyviai teikti turinį ir bendrauti su maža ar didele žiniatinklio auditorija tiesioginiu garsu ir vaizdo įrašu; yra pristatymų bendrinimo, auditorijos apklausos ir pranešimų moderavimo funkcijų.

TR: Kai pristatote tokią naują funkciją, kaip, pavyzdžiui, konferencijos, kokius reikalavimus ji kelia tinklui?
LEIGHTON: Kaip ketinate tai įgyvendinti? Kaip ketinate jį integruoti į šią didžiulę paskirstytą platformą? Kaip ketinate jį išlaikyti tūkstančiams klientų? Turite tūkstančius klientų ir šimtus milijonų žmonių, pasiekiančių tuos klientus, o mes sėdime tarp jų. Ir viskas turi veikti savaime. Jūs negalite beždžioniauti. Konferencijų organizavimas skamba paprastai. Tačiau tai nėra taip paprasta, kai kalbate apie tokį mastą. Kai žmonės galvoja apie srautinį perdavimą, jie galvoja apie vieną šaltinį, iš kurio gaunamas turinys, o tada jis išsišakoja į medį per internetą. Tos vietos gali sugesti ir tada visiems tiems žmonėms, kurie pasroviui, nepasiseka. Sukūrėme visiškai naują būdą, kaip tai padaryti, kad nebūtų kritinio gedimo taško. Jei šaltinis miršta, tada jūs įstrigote. Tačiau kai [turinys] yra iš šaltinio, jį atkartojame ir paskleisime visoje sistemoje. Taigi, tai ne medis.

TR: Kaip tai atrodo?
LEIGHTON: Sunku apibūdinti. Galima galvoti apie tai, kad tarp šaltinio ir paskirties vyksta keli perdavimai, todėl tuose keliuose galite prarasti turinį; galite prarasti bet kurį arba visus jų paketus, tačiau galutiniame taške turite pakankamai informacijos, gaunamos iš tų vietų, kad galėtumėte atkurti signalą. Taigi, jei pakeliui kas nors žūsta, pavyzdžiui, žūsta kelias, niekas nepaveiks.

TR: Visi patyrėme nusivylimų dėl vaizdo transliacijos. Kalbant apie technologiją, ko reikės, kad ji būtų patikimesnė? Kada galėsime žiūrėti internetines transliacijas taip pat lengvai, kaip televizorių per visą ekraną?
LEIGHTON: Kad vaizdo transliacija būtų patikimesnė, jums reikia turinio platinimo paslaugos, kuri patikimai pristatytų bitus iki tinklo krašto, o tada turite turėti patikimą paskutinės mylios ryšį su internetu. Jei norite aukštos kokybės vaizdo, geriau turėkite didelio pralaidumo ryšį su internetu. Dar praeis šiek tiek laiko, kol galėsite plačiai gauti TV kokybės vaizdo srautus.

Pademonstravome megabitų per sekundę tiesioginį srautą. Tiesą sakant, visai neseniai mes perdavėme tūkstančius vieno megabito per sekundę srautų tiesioginiams klientams, kurie pasiekė pagrindinį konferencijos pranešimą, kurį pasakė Steve'as Jobsas [Apple Computer generalinis direktorius]. Tai svarbus interneto įvykis. Su šia technologija jūs gaunate labai aukštos kokybės vaizdo srautą. Jei paskutinė mylia yra plačiajuostis ryšys, esate pasiruošę. Vienas dalykas, prie kurio dirbame, yra pralaidumo profiliavimas. Idėja yra automatiškai aptikti paskutinės mylios pralaidumą. Ar klientas turi plačiajuostį ryšį, 28K modemą, ar tai siaura juosta – mobilusis telefonas ar kažkas panašaus? Tada mes pateikiame turinį kaip funkciją. Taigi, jei nustatote, kad klientas turi didelį pralaidumą, jis gauna didelio pralaidumo versiją – srautinę versiją, o ne statinę versiją. Arba siauro pralaidumo atveju gausite spausdintą versiją, o ne grafiką.

TR: Atrodo, kad pati žiniatinklio prigimtis keičiasi dėl tokių funkcijų kaip vaizdo transliacija ir konferencijos. Ką Akamai dirbs po penkerių metų? Kaip manote, koks tada bus internetas?
LEIGHTON: Viskas vyksta taip greitai, kad sunku nuspėti. Žmonės, kurie bando nuspėti, valgo savo žodžius. Manau, kad mes tik interneto revoliucijos pradžioje. Nemanau, kad mes net pradėjome galvoti apie viską, ką galime padaryti internete. Negaliu pasakyti, kokia bus karšta paslauga po penkerių metų. Nežinau. Tikiuosi, kad iki tol, pavyzdžiui, srautinio perdavimo kokybė bus daug geresnė. Kad tai kasdienio gyvenimo dalis. Bent jau tikiuosi, kad tipinė žiniatinklio patirtis taps turtingesnė, efektyvesnė ir patikimesnė nei šiandien.

TR: Daugelis jus vertina kaip akademiko modelį, kuris naujojoje ekonomikoje tampa dideliu verslininku. Ką sakote tiems, kurie nori pamėgdžioti jūsų sėkmę?
LEIGHTON: Niekada neturėjau troškimo būti verslininku. Mėgstu akademikus ir įkūriau „Akamai“, nes manėme, kad tai geriausias būdas perkelti mūsų technologijas iš mokslinių tyrimų aplinkos į praktiką. Jaučiausi tikrai malonu, kai iš universiteto paėmėme technologijas, ypač technologijas, ir padarėme jas pokyčius. Tai turbūt didžiausias atlygis. Dažnai prireikia 10–20 metų, kad technologija universitete iš tikrųjų pasireikštų praktikoje. Ir šį kartą galime tą laiką žymiai sumažinti. Labai džiaugiuosi, kad rašau referatą, kurį skaito tik penki žmonės. Gana protingi žmonės tai perskaitys, ir man tai patinka. Tai darydamas aš praleidau visą savo gyvenimą. Bet tai yra kažkas su galimybe pakeisti.

TR: Ar kada nors pasiilgote tų dienų, kai, kaip pats sakote, praleisdavote laiką rašydami referatus, kuriuos gal penki žmonės galėjo perskaityti ir suprasti?
LEIGHTON: Taip, nors neturiu daug laiko apie tai galvoti.

paslėpti