211service.com
Superkompiuteris „Twitter“ analizuoja realiuoju laiku
Įtakingiausių „Twitter“ naudotojų nustatymas tikriausiai nėra tai, ką kūrėjai padarė Cray XMT superkompiuteris turėjo omenyje kurdamas savo mašiną. Tačiau kai sukaupiate tiek daug skaičiavimo šilumos, einate ten, kur yra sunkių problemų. „Twitter“, „Facebook“ ir kiti socialiniai tinklai tapo šiuolaikiniu vandens aušintuvo atitikmeniu, nors ir su automatiniu transkripcijos įtaisu. Ir visų pokalbio generuojamų duomenų apdorojimas yra labai sudėtinga problema.
„Cray XMT“ superkompiuteris Cray
Pavyzdžiui, 2010 m. vasario mėn. „Facebook“ buvo 400 milijonų aktyvių vartotojų, kurių kiekvienas turėjo vidutiniškai 120 draugų, kurie visi kartu per vieną mėnesį pasidalino 5 milijardais informacijos.
Norint išsiaiškinti, kas yra influenceriai tokiame didžiuliame socialiniame tinkle, reikia sukurti milžinišką socialinį grafiką, kuriame kiekvienas vartotojas yra viršūnė, o ryšiai tarp jų yra linijos. Norint nustatyti naudotojų reitingą tokioje diagramoje, reikia nustatyti jų svarbą. Tai yra, kiek kitų žmonių yra su jais prisijungę, kiek žmonių yra su jais prisijungę ir t. t., kol pateksite į medžio struktūros, kuria grindžiamas ryšys, kamieną tokioje paslaugoje kaip „Twitter“.
Pasirodo, tai nėra tokia problema, kurią nesunkiai sprendžia net įprastos mokslinio superkompiuterių pasaulio darbo stotys – GPGPU maitinami superkompiuteriai, kurie naudoja grafikos lustus, paprastai naudojamus vaizdingoms 3D aplinkoms vaizdo žaidimuose pateikti. Šios GPGPU darbo stotys tiesiog neleidžia pakankamai kontroliuoti, kiek procesų veikia lygiagrečiai, kad būtų galima efektyviai pereiti per socialinius grafikus, tokius kaip „Twitter“ ar „Facebook“.
Štai kodėl Davidas Edigeris iš Georgia Tech, padedant ilgam bendradarbių sąrašui , kreipėsi į 128 procesorių Cray XMT, esantį Ramiojo vandenyno šiaurės vakarų nacionalinėje laboratorijoje. XMT yra pamėgtas superkompiuterių „hot-rodder“ ir „uber-geek“ mėgėjų, kurie vertina jo smulkiagrūdį masinį kelių gijų derinamumą. Ši mašina paprastai pradedama naudoti sprendžiant tokias problemas kaip hierarchinis Bajeso modeliavimas teksto analizei arba analizuojant Amerikos elektros tinklo stabilumą , bet Edigeris galvojo apie kiekvieną nuklydusią mintį iš vienos dienos vertės „Twitter“ gaisrinė žarna .
„Cray“ padarė trumpą „Twitter“ darbą ir per mažiau nei valandą pašalino visos dienos ryšius. Rezultatai nieko nenustebins – socialiniame tinkle „Twitter“ labai maža dalis šaltinių, daugiausia vyriausybės ir žiniasklaidos, pakartotinai skelbiama per „Twitter“, o likusią paslaugą sudaro žmonės, kurie kalbasi nedidelėmis grupėmis arba tiesiogine prasme kalba su savimi.
Tačiau esmė ta, kad „Twitter“ įmetus tiksliai sureguliuotą „Cray“, kuriame veikia Ediger pasirinktinė programinė įranga – „GraphCT“, tyrėjai galėjo suprasti paslaugą realiuoju laiku. Būtent tokių galimybių gali norėti žvalgybos agentūros, rinkodaros specialistai ir galbūt net pats „Twitter“.
