211service.com
Pasiruošimas duomenų antplūdžiui
Nuo Facebook iki Motorinių transporto priemonių departamento pasaulis yra kataloguojamas duomenų bazėse. Niekas to nežino geriau nei MIT docentas ir verslininkas Michaelas Stonebrakeris , kuris pastaruosius 25 metus praleido kurdamas technologiją, kuri tai padarė. Didžiąją pertrauką jis padarė išradęs ir komercializavęs technologiją, kuria grindžiama dauguma šiandien valdančių duomenų bazių, vadinamų reliacinėmis duomenų bazėmis. Tačiau Stonebrakeris dabar mielai vadina savo ankstesnius išradimus iš esmės pasenusiais. Jis kuria naujos kartos duomenų bazių technologiją, galinčią valdyti skaitmeninių duomenų antplūdį, kuris pradeda užgožti nusistovėjusius metodus.
Reliacinės duomenų bazės yra visur esančios kaip įmonės duomenų sprendimas. Jie buvo nepaprastai sėkmingi, sako Stonebraker. Tačiau jis sako, kad didžiausi duomenų bazių pardavėjai, įskaitant „Oracle“, IBM ir „Microsoft“, vis dar parduoda tokius produktus kaip tinkamus bet kokiam verslui. „Stonebraker“ laikosi kitokios nuomonės: reikalingos naujos duomenų bazių technologijos, kad būtų galima apdoroti eksponentinį informacijos, kurią turi tvarkyti įmonės, padidėjimą. 67 metų Stonebrakeris jau sėkmingai naudojasi keliais savo naujais metodais.
Viena iš jų yra duomenų bazių sistema, vadinama C parduotuvė . Skirtingai nuo daugelio šiandien naudojamų sistemų, ji saugo duomenis diske po stulpelio, o ne po eilutę. Dėl šio paprasto pakeitimo reikėjo visiškai perrašyti, kaip veikė duomenų bazės, tačiau tai puikiai dera su kompiuterio atminties veikimu ir prieiga prie duomenų bazių. Tai užtikrina daug greitesnį našumą ir daugiau suspaustų duomenų.
Šis patobulinimas ir kiti Stonebraker ir kolegų iš MIT, Brown, Brandeis, Yale ir Masačusetso universiteto atlikti patobulinimai leido pradėti Vertica , įmonė, kuri komercializavo C-Store ir padėjo klientams beveik realiu laiku pateikti užklausas didelėse duomenų bazėse. „Vertica“ vasarį įsigijo „Hewlett-Packard“ ir gali pasigirti klientais, įskaitant „Comcast“, kuris jį naudoja stebėti milijonams įrenginių, sudarančių jos televizijos ir interneto tinklus, ir „Groupon“, kuri jį naudoja analizuoti milijonų abonentų veiksmus.
Susijusi sistema iš Stonebraker ir kai kurių tų pačių akademinių kolegų, H-parduotuvė , remiasi tomis pačiomis idėjomis su papildomais patobulinimais, pvz., veikia tik kompiuterio atmintyje, o ne diske; šis metodas ypač naudingas apdorojant internetines operacijas. „H-Store“ kodas yra atvirojo kodo, tačiau šią technologiją komercializuoja įmonės remiama įmonė VoltDB , su Stonebraker kaip CTO. Jis teigia, kad tokią konkrečiam naudojimui skirtą, sparčiai sukurtą duomenų bazių sistemą dauguma įmonių turės priimti anksčiau nei vėliau, kad susidorotų su skaitmeninių duomenų antplūdžiu.
Kai kurios organizacijos jau pakliuvo į tą potvynį. Apsvarstykite „Facebook“. „Facebook“ jau dabar talpina daugiau skaitmeninių nuotraukų nei bet kuri kita įmonė, todėl kuo greičiau kuria naują saugojimo ir apdorojimo infrastruktūrą. Tačiau ji stumia naudojamą duomenų bazių technologiją iki ribos, padalydama savo garsųjį socialinį grafiką į 4000 duomenų bazių, kurios visos turi veikti kaip viena, sako Stonebraker. Jie tiesiog miršta dėl valdymo sluoksnio apkrovos, reikalingos šiai sistemai išlaikyti, sako jis. Jie turi sunkiausią duomenų bazių problemą planetoje ir nėra dabartinės sistemos, kuri atitiktų jų poreikius.
Sprendimai, kuriuos „Stonebraker“ kuria labai kitam sektoriui, jau skendinčiame duomenyse, ilgainiui gali padėti. Prieš kelerius metus jis išgirdo apie problemas, su kuriomis susiduria Didelis sinoptinio tyrimo teleskopas statomas Čilėje. Ji ketina surinkti 100 petabaitų neapdorotų duomenų ir išvestinių duomenų, sako Stonebraker, ir jie neturėjo supratimo, ką su tiek daryti.
Stonebrakeris ir bendradarbis Davidas DeWittas, susijęs su Viskonsino-Madisono universitetu, sukūrė unikalią duomenų bazių sistemą, pavadintą SciDB . Atvirojo kodo projektas dabar turi rizikos rėmimą ir didelę mokslo savanorių bendruomenę. Tačiau Stonebrakeris mano, kad SciDB savybės ilgainiui susilauks palankumo už akademinės bendruomenės ribų.
Visi mokslo duomenys yra neapibrėžti ir juose yra klaidų juostos, skirtingai nei atlyginimų duomenų bazės duomenys, todėl SciDB gali atkreipti dėmesį į neapibrėžtumą. Jis taip pat negali perrašyti, nes mokslininkai niekada nieko nenori išmesti, sako jis. Šios funkcijos taip nesiskiria nuo didelio galingumo, daug statistikos reikalaujančios analizės ar duomenų mokslo, kurios vis dažniau yra sėkmingų, technologijomis vadovaujamų įmonių pagrindas. Vienas iš pavyzdžių yra skelbimų talpinimas internete: norint taikyti kiekvieną asmenį atskirai, reikia atlikti intensyvią skaičiavimo analizę, kad būtų galima sujungti panašius žmones.
Tačiau Stonebrakeris netvirtina, kad naujos duomenų bazių sistemos, tokios kaip tos, su kuriomis jis dirba, gali būti panacėja įmonėms, staiga išmokstančioms nusistovėjusių technologijų ribas. Dėl didėjančios duomenų saugojimo ir apdorojimo svarbos visų rūšių verslui jie turės teikti verslo prioritetus. Jis sako, kad jei vadovaujate įmonei, nuo pat pradžių turite dirbti pagal mastą, nes neabejotina, kad jums to prireiks vėliau.