70 internetinių duomenų bazių, apibrėžiančių mūsų planetą

Balandžio mėnesį mes svarstėme ambicingą Europos planą imituoti visą planetą. Idėja yra panaudoti didžiulius duomenų kiekius, kuriuos sukuria finansų rinkos, sveikatos įrašai, socialinė žiniasklaida ir klimato stebėjimas, kad būtų galima modeliuoti planetos klimatą, visuomenę ir ekonomiką. Vizija yra tokia, kad tokia sistema gali padėti suprasti ir numatyti krizes prieš joms atsirandant, kad vyriausybės galėtų iš anksto imtis atitinkamų priemonių.

Čia yra daugybė iššūkių. Niekas dar neturi tokiai užduočiai reikalingos skaičiavimo galios, taip pat nėra modelių, galinčių tiksliai modeliuoti net daug mažesnes sistemas. Tačiau prieš tai įmanoma, mokslininkai turi surinkti ekonominius, socialinius ir technologinius duomenis, reikalingus šiai mašinai tiekti.

Šiandien Dikas Helbingas ir Stefano Balietti iš Šveicarijos federalinio technologijos instituto Ciuriche pristato didžiulę šio iššūkio apžvalgą. Helbingas yra šio projekto varomoji jėga ir žmogus, kuris jam vadovaus, jei iš Europos Komisijos gaus jam reikalingą 1 mlrd.

Pasirodo, kad jau yra daugybė duomenų šaltinių, kurie galėtų suteikti reikiamo kuro Helbingo Žemės simuliatoriaus maitinimui. Anksčiau rinkti duomenis apie žmogaus veiklą daugiausia trukdė finansinės, technologinės ir etinės problemos, sako Helbingas ir Balietti. Taip nebėra.

Nors praeityje buvo sunku gauti gerų socialinių mokslų eksperimentų duomenų, šiuo metu mokslininkai juos užplūdo dėl naujos kartos laboratorinių eksperimentų, internetinių eksperimentų ir didžiulių kelių žaidėjų internetinių žaidimų tyrimo.

Dėl šių ir kitų užsiėmimų dabar gaunamas didžiulis duomenų kiekis, daugelis kurių yra laisvai prieinami internete.

Žinoma, vienas iš tokio požiūrio pavojų yra tas, kad bet kokias etines problemas greičiausiai užvaldys ši skaičių banga. Tai reikia skubiai spręsti. Nors Helbingas ir jo kolegos įtikinamai rašo apie galimą Žemės treniruoklio naudą, sunku patikėti, kad jie taip pat galvojo apie galimą riziką.

Taigi, norėdamas paskatinti šias diskusijas, pateikiu Helbingo svetainių, kurios yra potencialūs Žemės simuliatoriaus duomenų šaltiniai, sąrašą. Skaitymas yra žavus, jei ir nerimą keliantis:

Internetas ir istorinės nuotraukos
Interneto archyvas / „Wayback“ mašina
Interneto archyvas siūlo nuolatinę prieigą tyrėjams, istorikams, mokslininkams, žmonėms su negalia ir plačiajai visuomenei prie istorinių kolekcijų, kurios egzistuoja skaitmeniniu formatu. Įkurtas 1996 m., dabar interneto archyve yra tekstai, garso įrašai, judantys vaizdai ir programinė įranga, taip pat archyvuoti

Vikipedija
Vikipedija yra garsiausia bendradarbiaujant redaguojama enciklopedija. Kadangi kiekvienas pakeitimas yra saugomas, tinklalapių istorija gali pasiūlyti išsamią svarbiausių praeities nuorodų apžvalgą pagal temą.

Žinių centrai
Nuorodų į kitus išteklius rinkinys, skirtas rasti tinklalapius, kurie buvo anksčiau.

Kada
Whenago suteikia greitą prieigą prie istorinės informacijos apie tai, kas įvyko praeityje tam tikrą dieną.

Pasaulio skaitmeninė biblioteka
Pasaulio skaitmeninė biblioteka (WDL) teikia internetu nemokamai ir daugiakalbiu formatu svarbią pirminę medžiagą iš viso pasaulio šalių ir kultūrų.

Informacijos paieškos varikliai
Nemokama bazė
„Freebase“ yra atvira „Creative Commons“ licencijuota daugiau nei 12 mln. subjektų struktūrinių duomenų saugykla. Jame pateikiami bendradarbiavimo įrankiai, skirti subjektams susieti ir juos atnaujinti.

„Wolfram Alpha“ skaičiavimo žinių variklis
Bandymas apskaičiuoti viską, ką galima apskaičiuoti apie bet ką. Juo siekiama pateikti vieną šaltinį, kuriuo visi galėtų pasikliauti, kad gautų galutinius atsakymus į faktines užklausas.

Teksto gavyba internete
Google tendencijos
„Google Trends“ rodo vaizdinę statistiką apie tai, kaip dažnai „Google“ laikui bėgant buvo ieškoma pagal raktinius žodžius. „Google Trends“ taip pat rodo, kaip dažnai temos buvo rodomos „Google“ naujienų istorijose ir kuriuose geografiniuose regionuose žmonės jų dažniausiai ieškojo.

„Google“ gripo tendencijos
„Google“ gripo tendencijos naudoja sukauptus „Google“ paieškos duomenis, kad įvertintų gripo aktyvumą. Duomenis taip pat galima atsisiųsti.

Observatorija
Projektas „Observatorium“ orientuojasi į sudėtingą tinklo dinamiką internete, siūlydamas stebėti jo raidą realiu laiku, siekiant bendro tikslo – geriau suprasti žinių generavimo ir nuomonės dinamikos procesus.

Jaučiamės gerai
Kelių milijonų žmogiškų jausmų duomenų bazė, surinkta iš tinklaraščių ir socialinių interneto puslapių. Naudojant daugybę žaismingų sąsajų, jausmų galima ieškoti ir rūšiuoti pagal daugybę demografinių skilčių. Taip pat pasiekiama žiniatinklio API.

CyberEmotions
Projekte „CyberEmotions“ dėmesys sutelkiamas į kolektyvinių emocijų vaidmenį kuriant, formuojant ir ardant bendruomenes. Jame galima atsisiųsti tris duomenų rinkinius, kuriuose yra naujienų ir komentarų iš BBC News forumo, Digg ir MySpace, tik akademiniams tyrimams ir tik pateikus paraiškos formą.

Dalijimasis socialiniais duomenimis
Susieti duomenys
Susieti duomenys – tai žiniatinklio naudojimas susijusiems duomenims, kurie anksčiau nebuvo susieti, prijungti, arba žiniatinklio naudojimas siekiant sumažinti kliūtis susieti duomenis, šiuo metu susietus kitais metodais.

Dataverse tinklo projektas
„Dataverse Network“ yra programa, skirta publikuoti, dalytis, remtis, išgauti ir analizuoti tyrimų duomenis. Tai palengvina duomenų prieinamumą kitiems ir leidžia pakartoti kitų darbą. Mokslininkai ir duomenų autoriai gauna kreditą, leidėjai ir platintojai gauna kreditą, susijusios institucijos gauna kreditą.

Duomenys360
Data360 yra atvirojo kodo, bendradarbiaujanti ir nemokama svetainė. Svetainėje yra bendra ir bendrai naudojama duomenų bazė, kurią bet kuris asmuo ar organizacija, įsipareigoję laikytis neutralumo ir nešališkumo (tai reiškia, kad duomenims kalbėti), gali naudoti pristatymams ir vizualizacijoms.

Pasukamas
„Swivel“ yra svetainė, kurioje žmonės dalijasi diagramų ir skaičių ataskaitomis. Viešieji duomenys yra nemokami, o žmonės, norintys jais naudotis privačiai, ima mėnesinį mokestį.

Daug akių
IBM iniciatyva, leidžianti vartotojams įkelti savo duomenų rinkinius ir naudoti įrankių rinkinį, kad iš jų gautų prasmingas vizualizacijas. Kiekviena vizualizacija yra viešai saugoma tam skirtame puslapyje, kur vartotojai gali ją komentuoti, vertinti ir pažymėti. Galimas ir skatinamas pakartotinis duomenų naudojimas.

Konflikto duomenys
CSCW duomenys apie ginkluotą konfliktą
CSCW ir Upsalos konfliktų duomenų programa (UCDP) Upsalos universiteto Taikos ir konfliktų tyrimų katedroje bendradarbiavo kurdamos vidaus ir išorės ginkluotų konfliktų duomenų rinkinį nuo 1946 m. ​​iki dabar. Šiuo metu turbūt pati didžiausia galima duomenų rinkinių saugykla, ypač skirta istoriniams duomenims.

WarViews
WarViews projekto tikslas – sukurti lengvai naudojamą sąsają, skirtą GIS duomenims apie konfliktus tirti. Jis gali būti paleistas žiniatinklio naršyklėje arba gali būti rodomas naudojant „Google“ žemę.

Toliau pateikiami su pilietiniu karu susiję duomenų rinkiniai su papildoma empirine informacija:
Etninių grupių vietos duomenų rinkinys
Etninės galios balansų duomenų rinkinys
Atnaujintų duomenų rinkinių ir kodų knygų rinkimas iš Upsalos konfliktinių duomenų programos (UCDP) .

ACLED
Iš dalies PRIO duomenų rinkinyje esantis ACLED (ginkluotų konfliktų vietos ir įvykių duomenų rinkinys) yra skirtas išskaidytai konfliktų analizei ir krizių žemėlapiams sudaryti. Šis duomenų rinkinys koduoja visų konfliktų įvykių, apie kuriuos pranešta, vietą 50 besivystančio pasaulio šalių. Duomenys šiuo metu koduojami nuo 1997 iki 2009 m., o projektas ir toliau datuoja informaciją apie Afrikos valstybių konfliktus iki nepriklausomybės metų.

CERAC
Konfliktų analizės išteklių centre yra keletas skirtingų šalių konfliktų duomenų rinkinių ir keletas konkrečių šalių duomenų rinkinių. Saugyklose taip pat yra duomenų apie politinį nestabilumą ir konfliktus.

Tarptautinis laiko eilučių duomenų archyvas
Tarptautiniame laiko eilučių duomenų archyve pateikiami metiniai įvairių šalių duomenys nuo 1815 m. iki šių dienų. Pasak Roberto Bateso iš Harvardo universiteto, tai yra vienas iš pirmaujančių politinio smurto duomenų rinkinių. Pasak Henriko Urdalo, Tarptautinio taikos tyrimų instituto, Oslo (PRIO), tai tikriausiai yra plačiausiai naudojamas įvykių duomenų rinkinys.

Konkrečios šalies saugyklos: Irakas , Afganistanas
Duomenų apie teroro aktus rinkimas .

Duomenys ekonomikos ir finansų srityse
Bloombergas
Tarptautinis realaus laiko duomenų teikėjas sprendimus priimantiems asmenims finansų, verslo ir vyriausybės srityse.

Maddisono duomenys
Istorinė statistika apie BVP ir gyventojų duomenis.

UNCTAD statistika
UNCTAD statistikos vadovas internete pateikia ekonominių duomenų ir raidos rodiklių laiko eilutes, kai kuriais atvejais siekia net 1950 m.; Internetinė prekių kainų statistikos duomenų bazė; UNCTAD-TRAINS internete (Prekybos analizės ir informacijos sistema), skirta prekybos kontrolės priemonėms ir importo srautams pagal kilmę daugiau nei 130 šalių; tiesioginių užsienio investicijų duomenų bazėje (TUI).

EBPO statistikos portalas
Didelė duomenų rinkinių kolekcija, apimanti ekonomiką, demografiją. Ištraukos yra laisvai prieinamos, pilnai prieigai reikalinga prenumerata.

EUROSTAT
Parduodama išsami ES ir šalių kandidačių statistika bei įvairūs statistiniai leidiniai.

Kur Džordžas?
Erdvinė sekimo sistema JAV ir Kanados doleriams.

Eurobillttracker
Eurų banknotų erdvinė sekimo sistema.

Mokslinio bendradarbiavimo duomenys
ISI žinių tinklas
Išsamus gamtos, socialinių, menų ir humanitarinių mokslų informacijos šaltinis. Ji apima keletą duomenų rinkinių, tarp kurių galbūt labiausiai verta paminėti šiuos:
Žurnalo citatos ataskaitos. Tai leidžia vertinti ir palyginti žurnalus naudojant citavimo duomenis, paimtus iš daugiau nei 7500 mokslinių ir techninių žurnalų;
Web of Science. Jį sudaro septynios duomenų bazės, kuriose yra informacijos, surinktos iš tūkstančių mokslinių žurnalų, knygų, knygų serijų, pranešimų, konferencijų ir kt.

Google Scholar
„Google Scholar“ yra paieškos variklis, kurio specializacija yra mokslinė literatūra. Ji indeksuoja įvairius šaltinius (straipsnius, knygas, santraukas, disertacijas ir kt.) iš kelių disciplinų ir rūšiuoja pagal citatų skaičių, autorių ir žurnalo įtakos faktorių.

Scholarometer
Scholarometer yra socialinis įrankis, palengvinantis citatų analizę ir padedantis įvertinti autoriaus publikacijų poveikį. Jis veikia kaip „Firefox“ naršyklės programinės įrangos papildinys.

Scopus
Scopus yra labai didelė tiriamosios literatūros santraukų ir citavimo duomenų bazė. Jis prieinamas tik registruotiems vartotojams.

Gyvasis mokslas
Gyvasis mokslas yra realaus laiko pasaulinė mokslo observatorija, pagrįsta publikacijomis, pateiktomis arXiv.org. Tai apima realiu laiku (kasdien) publikacijų pateikimą tokiose įvairiose srityse kaip fizika, astronomija, kompiuterių mokslas, matematika ir kiekybinė biologija. Šiuo metu turinys dinamiškai atnaujinamas kiekvieną dieną. Gyvasis mokslas yra galingas analizės įrankis, leidžiantis nustatyti mokslinio darbo mastą ir poveikį visame pasaulyje.

Visuomeniniai mokslai
Mičigano universiteto ICPSR
ICPSR siūlo daugiau nei 500 000 skaitmeninių failų su socialinių mokslų tyrimų duomenimis. Atstovaujamos disciplinos yra politikos mokslai, sociologija, demografija, ekonomika, istorija, gerontologija, baudžiamoji justicija, visuomenės sveikata, užsienio politika, terorizmas, sveikata ir medicininė priežiūra, ankstyvasis švietimas, švietimas, rasinės ir etninės mažumos, psichologija, teisė, piktnaudžiavimas narkotinėmis medžiagomis ir psichikos mokslas. sveikatos ir kt.

JK Esekso universiteto duomenų centras
Didžiausia JK socialinių ir humanitarinių mokslų skaitmeninių tyrimų duomenų kolekcija.

Berklio UC DUOMENŲ archyvas
UC DATA duomenų saugykla visų pirma yra politikos, socialinių ir sveikatos mokslų srityse.

Ekonominių ir socialinių duomenų tarnyba (ESDS)
Ekonominių ir socialinių duomenų tarnyba (ESDS) yra nacionalinė duomenų tarnyba, teikianti prieigą prie daugelio pagrindinių ekonominių ir socialinių duomenų, tiek kiekybinių, tiek kokybinių, ir palaikanti juos, apimančius daugelį disciplinų ir temų. Jame yra papildomų duomenų rinkinių iš kelių Europos šalių žemėlapis.

CESSDA
Platus duomenų rinkinys, įskaitant sociologines apklausas, rinkimų tyrimus, longitudines studijas, nuomonių apklausas ir surašymo duomenis. Tarp medžiagos yra tarptautiniai ir Europos duomenys, tokie kaip Europos socialinis tyrimas, Eurobarometrai ir Tarptautinė socialinių tyrimų programa.

Gapminder duomenys
„Gapminder“ yra populiari technologija ir žiniatinklio programa, skirta kryžminiam duomenų laiko eilučių tendencijų vizualizavimui. Taip pat atidaromas kelių duomenų rinkinių apie įvairius socialinius ir ekonominius rodiklius archyvas.

Pasaulio vertės tyrimas
Pasaulio vertybių tyrimas pateikia duomenis apie vertybes ir kultūrinius pokyčius viso pasaulio visuomenėse.

Miesto duomenys
Pasaulinės miestų observatorijos duomenų bazė
Pasaulinė miestų observatorija (GUO) siūlo į politiką orientuotus miestų rodiklius, statistiką ir kitą miesto informaciją.

Miesto observatorija
JAV duomenų rinkiniai apie turtą, inovacijas ir nusikalstamumą miestuose.

Eismo duomenys
vairuotojo pažymėjimas
Naujos kartos modeliavimo (NGSIM) programą inicijavo Jungtinių Valstijų transporto departamentas (JAV DOT). Programa sukūrė atvirų elgesio algoritmų pagrindą, palaikantį eismo modeliavimą, ir surinko aukštos kokybės pirminius pėdsakų ir trajektorijų duomenis, skirtus naujų algoritmų tyrimams ir bandymams paremti.

Šveicarijos federalinis kelių biuras FEDRO
Šveicarijos federalinis kelių biuras siūlo išsamią eismo srautų Šveicarijoje apžvalgą. Duomenys renkami nuolatinėse automatinėse eismo skaičiavimo stotyse ir nuo 1961 metų papildomi reguliariu rankiniu patikrinimu.

TrafficData
Tarptautinės eismo duomenų bazės (ITDb) projekto tikslas – teikti srauto duomenis įvairioms grupėms (tyrėjams, praktikams, viešiesiems subjektams) jų konkrečius poreikius atitinkančiu formatu – nuo ​​neapdorotų matavimo duomenų iki statistinės analizės. ITDb skatina lankstų srauto duomenų teikimo formatą, pagrįstą vartotojų poreikiais ir standartiniais įpročiais.

Transporto duomenų atsiskaitymo centras
Vokietijos aviacijos ir kosmoso centro transporto duomenų valymo centras yra pirmasis kontaktinis asmuo, norintis greitai peržiūrėti turimus duomenis. Jis skirtas tiek organizacijoms, kurios renka su transportu susijusius duomenis, tiek tiems, kurie nori pasinaudoti tokių tyrimų rezultatais. Siūloma informacija apima išsamių metaduomenų apie duomenų rinkinius parengimą, taip pat pastabas apie galimą naudojimą ir šaltinius.

Be to, Regiolab Delft
Regiolab-delft iniciatyva prasidėjo vos po 2000 m. kaip bendras projektas, vadovaujamas TU Delft kartu su Delfto savivaldybe, TRAIL tyrimų mokykla, Pietų Olandijos provincija, Transporto ministerija ir keliais pramonės partneriais. Archyvuotą duomenų rinkinį sudaro daugiau nei 6 metų trukmės 1 minutės vidutinis greitis ir suvestiniai srauto duomenys iš tankiai išdėstytų indukcinių kilpų greitkelių tinkle Pietų Olandijos provincijoje ir kiti duomenys iš sankryžų valdiklių, valstybinio numerio aptikimo kamerų ir daug daugiau.

RITA
JAV transporto departamento tyrimų ir inovacinių technologijų administracija (RITA) siūlo keletą duomenų rinkinių apie jūrų, krovinių, oro linijų, keleivių ir kt. eismo statistiką.

ETH kelionių duomenų archyvas (ETHTDA)
ETH kelionių duomenų archyvas (ETHTDA) yra virtuali platforma, leidžianti galutiniams vartotojams naršyti archyvuotus kelionių duomenis internete ir atlikti paprastą statistinę analizę.

„Metropolitan Travel Survey“ archyvas
„Metropolitan Travel Survey“ archyvas, skirtas saugoti, išsaugoti ir viešai internetu paskelbti didmiesčių, valstijų ir vietovių kelionių apklausas.

Infoblu
„Infoblu“ yra privati ​​įmonė, teikianti eismo stebėjimo paslaugas realiuoju laiku Italijoje. Visos paslaugos teikiamos už tam tikrą mokestį.

Atidaryti žemėlapius
Google žemėlapiai
Pasaulyje žinoma žemėlapių paslauga. Ji siūlo keletą papildomų paslaugų, tokių kaip: „Street View“, naudotojų įkeltas turinys (nuotraukos, komentarai ir įvertinimai) ir suasmenintos perdangos per paslaugų api.

OpenStreetMap
OpenStreetMap (pagal UCL) yra nemokamas redaguojamas viso pasaulio žemėlapis. „OpenStreetMap“ leidžia bendradarbiaujant peržiūrėti, redaguoti ir naudoti geografinius duomenis iš bet kurios Žemės vietos.

Tracksource Brazilija
„Tracksource“ yra bendradarbiavimo projektas, kuriuo siekiama sukurti ir platinti nemokamus Brazilijos žemėlapius.

Logistikos duomenys
Nacionalinis namų ūkių kelionių tyrimas
Nacionalinis namų ūkių kelionių tyrimas (NHTS) renka duomenis apie Amerikos visuomenės tolimąsias ir vietines keliones. Bendra apklausa renka su kelione susijusius duomenis, tokius kaip transporto rūšis, trukmė, atstumas ir kelionės tikslas. Ji taip pat renka demografinius, geografinius ir ekonominius duomenis analizės tikslais. Tai yra RITA dalis.

Prekių srautų tyrimas
Prekių srautų tyrimas (CFS) yra pagrindinis nacionalinio ir valstijos lygmens duomenų apie Amerikos kasybos, gamybos, didmeninės prekybos, pagalbinių įmonių ir tam tikrų mažmeninės prekybos įmonių vidaus krovinių vežimus šaltinis. Pateikiami duomenys apie išsiųstų prekių tipus, kilmę ir paskirties vietas, vertes, svorius, transporto rūšis, išsiųstą atstumą ir tonmyles. Tai yra RITA dalis ir atliekama kas penkerius metus (paskutinis mėginių ėmimas 2007 m.).

Klimato duomenys
Julichas
Klimato duomenys iš Julicho tyrimų centro.

Google.org
„Google“ pristato savo duomenimis pagrįstus filantropinius projektus, tarp kurių yra dvi aplinkos palydovinės observatorijos:
Žemės variklis: pasaulinio miškų naikinimo tendencijoms stebėti;
atsakas į krizę: už naftos išsiliejimo iš „Deep Horizon“ nuskendusio platformos stebėjimą.

Realybės kasyba
Realybės kasyba
Elgesio duomenys, surinkti iš 100 mobiliųjų telefonų per 9 mėnesius. Apima tiek artumo, tiek telefono naudojimo statistiką. Galimi du anoniminiai duomenų rinkiniai: vieno vartotojo (MySQL) ir visuotinio (Matlab).

Kitos atvirųjų duomenų iniciatyvos
Data.gov
Tyrimams galima rasti platų viešųjų JAV duomenų rinkinių rinkinį.

Data.gov.uk
Tyrimams galima rasti platų viešųjų JK duomenų rinkinių rinkinį.

Gilinimasis į duomenis
Nacionalinio mokslo fondo (NSF) sukurta programa siūlo įvairių duomenų saugyklų rinkinį.

Globėjų duomenų tinklaraštis
Duomenų žurnalistikos iniciatyva, skelbianti visuomenei svarbius (visų pirma susijusius su JK) duomenų rinkinius kartu su jų analize. Taip pat yra keletas bendradarbiavimo su duomenų vizualizavimo menininkais.

„Google“ viešieji duomenys
„Google“ siūlo keletą didelių duomenų rinkinių apie įvairius pasaulio socialinius ir ekonominius rodiklius ir įrankius, leidžiančius lengvai vizualizuoti.

Nuoroda: arxiv.org/abs/1012.0178 : Nuo socialinių duomenų gavybos iki socialinių ir ekonominių krizių prognozavimo

paslėpti