211service.com
Kaip „Reuters“ revoliucinė AI sistema renka pasaulines naujienas
Dėl interneto atsiradimo ir vėlesnio informacijos sprogimo žurnalistams tampa vis sunkiau pateikti naujienas tiksliai ir greitai. Taigi šią savaitę pasaulinės naujienų agentūros „Reuters“ mokslinių tyrimų ir plėtros komanda pradėkite rašydami straipsnį apie „arXiv“.
Reuters nuomone, šią problemą dar labiau paaštrino netikrų naujienų atsiradimas, kaip svarbus veiksnys, iškreipiantis įvykių suvokimą.
Nepaisant to, naujienų agentūros, tokios kaip „Associated Press“, ėmėsi automatinių naujienų rašymo paslaugų. Šiuose pranešimuose pateikiami standartiniai pranešimai, pvz., finansinės naujienos ir tam tikri sporto rezultatai, įklijuodami duomenis į iš anksto parašytus šablonus: X pranešė, kad trečiąjį ketvirtį pelnas buvo Y mln., o rezultatai pranoksta Volstryto prognozes...
Taigi yra didelis spaudimas kitoms naujienų agentūroms automatizuoti naujienų kūrimą. Ir šiandien Reuters apibūdina, kaip ji beveik visiškai automatizavo naujausių naujienų identifikavimą. Xiaomo Liu ir draugai iš „Reuters Research and Development“ ir „Alibaba“ teigia, kad naujoji sistema veikia gerai. Iš tiesų, tai gali sukelti revoliuciją naujienų versle. Tačiau tai taip pat kelia susirūpinimą dėl to, kaip tokią sistemą gali sužavėti kenkėjiški veikėjai.
Naujoji sistema vadinasi Reuters Tracer. Jis naudoja „Twitter“ kaip tam tikrą pasaulinį jutiklį, kuris registruoja naujienų įvykius, kai jie vyksta. Tada sistema naudoja įvairius duomenų gavybos ir mašininio mokymosi būdus, kad atrinktų aktualiausius įvykius, nustatytų jų temą, reitinguotų prioritetus ir parašytų antraštę bei santrauką. Tada naujienos išplatinamos visame bendrovės naujienų kanale.
Pirmasis proceso žingsnis yra „Twitter“ duomenų srauto sifonas. Tracer ištiria apie 12 milijonų tviterių per dieną, 2 procentus visų. Pusė jų atrenkama atsitiktinai; kita pusė yra iš „Twitter“ paskyrų sąrašo, kurį kuruoja „Reuters“ žurnalistai. Juose yra kitų naujienų organizacijų, reikšmingų įmonių, įtakingų asmenų ir pan.
Kitas etapas yra nustatyti, kada įvyko naujienų įvykis. Tracer tai daro darydamas prielaidą, kad įvykis įvyko, jei keli žmonės pradeda apie jį kalbėti vienu metu. Taigi, kad surastų šiuos pokalbius, jis naudoja grupavimo algoritmą.
Žinoma, šiose grupėse yra šlamštas, skelbimai, įprasti pokalbiai ir pan. Tik kai kurie iš jų nurodo svarbius įvykius.
Taigi kitas etapas yra įvykių klasifikavimas ir prioritetų nustatymas. Tracer tam naudoja daugybę algoritmų. Pirmasis nurodo pokalbio temą. Tada jis palyginamas su temų duomenų baze, kurią „Reuters“ komanda surinko iš 31 oficialios naujienų paskyros, tokios kaip @CNN, @BBCBreaking ir @nytimes, taip pat naujienų kaupėjų, tokių kaip @BreakingNews, sukurtų tviterinių pranešimų.
Šiame etape algoritmas taip pat nustato įvykio vietą, naudodamas miestų duomenų bazę ir pagal vietą pagrįstus raktinius žodžius.
Kai pokalbis ar gandas gali būti identifikuojamas kaip naujiena, svarbus aspektas yra jo tikrumas. Kad tai nustatytų, „Tracer“ ieško šaltinio, identifikuodama anksčiausią pokalbio tviterį, kuriame minima tema ir visos jame nurodytos svetainės. Tada ji kreipiasi į duomenų bazę, kurioje išvardijami žinomi netikrų naujienų gamintojai, pvz., Nacionalinė ataskaita, arba satyrinių naujienų svetainės, tokios kaip The Onion.
Galiausiai sistema parašo antraštę ir santrauką bei platina naujienas visoje Reuters organizacijoje.
„Reuters“ komanda teigia, kad bandymų metu sistema veikė gerai. Jie sako, kad „Tracer“ gali pasiekti konkurencingą tikslumą, atšaukimą, savalaikiškumą ir tikrumą naujienų aptikimo ir pristatymo metu.
Ir jie turi statistiką, kuri tai patvirtina. Sistema kasdien apdoroja 12 milijonų tviterių, beveik 80 procentų jų atmesdama kaip triukšmą. Likusieji patenka į maždaug 6000 grupių, kurias sistema priskiria skirtingo tipo naujienų įvykiams. Visa tai atlieka 13 serverių, kuriuose veikia 10 skirtingų algoritmų.
Palyginimui, „Reuters“ visame pasaulyje dirba apie 2500 žurnalistų, kurie kartu kasdien generuoja apie 3000 naujienų įspėjimų, naudodamiesi įvairiais šaltiniais, įskaitant „Twitter“. Iš jų apie 250 yra parašytos kaip naujienos.
„Reuters“ palygino istorijas, kurias „Tracer“ tapatina su tomis, kurios rodomos tokių organizacijų kaip BBC ir CNN naujienų kanaluose. Rezultatai rodo, kad „Tracer“ gali apimti apie 70 procentų naujienų su 2 procentais „Twitter“ duomenų, sako Lui ir kt.
Ir sistema tikrai veikia greitai. Komanda atkreipia dėmesį į 2017 m. spalį Las Vegaso susišaudymą, per kurį žuvo 58 žmonės. Liudininkas pranešė apie įvykį 1.22 val., dėl kurio suveikė Tracer klasteris. Tačiau klasteris neatitiko sistemos kriterijų, kad įvykis būtų įtrauktas į naujienų srautą iki 1:39 val. „Reuters“ pranešė apie incidentą 1:49 val., sako Lui ir kt.
Tai įdomus darbas, keliantis daug klausimų, ypač apie tai, kaip lengva valdyti sistemą. Nesunku įsivaizduoti piktybiškus veikėjus, kuriančius „Twitter“ kanalus turėdami konkretų tikslą apgauti „Tracer“.
Tačiau ar ši sistema bus lengviau žaidžiama nei dabartinė, kurioje žmonės reguliariai apgaudinėjami, sunku pasakyti.
Tada yra žmonių vaidmuo naujienų versle. Naujienų ateitis akivaizdžiai yra didėjanti automatizacija. Kaip žmonės dera, dar nenustatyta.
Nuoroda: arxiv.org/abs/1711.04068 : Reuters Tracer: link automatizuoto naujienų kūrimo naudojant didelio masto socialinės žiniasklaidos duomenis