Šis algoritmas naršo Vikipedijoje, kad automatiškai generuotų vadovėlius

Vikipedija

Mašininis mokymasis – visas vadovas yra svarus tomas. Šioje daugiau nei 6000 puslapių knygoje yra išsamus įvadas į mašininį mokymąsi, kuriame pateikiami naujausi skyriai apie dirbtinius neuroninius tinklus, genetinius algoritmus ir mašininį regėjimą.

Tačiau tai nėra įprastas leidinys. Tai Vikiknyga, vadovėlis, kurį gali pasiekti ar redaguoti kiekvienas, sudarytas iš straipsnių Vikipedijoje, didžiulėje internetinėje enciklopedijoje.

Tai yra stiprybė. Daugelio šaltinių informacija nuolat atnaujinama atsižvelgiant į naujausius pasiekimus ir nuosekliai redaguojama, kad būtų ištaisytos klaidos ir neaiškumai.

Bet tai taip pat yra silpnybė. Vikipedija yra didžiulė. Apsispręsti, ką įtraukti į tokį vadovėlį – sudėtinga užduotis, galbūt todėl knyga tokia didžiulė. Turint daugiau nei 550 skyrių, tai nėra lengvas skaitymas.

Tai kelia įdomų klausimą. Atsižvelgiant į pastarųjų metų pažangą dirbtinio intelekto srityje, ar yra būdas automatiškai redaguoti Vikipedijos turinį, kad būtų sukurta nuosekli visuma, kuri būtų naudinga kaip vadovėlis?

Įeikite į Shaharą Admati ir kolegas iš Negevo Ben-Guriono universiteto Izraelyje. Šie vaikinai sukūrė būdą automatiškai generuoti Vikiknygas naudojant mašininį mokymąsi. Jie vadina savo mašiną Wikibook-bot. Mūsų technikos naujovė yra ta, kad ji skirta sukurti visą Vikiknygą be žmogaus įsikišimo, sako jie.

Metodas yra gana paprastas. Tyrėjai pradėjo identifikuodami esamų Vikiknygų rinkinį, kuris gali veikti kaip mokymo duomenų rinkinys. Jie prasidėjo nuo 6700 Vikiknygų, įtrauktų į duomenų rinkinį, kurį Vikipedija suteikė tokio pobūdžio akademiniams tyrimams.

Kadangi šios Vikiknygos sudaro auksinį standartą tiek mokymui, tiek testavimui, komandai reikėjo būdo užtikrinti jų kokybę. Mes nusprendėme sutelkti dėmesį į Vikiknygas, kurios buvo peržiūrėtos mažiausiai 1000 kartų, remdamiesi prielaida, kad populiarios Vikiknygos yra tinkamos kokybės, sako jie.

Liko 490 Vikiknygų, kurias jie filtravo toliau, remdamiesi tokiais veiksniais kaip daugiau nei 10 skyrių. Liko 407 Vikiknygos, kurias komanda naudojo treniruodama savo mašinas.

Tada komanda suskirstė Vikiknygos kūrimo užduotį į kelias dalis, kurių kiekviena reikalauja skirtingų mašininio mokymosi įgūdžių. Užduotis prasideda žmogaus sugeneruotu pavadinimu, apibūdinančiu tam tikrą sąvoką, pvz Mašininis mokymasis – visas vadovas .

Pirmoji užduotis yra surūšiuoti visą Vikipedijos straipsnių rinkinį, kad nustatytų, kurie yra pakankamai svarbūs, kad juos būtų galima įtraukti. Ši užduotis yra sudėtinga dėl didžiulės straipsnių, esančių Vikipedijoje, kiekio ir būtinybės iš milijonų turimų straipsnių atrinkti pačius tinkamiausius straipsnius, sako Admati ir kt.

Siekdama padėti atlikti šią užduotį, komanda naudojo Vikipedijos tinklo struktūrą – straipsniai dažnai nurodo kitus straipsnius naudodami hipersaitus. Galima pagrįstai manyti, kad straipsnis su nuoroda gali būti aktualus.

Taigi jie pradėjo nuo nedidelio straipsnių branduolio, kuriame minima sėklos koncepcija pavadinime. Tada jie tinkle nustatė visus straipsnius, kurie yra iki trijų apynių atstumu nuo šių sėklų.

Bet kiek šių straipsnių, susijusių su nuorodomis, turėtų būti įtraukta? Norėdami tai išsiaiškinti, jie pradėjo nuo 407 žmonių sukurtų Vikiknygų pavadinimų ir atliko trijų apynių analizę. Tada jie išsiaiškino, kiek žmonių sukurtų knygų turinio įtraukė automatizuotas metodas.

Paaiškėjo, kad automatizuotas metodas dažnai apimdavo daug originalaus Vikiknygos turinio, bet dar daugiau. Taigi komandai reikėjo kito būdo, kaip toliau apkarpyti turinį.

Vėlgi, tinklo mokslas ateina į žaidimą. Kiekviena žmogaus sukurta Vikiknyga turi savo tinklo struktūrą, kurią lemia nuorodų, nukreipiančių iš kitų straipsnių, skaičius, nukreipiančių nuorodų skaičius, įtrauktų straipsnių puslapių reitingas ir pan.

Taigi komanda sukūrė algoritmą, kuris peržiūrėjo kiekvieną automatiškai pasirinktą tam tikros temos straipsnį ir tada nustatė, ar įtraukus jį į Vikiknygą tinklo struktūra būtų panašesnė į žmogaus sukurtas knygas, ar ne. Jei ne, straipsnis paliekamas.

Kitas žingsnis – suskirstyti straipsnius į skyrius. Tai iš esmės yra grupavimo užduotis; pažvelgti į tinklą, kurį sudaro visas straipsnių rinkinys, ir išsiaiškinti, kaip jį suskirstyti į nuoseklias grupes. Tokiai užduočiai galimi įvairūs grupavimo algoritmai.

Paskutinis žingsnis yra nustatyti, kokia tvarka straipsniai turėtų būti rodomi kiekviename skyriuje. Norėdami tai padaryti, komanda suskirsto straipsnius poromis ir naudoja tinkle pagrįstą modelį, kad nustatytų, kuris turėtų pasirodyti pirmasis. Kartodamas tai visoms straipsnių porų kombinacijoms, algoritmas nustato pageidaujamą straipsnių ir kartu skyrių tvarką.

Tokiu būdu komanda galėjo sukurti automatizuotas Vikiknygų versijas, kurias jau sukūrė žmonės. Sunku įvertinti, ar šios automatizuotos knygos yra palyginamos su žmonių sukurtomis knygomis. Juose tikrai yra daug tos pačios medžiagos, dažnai panašia tvarka, o tai yra gera pradžia.

Tačiau Adamti ir kiti turi planą, kaip nustatyti savo požiūrio naudingumą. Jie planuoja sukurti daugybę Vikiknygų temomis, kurių dar neapima žmogaus sukurtos knygos. Tada jie stebės šių knygų puslapių peržiūras ir redagavimus, kad sužinotų, kaip jos tampa populiarios ir kaip intensyviai redaguojamos, palyginti su žmonių sukurtomis knygomis. Jie sako, kad tai bus tikras mūsų požiūrio išbandymas.

Tai įdomus darbas, galintis sukurti vertingų vadovėlių įvairiomis temomis ir netgi sukurti kitus tekstus, pavyzdžiui, konferencijų pranešimų medžiagą. Kiek jie bus vertingi skaitytojams, dar nenuspręsta. Bet mes žiūrėsime, kad sužinotume.

Nuoroda: arxiv.org/abs/1812.10937 : Wikibook-Bot – automatinis Vikipedijos knygos generavimas

paslėpti