Lingvistikos proveržis – mašininis vertimas tūkstančiams retų kalbų

Geriausias spėjimas yra tai, kad žmonės šiuo metu kalba apie 6900 skirtingų kalbų. Daugiau nei pusė pasaulio gyventojų bendrauja naudodami tik keletą jų – kinų, anglų, hindi, ispanų ir rusų kalbomis. Iš tiesų, 95 procentai žmonių bendrauja tik 100 kalbų.

Kiti argotai yra daug rečiau paplitę. Iš tiesų, kalbininkai apskaičiavo, kad maždaug trečdaliu pasaulio kalbų kalba mažiau nei 1000 žmonių ir joms gresia išnykimas per artimiausius 100 metų. Kartu su jais bus ir unikalus kultūros paveldas, kurį jie įkūnija – istorijos, frazės, pokštai, vaistažolių preparatai ir net nepakartojamos emocijos.

Nesunku manyti, kad mašininis mokymasis gali padėti. Problema ta, kad mašininis vertimas priklauso nuo didžiulių anotuotų duomenų rinkinių, kad būtų galima vykdyti prekybą. Šiuos duomenų rinkinius sudaro daugybė knygų, straipsnių ir svetainių, kurios buvo rankiniu būdu išverstos į kitas kalbas. Tai veikia kaip „Rosetta Stone“ mašininio mokymosi algoritmams ir kuo didesnis duomenų rinkinys, tuo geriau jie mokosi.

Žemėlapis, kuriame parodyta, kaip 100 tirtų kalbų susikaupia būtojo laiko rodikliai.

Tačiau šių didžiulių duomenų rinkinių daugeliui kalbų tiesiog nėra. Štai kodėl mašininis vertimas veikia tik nedidelei dalelei labiausiai paplitusių kalbų. Pavyzdžiui, „Google“ vertėjas kalba tik apie 90 kalbų.

Taigi svarbus iššūkis kalbininkams – rasti būdą, kaip automatiškai analizuoti mažiau paplitusias kalbas, kad jas geriau suprastų.

Šiandien Ehsaneddinas Asgari ir Hinrichas Schutze iš Ludwigo-Maximiliano universiteto Miunchene Vokietijoje teigia, kad tai padarė. Jų naujas požiūris atskleidžia svarbius beveik bet kurios kalbos elementus, kurie vėliau gali būti naudojami kaip automatinio vertimo žingsnis.

Naujoji technika pagrįsta vienu tekstu, kuris buvo išverstas į mažiausiai 2000 skirtingų kalbų. Tai yra Biblija, o kalbininkai jau seniai pripažino jos svarbą savo disciplinoje.

Todėl jie sukūrė duomenų bazę, pavadintą Parallel Bible Corpus, kurią sudaro Naujojo Testamento vertimai į 1169 kalbas. Šis duomenų rinkinys nėra pakankamai didelis pramoniniam mašininiam mokymuisi, kurį atlieka Google ir kiti. Taigi Asgari ir Schutze sugalvojo kitą požiūrį, pagrįstą tuo, kaip laikai atrodo skirtingose ​​kalbose.

Daugumoje kalbų laikui reikšti naudojami specifiniai žodžiai ar raidžių deriniai. Taigi naujas triukas yra rankiniu būdu atpažinti šiuos signalus keliomis kalbomis ir tada naudoti duomenų gavybos metodus, kad būtų galima ieškoti kitų vertimų, ieškant žodžių ar raidžių eilučių, kurios atlieka tą patį vaidmenį.

Pavyzdžiui, anglų kalboje esamasis laikas žymimas žodžiu yra, būsimas laikas – žodžiu will, o būtasis laikas – žodžiu buvo. Žinoma, yra ir kitų ženklų.

Asgari ir Schutze idėja yra rasti visus šiuos žodžius Biblijos vertime į anglų kalbą kartu su kitais pavyzdžiais iš kelių vertimų kitomis kalbomis. Tada ieškokite žodžių ar raidžių eilučių, kurios atlieka tą patį vaidmenį kitomis kalbomis. Pavyzdžiui, raidžių eilutė -ed anglų kalboje taip pat reiškia būtąjį laiką.

Tačiau yra posūkis. Asgari ir Schutze nepradeda nuo anglų kalbos, nes tai gana sena kalba su daugybe taisyklės išimčių, todėl ją sunku išmokti.

Vietoj to, jie prasideda nuo kreolų kalbų rinkinio, sukurto iš kitų kalbų mišinio. Kadangi kreolų kalbos yra jaunesnės, jos turėjo mažiau laiko išvystyti šias kalbines ypatybes. Ir tai reiškia, kad juose paprastai yra geresnių kalbinių ypatybių, tokių kaip laikas, žymenys. Manome, kad kreolų kalbos yra taisyklingesnės nei kitos kalbos, nes jos yra jaunos ir neturi „istorinio bagažo“, dėl kurio skaičiavimo analizė gali būti sudėtingesnė, sako jie.

Viena iš šių kalbų yra Seišelių kreolų kalba, kuri vartoja žodį ti praeities laikui reikšti. Pavyzdžiui, mon travay reiškia, kad aš dirbu šia kalba, o mon ti travay reiškia, kad dirbau, o mon ti pe travay reiškia, kad dirbau. Taigi ti yra geras būtojo laiko reiškėjas.

Asgari ir Schutze sudaro būtojo laiko reikšmių sąrašą 10 kitų kalbų, o tada išrenka Lygiagrečiąjį Biblijos korpusą kitiems žodžiams ir raidžių eilutėms, kurios atlieka tą pačią funkciją. Jie kartoja tai esamajam ir būsimajam laikui.

Rezultatai leidžia įdomiai skaityti. Ši technika atskleidžia kalbines konstrukcijas, susijusias su laiku bendrinėse kalbose, tokiose kaip -ed anglų kalba ir -te vokiečių kalba, taip pat žodžius ir frazes, atliekančias tas pačias funkcijas daug rečiau paplitusiomis kalbomis, pavyzdžiui, būtojo laiko žymeklis den Gourmanchemoje. kalba iš Burkino Faso, o yi – Yalunka, kalbama Malyje ir pan.

Šis darbas leidžia tyrėjams sukurti žemėlapius, rodančius, kaip susijusios kalbos, kuriose naudojamos panašios laiko konstrukcijos (žr. diagramą).

Tai įdomus darbas. Asgari ir Schutze sukūrė skaičiavimo metodą, skirtą analizuoti, kaip žmonės naudoja praeities, dabarties ir ateities laiką daugiau nei 1000 kalbų. Tai didžiausias kada nors atliktas kelių kalbų skaičiavimo tyrimas. Iš tiesų, kalbų skaičius yra daug didesnis nei kituose tyrimuose.

Darbas turi reikšmingą pritaikymą. Kalbos laiko žemėlapiai leidžia tyrėjams greitai išsiaiškinti kalbų ryšius ir jų ryšį. Tai galėtų būti panaudota norint geriau suprasti kalbos raidą.

Tą patį metodą būtų galima taikyti ir kitoms kalbinėms ypatybėms. Mes tik reikalaujame, kad kalbinis bruožas būtų aiškiai pažymėtas keliose iš tūkstančių kalbų, o ne reikalaujama, kad jis būtų pažymėtas visomis tiriamomis kalbomis, sako Asgari ir Schutze.

Pasekmės apima toliau. Kompiuterinė lingvistika padarė didelę įtaką mūsų kalbos supratimui, jos kintamumui visame pasaulyje ir mašinų galimybei ją suprasti. Ši besiformuojanti disciplina leido automatiškai išversti daugelį kalbų tiesiai į kitas rašytine ir sakytine forma. Iš tiesų žadama, kad momentinis mašininis vertimas greitai atitiks ir pranoks žmogiškųjų vertėjų gebėjimus.

Tačiau dėl tam tikrų kalbų mašininio vertimo naudingumo jos tampa populiaresnės kalbų, kurioms nerūpi, sąskaita. Štai kodėl mašininis vertimas gali paspartinti nykstančių kalbų išnykimą.

Iš tiesų, kalbininkai matė panašų reiškinį su kitomis masinės komunikacijos formomis, pavyzdžiui, palydovinės televizijos paslaugomis. Paprastai jos transliuojamos viena kalba, kuri vėliau tampa geidžiamesnė ir populiaresnė nei kalbos, kurios netransliuojamos.

Asgari ir Schutze darbas galėtų padėti pakeisti šį nuosmukio modelį. Žinoma, tai didelis žingsnis nuo šio darbo iki tikslaus mašininio vertimo, tačiau tai žingsnis teisinga kryptimi.

Nuoroda: arxiv.org/abs/1704.08914 : praeitis, dabartis, ateitis: 1000 kalbų laiko tipologijos skaičiavimas

paslėpti