Vertėjai vis dar yra pirmaujantys – kol kas

Galbūt nepastebėjote šampano kamštelių ir juostelių lietaus, tačiau pastaraisiais mėnesiais skaičiavimo lingvistai pradėjo tvirtinti, kad neuronų mašininis vertimas dabar atitinka žmogaus vertėjų našumą.

Neuroninio tinklo naudojimo būdas tekstui iš vienos kalbos į kitą versti pastaraisiais metais labai patobulėjo dėl nuolatinių mašininio mokymosi ir dirbtinio intelekto laimėjimų. Taigi tikrai nenuostabu, kad mašinos priartėjo prie žmonių. Iš tiesų, skaičiavimo lingvistai turi gerų įrodymų, patvirtinančių šį teiginį.

Tačiau šiandien Samuelis Laubli iš Ciuricho universiteto ir pora kolegų sako, kad šampanas turėtų grįžti ant ledo. Jie neginčija savo kolegų rezultatų, tačiau teigia, kad bandymo protokole neatsižvelgiama į tai, kaip žmonės skaito visus dokumentus. Jie teigia, kad tai įvertinus mašinos gerokai atsilieka nuo žmonių.

Kyla klausimas, kaip turėtų būti vertinamas mašininis vertimas. Šiuo metu tai daroma pagal dvi priemones: tinkamumą ir sklandumą. Vertimo tinkamumą nustato profesionalūs vertėjai, kurie skaito ir originalų tekstą, ir vertimą, kad pamatytų, kaip gerai jame išreiškiama šaltinio prasmė. Sklandumą vertina vienakalbiai skaitytojai, kurie mato tik vertimą ir nustato, kaip gerai jis išreikštas anglų kalba.

Skaičiavimo lingvistai sutinka, kad ši sistema suteikia naudingų įvertinimų. Tačiau, pasak Laubli ir co, dabartinis protokolas lygina vertimus tik sakinio lygiu, o žmonės taip pat vertina tekstą dokumento lygiu.

Taigi jie sukūrė naują protokolą, skirtą mašininių ir žmonių vertėjų našumui dokumentų lygmeniu palyginti. Jie paprašė profesionalių vertėjų įvertinti, kaip gerai mašinos ir žmonės išvertė daugiau nei 100 naujienų straipsnių, parašytų kinų kalba į anglų kalbą. Egzaminuotojai įvertino kiekvieno vertimo tinkamumą ir sklandumą sakinio lygmeniu, bet, svarbiausia, ir viso dokumento lygmeniu.

Rezultatai leidžia įdomiai skaityti. Pirmiausia Laubli ir bendradarbiai nerado jokio reikšmingo skirtumo tarp to, kaip profesionalūs vertėjai įvertino mašininiu ir žmogaus išverstų sakinių tinkamumą. Pagal šią priemonę žmonės ir mašinos yra vienodai geri vertėjai, o tai atitinka ankstesnes išvadas.

Tačiau vertinant visą dokumentą, žmogaus atlikti vertimai vertinami kaip tinkamesni ir sklandesni nei mašininiai vertimai. Jie teigia, kad vertintojai, vertinantys tinkamumą ir sklandumą, vertindami dokumentus labiau teikia pirmenybę žmogiškajam vertimui, o ne mašininiam vertimui, palyginti su pavieniais sakiniais.

Tyrėjai mano, kad žino kodėl. Manome, kad dokumento lygmens vertinimas atskleidžia tokias klaidas, kaip klaidingas dviprasmiško žodžio vertimas arba klaidos, susijusios su teksto rišlumu ir nuoseklumu, kurias sunku arba neįmanoma pastebėti vertinant sakinio lygmeniu.

Pavyzdžiui, komanda pateikia naujos programos, pavadintos 微信挪 车, pavyzdį, kurią žmonės nuolat verčia kaip WeChat Move the Car, bet kurią mašinos dažnai verčia keliais skirtingais būdais tame pačiame straipsnyje. Mašinos šią frazę verčia kaip „Twitter Move Car“, „WeChat mobile“ ir „WeChat Move“. Dėl tokio nenuoseklumo, tarkime, Laubli ir bendradarbiai, dokumentus sunkiau sekti.

Tai rodo, kad mašininio vertimo vertinimo būdas turi keistis nuo sistemos, kurioje mašinos kiekvieną sakinį vertina atskirai.

Gerėjant mašininio vertimo kokybei, vertimus bus sunkiau atskirti kokybės požiūriu, todėl gali būti laikas pereiti prie vertinimo dokumento lygmeniu, kuris suteikia vertintojams daugiau konteksto suprasti originalų tekstą ir jo vertimą, taip pat atskleis su vertimu susijusias klaidas. Diskursuoti reiškinius, kurie lieka nematomi vertinant sakinio lygmenį, sako Laubli ir kt.

Šis pakeitimas turėtų padėti pagerinti mašininį vertimą. O tai reiškia, kad jis vis dar pranoksta žmogiškąjį vertimą – tik dar ne.

Nuoroda: arxiv.org/abs/1808.07048 : Ar mašininis vertimas pasiekė žmonių lygybę? Dokumento lygio vertinimo atvejis

paslėpti