Duomenų gavyba atskleidžia pagrindinį žmogaus mąstymo modelį

1935 m. amerikiečių kalbininkas George'as Zipfas padarė nuostabų atradimą. Zipfui buvo smalsu, koks yra bendrų žodžių ir rečiau pasitaikančių žodžių santykis. Taigi jis suskaičiavo, kaip dažnai žodžiai pasitaiko įprastoje kalboje, ir suskirstė juos pagal dažnumą.

Tai atskleidė nepaprastą dėsningumą. Zipf nustatė, kad žodžio dažnis yra atvirkščiai proporcingas jo vietai reitinge. Taigi žodis, kuris yra antras pagal reitingą, pasirodo perpus dažniau nei labiausiai paplitęs žodis. Trečią vietą užimantis žodis pasirodo trečdaliu dažniau ir pan.

Anglų kalba populiariausias žodis yra , kuris sudaro apie 7 procentus visų žodžių, po kurio seka ir , kuris pasitaiko 3,5 procento laiko ir pan. Iš tiesų, apie 135 žodžiai sudaro pusę visų žodžių. Taigi keli žodžiai pasirodo dažnai, o dauguma – retai.

Bet kodėl? Viena intriguojančių galimybių yra ta, kad smegenys skirtingai apdoroja įprastus žodžius ir kad Zipf pasiskirstymo tyrimas turėtų atskleisti svarbias įžvalgas apie šį smegenų procesą.

Tačiau yra problema. Kalbininkai ne visi sutinka, kad statistinis žodžių dažnio pasiskirstymas yra pažinimo procesų rezultatas. Vietoj to, kai kurie sako, kad pasiskirstymas yra statistinių klaidų, susijusių su žemo dažnio žodžiais, rezultatas, galintis sudaryti panašų pasiskirstymą.

Žinoma, reikalingas didesnis įvairių kalbų tyrimas. Toks didelio masto tyrimas būtų statistiškai galingesnis ir galėtų atskirti šias galimybes.

Šiandien tokį tyrimą gauname dėka Shuiyuan Yu ir kolegų iš Kinijos komunikacijos universiteto Pekine. Šie vaikinai rado Zipfo dėsnį 50 kalbų, paimtų iš įvairių kalbų klasių, įskaitant indoeuropiečių, uralų, altajaus, kaukaziečių, kinų-tibetiečių, dravidų, afro-azijos ir kt.

Yu ir co teigia, kad žodžių dažniai šiose kalbose turi bendrą struktūrą, kuri skiriasi nuo tos, kurią sukeltų statistinės klaidos. Be to, jie sako, kad ši struktūra rodo, kad smegenys įprastus žodžius apdoroja kitaip nei neįprastus, o tai turi svarbių pasekmių natūralios kalbos apdorojimui ir automatiniam teksto generavimui.

Yu ir co metodas yra paprastas. Jie prasideda dviem dideliais tekstų rinkiniais, vadinamais Britanijos nacionaliniu korpusu ir Leipcigo korpusu. Tai apima pavyzdžius iš 50 skirtingų kalbų, kiekviename pavyzdyje yra mažiausiai 30 000 sakinių ir iki 43 milijonų žodžių.

Tyrėjai nustatė, kad žodžių dažnis visose kalbose atitinka pakeistą Zipf dėsnį, pagal kurį pasiskirstymą galima suskirstyti į tris segmentus. Statistiniai rezultatai rodo, kad Zipf dėsniai 50 kalbų turi trijų segmentų struktūrinį modelį, o kiekvienas segmentas pasižymi išskirtinėmis kalbinėmis savybėmis, sako Yu.

Ši struktūra yra įdomi. Yu ir co bandė tai imituoti naudodami daugybę žodžių kūrimo modelių. Vienas iš modelių yra beždžionės rašomosios mašinėlės modelis, kuris generuoja atsitiktines raides, kurios sudaro žodžius, kai tik atsiranda tarpas.

Šis procesas sukuria galios įstatymo paskirstymą, pavyzdžiui, Zipf dėsnį. Tačiau ji negali sukurti trijų segmentų struktūros, kurią rado Yu ir co. Šios struktūros taip pat negali sukurti klaidos, susijusios su žemo dažnio žodžiais.

Tačiau Yu ir bendradarbiai gali atkurti šią struktūrą naudodami smegenų veikimo modelį, vadinamą dviejų procesų teorija. Tai yra idėja, kad smegenys veikia dviem skirtingais būdais.

Pirmasis yra greitas intuityvus mąstymas, kuriam reikia mažai argumentų arba jo visai nereikia. Manoma, kad tokio tipo mąstymas išsivystė, kad žmonės galėtų greitai reaguoti grėsmingose ​​situacijose. Paprastai jis pateikia gerus sudėtingų problemų sprendimus, pvz., modelio atpažinimą, tačiau gali būti lengvai apgautas neintuityviose situacijose.

Tačiau žmonės sugeba daug racionaliau mąstyti. Šis antrasis mąstymo tipas yra lėtesnis, labiau apskaičiuojantis ir apgalvotas. Būtent toks mąstymas leidžia mums išspręsti sudėtingas problemas, tokias kaip matematiniai galvosūkiai ir pan.

Dviejų procesų teorija rodo, kad įprasti žodžiai mėgsta ir, jei ir tt yra apdorojami greitu, intuityviu mąstymu, todėl naudojami dažniau. Šie žodžiai sudaro tam tikrą sakinių stuburą.

Tačiau retesni žodžiai ir frazės kaip hipotezė ir Zipfo įstatymas reikalauja daug kruopštesnio mąstymo. Ir dėl to jie atsiranda rečiau.

Iš tiesų, kai Yu ir bendrai imituoja šį dvigubą procesą, tai lemia tą pačią trijų segmentų struktūrą žodžių dažnio pasiskirstyme, kurią jie matavo 50 skirtingų kalbų.

Pirmasis segmentas atspindi bendrinių žodžių pasiskirstymą, paskutinis segmentas – neįprastų žodžių pasiskirstymą, o vidurinis segmentas yra šių dviejų režimų persijungimo rezultatas. Šie rezultatai rodo, kad Zipf dėsnis kalbose yra motyvuotas kognityviniais mechanizmais, tokiais kaip dvigubas apdorojimas, kurie reguliuoja žmogaus verbalinį elgesį, sako Yu ir kt.

Tai įdomus darbas. Idėja, kad žmogaus smegenys informaciją apdoroja dviem skirtingais būdais, pastaraisiais metais įgavo didelį pagreitį, ypač dėl knygos. Mąstymas, greitas ir lėtas Nobelio premijos laureatas psichologas Danielis Kahnemanas, kuris išsamiai ištyrė šią idėją.

Gerai žinoma problema, naudojama greitam ir lėtam mąstymui, yra ši:

Šikšnosparnis ir kamuolys iš viso kainavo 1,10 USD. Šikšnosparnis kainuoja 1,00 USD daugiau nei kamuolys. Kiek kainuoja kamuolys?

Atsakymas, žinoma, yra 5 centai. Tačiau beveik kiekvienas turi pradinį polinkį galvoti apie 10 centų. Taip yra todėl, kad 10 centų yra teisingi. Tai teisinga masto tvarka, kurią rodo problemos įrėminimas. Šis atsakymas ateina iš greitos, intuityvios jūsų smegenų pusės.

Bet tai negerai. Norint gauti teisingą atsakymą, reikia lėtesnės, labiau skaičiuojančios jūsų smegenų dalies.

Yu ir co teigia, kad tie patys du procesai yra susiję su sakinių generavimu. The greitai mąstanti dalis apie tavo smegenys kuria į pagrindinė struktūra iš sakinys ( į žodžius čia pažymėti in paryškintas). The kiti žodžiai reikalauja į lėčiau, daugiau skaičiuojamoji dalis Jūsų smegenys.

Būtent šis dvigubas procesas veda prie trijų dalių Zipfo dėsnio.

Tai turėtų turėti įdomių pasekmių kompiuterių mokslininkams, dirbantiems su natūralios kalbos apdorojimu. Pastaraisiais metais šioje srityje buvo pasiekta didžiulė pažanga. Tai buvo sukurta naudojant mašininio mokymosi algoritmus, taip pat iš didelių teksto duomenų bazių, kurias surinko tokios įmonės kaip „Google“.

Tačiau sukurti natūralią kalbą vis dar sunku. Nereikia ilgai kalbėtis su „Siri“, „Cortana“ ar „Google Assistant“, kad susidurtumėte su jų pokalbio apribojimais.

Taigi geresnis supratimas apie tai, kaip žmonės kuria sakinius, gali labai padėti. Zipfas tikrai būtų sužavėtas.

Nuoroda: arxiv.org/abs/1807.01855 : Zipf dėsnis 50 kalbų: jo struktūrinis modelis, kalbinė interpretacija ir pažintinė motyvacija

paslėpti