Duomenų gavyba atskleidžia, kaip žmonės vertina vieni kitus

Tai, kaip vertiname kitų žmonių veiklą, yra viena didžiausių kognityvinės psichologijos paslapčių. Šis procesas vyksta nuolat, nes vertiname asmenų gebėjimą atlikti tam tikras užduotis, įvertindami visus nuo elektrikų ir autobusų vairuotojų iki buhalterių ir politikų.

Problema ta, kad turime prieigą prie tik riboto duomenų apie asmens veiklą rinkinio – kai kurie iš jų yra tiesiogiai susiję, pvz., taksi vairuotojo vairavimo įrašai, tačiau daugelis jų nėra svarbūs, pvz., vairuotojo lytis. Iš tiesų informacijos kiekis gali būti toks didelis, kad esame priversti apsispręsti naudodami nedidelį jos poaibį. Kaip tie sprendimai priimami?

Šiandien mes gauname tam tikrus atsakymus dėl Luca Pappalardo iš Pizos universiteto Italijoje ir kelių bičiulių, kurie nagrinėjo šią problemą sporto arenoje, kur rezultatyvumo klausimai yra palengva. Jų darbas suteikia unikalią įžvalgą apie tai, kaip vertiname žmogaus veiklą ir kaip tai susiję su objektyviomis priemonėmis.

Veiksniai, kuriuos stebėtojai naudoja vertindami našumą, yra nedidelis objektyvių rodiklių pogrupis.

Sportiniai rezultatai yra viena sritis, kurioje jau keletą metų buvo renkami išsamūs individualių rezultatų įrašai. Pappalardo ir bendradarbiai daugiausia dėmesio skiria futbolui, populiariausiai sporto šakai pasaulyje, ir ypač žaidėjų, rungtyniaujančių aukščiausioje Italijos Serie A futbolo lygoje, pasirodymui.

Daugelį metų Italijos sporto laikraščiai žaidėjų pasirodymą kiekvienose rungtynėse vertino balais nuo 0 iki 10, kur 0 reiškia nepamirštamai blogą, o 10 – nepamirštamai nuostabų. Ši sistema yra pagrįsta Italijos mokyklų reitingų sistema, kur 6 rodo, kad mokinys tinkamai pasirodė. Žaidėjų reitingavimo būdas neskelbiamas, bet, manoma, tai padarė sporto žurnalistas ekspertas.

Pastaraisiais metais tie patys žaidėjai buvo vertinami ir taikant objektyvią matavimo sistemą, kuri skaičiuoja kiekvieno žaidėjo atliekamus perdavimus, metimus, atmušimus, atsimušimus ir pan. Šioje techninėje priemonėje atsižvelgiama į 150 skirtingų parametrų ir pateikiama visapusiška kiekvieno žaidėjo pasirodymo aikštelėje ataskaita.

Pappalardo ir bendradarbiai užduoda klausimą, kaip laikraščių reitingai koreliuoja su techniniais įvertinimais ir ar įmanoma naudoti techninius duomenis, siekiant suprasti veiksnius, turinčius įtakos žmonių reitingams.

Tyrėjai pradeda nuo 760 Serie A 2015–2016 ir 2016–2017 sezonų sezonų techninių duomenų rinkinio. Jį sudaro daugiau nei milijonas duomenų taškų, apibūdinančių įvykius aikštelėje su laiko žyma. Jie naudoja duomenis, kad išgautų kiekvieno žaidėjo techninio veikimo vektorių kiekviename žaidime; tai veikia kaip objektyvus jo veiklos matas.

Tyrėjai taip pat turi kiekvieno žaidėjo įvertinimus kiekviename žaidime iš trijų sporto laikraščių: „Gazzetta dello Sport“. , Corriere dello Sport , ir Tuttosport .

Laikraščių reitingai turi keletą įdomių statistinių savybių. Tik 3 procentai įvertinimų yra žemesni nei 5 ir tik 2 procentai aukštesni nei 7. Kai įvertinimai suskirstyti į kategorijas pagal mokyklų reitingų sistemą – blogai, jei jie yra žemesni nei 6 ir gerai, jei yra 7 ir aukštesni – blogai įvertinimai pasirodo tris kartus dažnesni nei geri.

Apskritai laikraščiai spektaklį vertina panašiai, nors kartais gali kilti nesutarimų iki 6 balų. Stebime gerą susitarimą dėl porinių reitingų tarp laikraščių ir nustatome, kad reitingai (i) turi identišką pasiskirstymą; ii) yra stipriai koreliuojami vienas su kitu; ir iii) paprastai skiriasi vienu reitingo vienetu (0,5), tarkime, Pappalardo ir kt.

Siekdami išanalizuoti ryšį tarp laikraščių įvertinimų ir techninių įvertinimų, Pappalardo ir bendrai naudoja mašininį mokymąsi, kad rastų koreliacijas duomenų rinkiniuose. Visų pirma, jie sukuria dirbtinį teisėją, kuris bando atkurti laikraščių reitingus iš techninių duomenų pogrupio.

Tai veda prie smalsaus rezultato. Dirbtinis teisėjas gali pakankamai tiksliai suderinti laikraščių reitingus, bet ne taip gerai, kaip laikraščiai atitinka vienas kitą. Nesutarimas rodo, kad vien techninės savybės negali visiškai paaiškinti [laikraščio] reitingavimo proceso, sako Pappalardo ir kt.

Kitaip tariant, laikraščio reitingai turi priklausyti nuo išorinių faktorių, kurių nefiksuoja techniniai duomenys, tokių kaip tam tikro rezultato tikėjimasis, asmeninis šališkumas ir pan.

Norėdami išbandyti šią idėją, Pappalardo ir bendradarbiai surinko kitą duomenų rinkinį, kuriame užfiksuoti išoriniai veiksniai. Tai apima žaidėjo amžių, tautybę ir klubą, laukiamą žaidimo rezultatą, kurį įvertino lažybų agentai, tikrąjį žaidimo rezultatą ir tai, ar žaidimas žaidžiamas namuose ar išvykoje.

Įtraukus šiuos duomenis dirbtiniam teisėjui sekasi daug geriau. Pridėjus kontekstinę informaciją, statistinis susitarimas tarp dirbtinio teisėjo ir žmogaus teisėjo žymiai padidėja, teigia komanda.

Iš tiesų, jie aiškiai mato pavyzdžius, kaip išoriniai veiksniai daro įtaką laikraščių reitingams. Iš viso duomenų rinkinyje tik du žaidėjai buvo apdovanoti puikiu 10. Vienas iš jų buvo Argentinos puolėjas Gonzalo Higuaín, žaidęs „Napoli“. Šia proga jis įmušė tris įvarčius per rungtynes ​​ir tai darydamas tapo rezultatyviausiu visų laikų rezultatyviausiu sezono žaidėju Serie A. Šis įvykis beveik neabejotinai buvo puikaus įvertinimo priežastis, bet jokiu būdu negalima to išvesti. balas iš techninių duomenų rinkinio.

Svarbus klausimas, kokius veiksnius naudoja dirbtinis teisėjas, kad atitiktų laikraščio reitingus. Pastebime, kad didžioji dalis žmogaus teisėjo dėmesio yra skirta nedaugeliui funkcijų, o didžioji dauguma techninių savybių vertinimo proceso metu yra prastai atsižvelgiama arba jų atsisakoma, sako Pappalardo ir kt.

Taigi atakuojančius žaidėjus laikraščiai paprastai vertina pagal lengvai pastebimus veiksnius, tokius kaip įmuštų įvarčių skaičius; jie vertina vartininkus pagal praleistų įvarčių skaičių. Saugų žaidėjai paprastai vertinami pagal bendresnius parametrus, tokius kaip įvarčių skirtumas.

Tai prasminga – žmonių stebėtojai turi ribotą pralaidumą ir tikriausiai gali stebėti tik nedidelę veiklos rodiklių dalį. Iš tiesų, komanda teigia, kad dirbtinis teisėjas gali suderinti žmonių įvertinimus, naudodamas mažiau nei 20 techninių ir išorinių veiksnių.

Tai nuostabus rezultatas, turintis svarbių pasekmių mūsų mąstymui apie našumo įvertinimus. Žinoma, tikslas yra rasti veiksmingesnių būdų, kaip įvertinti veiklos rezultatus visose situacijose. Pappalardo ir bendradarbiai mano, kad jų darbas tam turi didelę reikšmę. Jie daro išvadą, kad šis dokumentas gali būti naudojamas siekiant suteikti žmonėms vertintojams galimybę suprasti savo sprendimų logiką.

Nuoroda: arxiv.org/abs/1712.02224 : Žmogaus veiklos suvokimas

paslėpti