2016 m. rinkimuose apklausų vykdytojai suklydo. Dabar jie nori dar vieno šūvio.

Atsirado nauja minia būsimų orakulų, pasiryžusių nekartoti savo pirmtakų klaidų. Autorius

• Robas Artūras archyvo puslapis

2020 m. vasario 14 d

Karstenas Petratas

2016 m. lapkričio 8 d. naktį Charlesas Franklinas, kaip ir milijonai kitų amerikiečių, stebėjo prezidento rinkimų rezultatus su tuo, ką jis apibūdino kaip skęstantį jausmą. Bet Franklinas , Viskonsino apklausų vykdytojas ir teisės bei viešosios politikos profesorius Marquette universitete, nesijaudino dėl savo asmeninių politinių nuostatų; jam iškilo pavojus jo reputacijai. Vos prieš savaitę jo paties atlikta apklausa rodė, kad Hillary Clinton Viskonsine pelnė šešis taškus. Vietoj to, čia ji buvo pralaimėjusi septyniomis dešimtosiomis taško skirtumu.

Franklinas budėjo prie ABC sprendimų biuro, vieno ekspertų užkulisinės komandos, atsakingos už Clinton arba Donaldo Trumpo iškvietimą valstijoms, kai buvo gautas sumas. aišku, kad jo apklausa buvo išjungta.

Ši istorija buvo mūsų 2020 m. kovo mėnesio numerio dalis

• Žr. likusią numerio dalį
• Prenumeruoti

Niekas nenori klysti, sako jis žvelgdamas atgal. Taigi ta prasme tai buvo labai slegianti.

Jis nebuvo vienintelis apklausų vykdytojas, neteisingai perskaidęs rinkimus. Anot „RealClearPolitics“. , kiekvieną iš daugiau nei 30 apklausų Viskonsine per kelis mėnesius iki rinkimų Clinton laimėjo valstiją 2–16 taškų skirtumu. Ir šios klaidos buvo dar labiau sustiprintos, nes tada jos buvo naudojamos kaip kompiuterinių algoritmų, numatančių bendrą Clinton pergalę, kuras.

Donaldui Trumpui pasakius pergalės kalbą ir nuvalius dulkes, visi pradėjo pripažinti savo klaidas.

Mane pribloškė suvokti, kad klydau, rašė Natalie Jackson, duomenų mokslininkė iš Huffington Post, kuri suteikė Clinton 98% tikimybę laimėti.

Žiniasklaida, įskaitant daugybę žiniasklaidos priemonių, kurių pačių prognozės suteikė didelę tikimybę laimėti Clinton, pradėjo smerkti prognozavimo algoritmų nesėkmę. Kai kurie kritikai buvo atsargesni nei kiti, pripažindami, kad kai kurie prognozuotojai Trumpo pergalę tiksliai apibūdino kaip tiesiog neįtikėtiną. Tačiau daugelis abejoja visa rinkimų prognozavimo idėja. Kai kurie netgi panaudojo rinkimus kaip amuniciją atakuoti visą duomenų mokslo sritį.

Tačiau praėjus beveik ketveriems metams ir artėjant kitam konkursui, sinoptikai pradeda skelbti ankstyvas 2020 m. prognozes. Atsiliepimas į 2016 m. jų neatbaidė – iš tikrųjų dabar yra visiškai nauja minia būsimų orakulų, pasiryžusių to nedaryti. atkartoti savo pirmtakų klaidas.

Kas nutiko

Dėl problemų kokteilio 2016 m. buvo praleistas balsavimas. Kai kurių apklausų metu nepavyko susisiekti su pakankamai mažai išsilavinusių baltųjų rinkėjų, o kai kurie Trumpo šalininkai atsisakė pripažinti, kokiu būdu jie balsuos. Netradicinė Trumpo strategija taip pat pasirodė esąs daugiau piliečių respublikonų kaimo apskrityse. Apklausų vykdytojai klaidingai manė, kad šie žmonės liks nuošalyje, kaip ir ankstesniuose rinkimuose, todėl Trumpo bazė atrodė mažesnė, nei buvo iš tikrųjų.

Tačiau nors didžioji dalis kaltės tenka apklausų vykdytojams, galbūt daugiau pasmerkimo turėjo sulaukti prognozuotojų, kurie apklausėjų duomenis paverčia prognozėmis.

Dvi pagrindinės prognozuotojos Hillary Clinton turėjo 99 proc. pergalę, sako G. Elliottas Morrisas, „Economist“ duomenų žurnalistas, dirbantis su rinkimų prognozėmis. Kai ji to nepadarė, daugelis jų tiesiog kaltino apklausų vykdytojus, nes jiems tai lengva.

Kai kurie duomenų mokslininkai, padėję kurti prognozavimo algoritmus, padarė mažiausiai dvi dideles klaidas. Pirma, jie manė, kad jei tikimybė, kad Viskonsine atsiliks beveik septyniais taškais, yra maža, kitose kritinėse valstijose, pvz., Mičigane ir Pensilvanijoje, panašios klaidos tikimybė buvo maža. Tiesą sakant, apklausos problemos vienoje valstybėje buvo susijusios su klaidomis kitose panašiose valstijose. Darant prielaidą, kad apklausos buvo visiškai nepriklausomos viena nuo kitos, o ne atspindėjo tas pačias reakcijas į tas pačias problemas, sukėlė pernelyg didelį pasitikėjimą Clinton lyderiu.

Antra, prognozavimo algoritmai nesugebėjo užregistruoti rekordinio neapsisprendusių rinkėjų skaičiaus kaip įspėjamojo ženklo. Kadangi iki pat rinkimų dienos tiek daug rinkėjų buvo ant tvoros ir galiausiai stipriai sulaužys Trumpą, Clinton maržos buvo daug mažiau saugios, nei atrodė.

Karstenas Petratas

Tai žiūrėjo mums tiesiai į veidą, sako Rachel Bitecofer , Christopherio Niuporto universiteto politikos mokslų profesorius. Ji teigia, kad jei prieš pat rinkimų dieną būtų įvykę daugiau apklausų tose valstijose, kuriose vyksta daug ginčų, analitikai galėjo pastebėti neįprastai didelį rinkėjų, nusprendusių balsuoti paskutinę akimirką, skaičių.

Tačiau tai buvo ne tik sinoptikų kaltė. Net tada, kai jų tikimybės kiekvienam kandidatui buvo tikslios, visuomenei atrodė sunku suprasti tų skaičių reikšmę.

Paskutinėmis rinkimų kampanijos dienomis dirbau FiveThirtyEight – vienoje žinomiausių prognozes darančių prekybos vietų. Mano darbas nebuvo susijęs su lenktynėmis dėl prezidento rinkimų: vietoj to aš rašiau beisbolo pasaulio seriją. Kai „Chicago Cubs“ ekipai septynerių rungtynių serijoje prieš „Cleveland Indians“ nusileido trimis žaidimais iki vieno, pastebėjau, kad jų tikimybė laimėti, maždaug viena iš šešerių, buvo per plauką mažesnė už Trumpo galimybes užimti Baltuosius rūmus. Šešios komandos tai darė anksčiau per 113 metų pasaulio serijos istoriją, o dar septynios iškovojo jį kituose atkrintamųjų etapuose, todėl tai tikrai buvo įmanoma, bet tai nebuvo įprasta. Vėliau, kai „Cubs“ ir „Trump“ laimėjo prieš šansą, sulaukiau daugybės neapykantos kupinų „Twitter“ žinučių, kaltinančių mane dėl to, kad kažkaip sukėliau du labai galimus likimo posūkius.

Jei girdite, kad lietaus tikimybė yra 20%, nesineškite skėčio. Ir tada lyja, o jūs viską išmušate, ir tikriausiai tai jūsų kaltė, sako Stevenas Shepardas, „Politico“ redaktorius ir rinkimų prognozuotojas. Tačiau tas 20% atvejų nebūtinai yra toks mažai tikėtinas.

Atrodė, kad daugelis žmonių žiūrėjo, kuris kandidatas turėtų laimėti (dažniausiai Clinton), neatsižvelgdami į tai, ar prognozuotojai buvo tikri. 70 % tikimybė laimėti Clinton neabejotinai buvo palanki demokratams, bet turėjo būti vertinama labai skirtingai nei 99 % tikimybė.

Vis dėlto kai kurie sakė, kad 99%, ir jie neabejotinai buvo pernelyg agresyvūs. Samas Wangas iš Prinstono rinkimų konsorciumo įvertino, kad Trumpo šansai yra mažesni nei 1%, ir netgi pažadėjo suvalgyti klaidą, jei Trumpas surinktų daugiau nei 240 rinkėjų balsų.

Kai paaiškėjo rinkimų rezultatai, Wang liko ištikimas savo žodžiui. Praėjus savaitei po balsavimo dienos, jis pasirodė per CNN su skardine gurmaniškų svirplių (gurmanas iš augintinio požiūrio, patikslino jis) ir apgailestavo dėl savo lažybų sukelto reginio. Tikiuosi, kad galėsime grįžti prie duomenų ir apgalvotai galvodamas apie politiką ir problemas, – pasakė jis prieš panardindamas svirplį į medų ir skausminga išraiška nurydamas vabzdį.

Triguba gresme

Ne visos prognozės buvo tokios toli, kaip Wang. Kai kurie netgi tikėjosi Trumpo pergalės. Norint suprasti, kodėl jie taip skiriasi, verta pažvelgti į įvairius metodus, kurie suskirstyti į tris plačias klases.

Ankstyviausios kiekvieno rinkimų ciklo prognozės gaunamos iš vadinamųjų pagrindinių modelių. Paprastai jie sudaromi pagal prezidento patvirtinimo reitingus, ekonominę statistiką ir demografinius rodiklius. Stipri ekonomika pranašauja pergalę dabartinio vadovo partijai, kaip ir aukštas dabartinio vadovo pritarimo reitingas. Demografinė valstybės struktūra taip pat gali būti naudojama norint nuspėti rezultatą – pavyzdžiui, baltaodžiai, aukštąjį išsilavinimą neturintys rinkėjai 2016 m. buvo linkę balsuoti už Trumpą, todėl valstijos, kuriose jų yra daug, labiau tikėtina, kad 2020 m. gerai.

Kadangi šie veiksniai yra gana stabilūs, patikimas pagrindines prognozes galima atlikti daug anksčiau nei dauguma kitų prognozių tipų. Tokie modeliai atrodo per paprasti, kad užfiksuotų visas šiuolaikiškos dvejų metų kampanijos keistenybes ir skandalus. Tačiau 2016 m. jie pasirodė šokiruojančiai gerai: šeši iš 10 numatė galutinį balsavimą vieno procentinio punkto tikslumu.

Tačiau prezidento postas nerenkamas tiesioginiu nacionaliniu liaudies balsavimu, ir tai yra pagrindinis pagrindinių požiūrių apribojimas: tik nedaugelis numato galutinius rinkimų kolegijos rezultatus.

Fundamentalūs modeliai turi dar vieną silpnybę. Jei atsiranda vėlyvų naujienų, pavyzdžiui, skandalas lenktynių pabaigoje arba staigus ekonomikos pokytis (geras pavyzdys yra 2008 m. finansų krizė), šios stabilios prognozės staiga gali apgailėtinai pasenti. Norėdami tai kompensuoti, prieš maždaug dešimtmetį statistikai pradėjo populiarinti naujų rūšių kiekybinius modelius, kurie nėra tokie pažeidžiami šių spalio mėnesio netikėtumų. Jie apdoroja apklausos duomenis, kai jie pasirodo, ir kiekvieną dieną apskaičiuoja, kas laimės, kad galėtų atsakyti, jei pasikeistų visuomenės nuomonė.

RealClearPolicies ir „New York Times“ rezultatas abu turi gerai įvertintus kiekybinius modelius, tačiau joks modelis neturi didesnės šlovės – ar, be abejo, geresnių rezultatų – nei Nate'o Silverio FiveThirtyEight prognozė, pavadinta pagal bendrą rinkėjų kolegijos balsų skaičių. FiveThirtyEight algoritmas yra kelių variantų, tačiau visi pasirūpina, kad apklausos būtų koreguojamos pagal tai, kiek patikima apklausos organizacija ir ar jos rezultatai nuosekliai linkę į demokratų ar respublikonų pažiūras. Kruopštus apklausos duomenų gavimas ir dėmesys, kurį Silver skiria neapibrėžtumui, tradiciškai išskiria jį iš kitų prognozių. „FiveThirtyEight“ yra aukso standartas, sakė „Bitecofer“.

Iš pagrindinių kiekybinių rinkimų prognozių „FiveThirtyEight“ buvo konservatyviausias , suteikiant Clinton 71,4% galimybę laimėti rinkimų išvakarėse. Žvelgiant atgal, tai skamba dabar, sako Charlesas Franklinas: Trumpo pergalė buvo mažai tikėtinas, bet ne neįmanomas rezultatas.

Galiausiai, yra prognozuotojų, kurie visiškai vengia matematinių metodų, o pasikliaudami intuicijos, apklausos ir visų kitų modelių rezultatų deriniu. Šios kokybinės prognozės vykdomos vienu iš sudėtingiausių ir vis dėlto klaidų linkusių skaičiavimo variklių, apie kuriuos žinome: žmogaus smegenyse.

Kokybiniai prognozuotojai, o ne tikslūs skaitiniai įvertinimai, lenktynes ​​paprastai suskirsto į vieną iš keturių kategorijų skalėje nuo saugių iki paprastų.

Išmetimas reiškia, kad nėra mėgstamiausių: savotiškas monetos vartymas, sako Kyle'as Kondikas , Virdžinijos universiteto „Crystal Ball“ politinės analizės informacinio biuletenio kokybinė prognozuotoja. Lean, anot jo, yra mažas kraštas vienai ar kitai pusei. Tikėtina, kad vienos ar kitos pusės kraštas yra didesnis. O saugus, sako jis, reiškia, kad būtume šokiruoti, jei ta partija pralaimėtų. Kai kurie kokybiniai prognozuotojai teigia, kad šios žodinės grupės padeda skaitytojams geriau suprasti santykines tikimybes nei kitur siūlomi tikslesni skaičiai.

Nors šios prognozės gali atrodyti ne tokios moksliškos, nei tos, kurios pagrįstos labai dideliais skaičiais, kai kurios gali pasigirti įspūdingu tikslumo lygiu. Vidurinėje 2018 m. pagal trečiosios šalies kelių profesionalų prognozių vertinimą , tai buvo taikliai pavadintas Crystal Ball, o ne FiveThirtyEight statistinis algoritmas. Tačiau našumas svyruoja nuo ciklo iki ciklo: geriausia praktika, anot apklausų vykdytojų ir akademikų, yra naudoti įvairias prognozes – kokybines, kiekybines ir pagrindines.

Kas toliau?

Beveik visi prognozuotojai, su kuriais kalbėjausi, po 2016 m. rezultatų gavo vitriolio neapykantos laiškų. Vis dėlto dešimtys naujų modeliuotojų metė savo kepures 2020 m.

Šiemet jie pirmą kartą pateiks savo prognozes ir ketina išvengti klaidų iš praėjusių rinkimų ciklų. Morrisas, „The Economist“ prognozuotojas, yra vienas iš tų, kurie ateina į šią sritį. Jis pavadino ankstesnes, klaidų linkusias prognozes, melagingas žmonėms ir redakcines klaidas. Turėtume iš to pasimokyti, sako jis.

„The Economist“ sukurs savo algoritmą naudodamasi išorės organizacijų paskelbtomis apklausomis, tačiau ji taip pat atliks savo apklausas, kad patvirtintų dviprasmiškų valstybių ir rasių rezultatus, o Morrisas tikisi, kad tai gali padėti pasiekti didesnį tikslumą.

„Washington Post“ taip pat pirmą kartą lošia prognozes, tačiau pasirenka kitą kelią. Jis nedalyvaus prognozavimo žaidime, kol nepradės sugrįžti. Tik kai rinkimų dieną pirmosios apylinkės pradės skelbti balsų skaičių, paštas panaudos savo analitinį modelį, kad įvertintų tikimybę, kad konkretūs kandidatai paims tą valstiją ar rajoną, kuriam jie skirti. konkuruojančių. Laukdami, kol bus suskaičiuoti pirmieji balsavimo biuleteniai, „The Post“ duomenų mokslininkai planuoja drastiškai sumažinti likusių balsų skaičiaus klaidą, nors ir negalės paskelbti išankstinės prognozės.

Patyrę sinoptikai ir apklausų vykdytojai taip pat nesėdi ant rankų. Pagrindinių modelių kūrėjai pradeda priimti iššūkį – nuspėti rinkimų kolegiją, o ne tik populiarų balsavimą. „Bitecofer“ sukūrė modelį, pagrįstą visų pirma demografiniais duomenimis, kuris jau numato nedidelę demokratų varžovo pergalę rinkimuose, kad ir kas tai būtų.

Atrodo, kad šių probleminių kiekybinių algoritmų kūrėjai išmoko pamoką apie koreliuojančias klaidas tarp būsenų. „Huffington Post“ paskelbė a MEA culpa už 98% prognozę apie Clinton pergalę. Wang, vabzdžių valgytojas Prinstono profesorius, pažadėjo atnaujinti savo algoritmą, kad 2020 m. jis būtų daug mažiau pasitikintis savimi, prisipažino savo tinklaraštyje kad jo ankstesnis modelis buvo klaida.

Manoma, kad žirgų lenktynių rinkimai DIDINA CINIZMĄ... DĖL ŽMONĖS Į POLITIKĄ ŽIŪRĖTI KAIP ŽAIDIMĄ, KUR JIE IŠRADA IR UŽ KOMANDĄ.

Tuo tarpu kokybiniai prognozuotojai iš 2016 m. pasimokė įvairių. Yra daug skirtingų dalykų, į kuriuos žvelgdamas atgal, norėčiau, kad galbūt būtų susikoncentravę į šiek tiek daugiau, bet sakyčiau, kad pagrindais pagrįsti modeliai buvo geriausi. tų rinkimų, sako Virdžinijos universiteto Kondikas. Linkiu, kad mes visi juos labiau paisytume.

Kondikas ir kiti pabrėžia, kad reikia būti atsargiems dėl bet kokių prognozių, atsižvelgiant į istorinį dabartinio prezidento nepopuliarumą, kuris turėtų sumažinti jo galimybes, ir stiprią ekonomiką, kuri turėtų jas padidinti. Šie dvikovos veiksniai reiškia, kad lenktynės kol kas neaiškios iki rinkimų dienos.

Karstenas Petratas

Kitur žiniasklaidos organizacijos taip pat pradėjo teikti savo įverčius taip, kad skaitytojas galėtų geriau ir intuityviau suvokti, ką reiškia tikimybės. Pavyzdžiui, užuot rašę, kad demokratai turėjo 87,9 % galimybę užimti Atstovų rūmus per 2018 m. vidurio kadencijos rinkimus, FiveThirtyEight pabrėžė, kad galėjo tikėtis laimėti septynis kartus iš aštuonių.

Psichologai nustatė, kad žmonės geriau supranta tokius [skaičių] tipus, rašė Pensilvanijos universiteto komunikacijos profesorius Yphtachas Lelkesas.

Galiausiai, apklausų vykdytojai taip pat gerina savo žaidimą. Amerikos viešosios nuomonės tyrimų asociacija (AAPOR) paskelbė 2016 m. retrospektyvą su pamokomis būsimiems rinkimams. Patarimai apima statistinių gudrybių naudojimą siekiant užtikrinti, kad gyventojų imtys labiau reprezentuotų tiriamą valstiją, ir paskutinėmis kampanijos dienomis atlikti daugiau apklausų, kad būtų galima užfiksuoti vėlai apsispręsusių rinkėjų, kurie buvo tokie svarbūs Trumpo pergalei, polinkius.

Franklinas, Viskonsino apklausų vykdytojas, buvo vienas iš AAPOR pomirtinių tyrimų autorių. Dešimčių apklausų sistemingos nesėkmės keliose valstijose rodo, kad jo apklausos klaida įvyko dėl tikro pasikeitimo paskutinėmis lenktynių dienomis, o ne dėl ankstesnės, esminės klaidos. Vis dėlto jis svarsto, kas galėjo būti: kas būtų, jei būtume apklausę savaitgalį prieš rinkimus? Ar šiuose duomenyse būtume užfiksavę svyravimą Trumpo link?

Kvantinė apklausa

Tačiau nors prieš ketverius metus padarytas klaidas galima ištaisyti, 2020 m. cikle gali iškilti ir naujų sunkumų. Kai kuriuos netgi gali paskatinti pats prognozavimas. Kai kurie ekspertai teigia, kad rinkimų prognozės gali turėti įtakos tiems rezultatams, kuriuos jie bando numatyti.

TYRIMAI TEIGIA, KAD ŽMONĖS TIKI, KAD RINKIMŲ REZULTATAI TIKRAI, MAŽESNĖS tikimybės, kad jie balsuos.

Pasak a neseniai atliktas tyrimas 2016 m. didžioji liberali auditorija prisidėjo prie tų pernelyg pasitikinčių kiekybinių prognozių 2016 m. Anksčiau paskelbti tyrimai rodo, kad kai žmonės tiki, kad rinkimų rezultatai yra tikri, jie yra mažiau linkę balsuoti, ypač jei tikrumas yra jų pasirinkto naudai. kandidatas. Taigi, kreipiant dėmesį į vadinamąjį stebėtojo efektą, kai vien kažko stebėjimas pakeičia rezultatą, maitinimas itin demokratine auditorija nuolatine pernelyg pasitikinčia apklausa, tokia kaip Wang, galėjo žymiai sumažinti rinkėjų aktyvumą. Atsižvelgiant į tai, kad lenktynes ​​iš esmės nulėmė tik 107 000 balsų trijose valstijose, bet koks sumažinimas galėjo būti svarbus.

Clinton pralaimėjo tiek nedaug balsų, kad tikrai gali būti, kad tikimybinės prognozės privertė pakankamai demokratų likti namuose, kad tai paveikė rezultatą, rašė Lelkesas. Pati Clinton siūlė tiek pat. Nežinau, kaip mes kada nors suskaičiuosime, kiek žmonių manė, kad tai buvo maiše, nes procentai nuolat buvo metami žmonėms – „O, ji turi 88 procentus šansų laimėti!“ – sakė ji interviu žurnalui „New“ Jorko žurnalas.

Net jei rinkimų prognozės nepakeistų 2016 m. rezultatų, tai gali turėti daugiau įtakos būsimoms kampanijoms.

Manoma, kad žirgų lenktynių apklausos padidina politinį cinizmą, paveikia rinkėjų aktyvumą, padidina poliarizaciją ir greičiausiai išstumia informaciją apie esminius klausimus, rašė Lelkesas. Tai verčia žmones į politiką žiūrėti kaip į žaidimą, kuriame jie ima ir palaiko savo komandą, o ne remia kandidatus pagal jų politines pozicijas. Ir jei šie padariniai yra realūs, tikėtina, kad jie taps stipresni, kai atsiras daugiau prognozių.

Kai kurie prognozuotojai, pavyzdžiui, „Sidabras“, atmetė šį susirūpinimą. Jie teigia, kad ne jų darbas pasakyti žmonėms, ar balsuoti, ar ne, arba nurodyti žiniasklaidai, ką nušviesti. Tačiau kiti į Lelkės ir jo kolegų patarimus žiūri rimčiau.

Eksperimentuojame su būdais perteikti netikrumą, kuris neatstumtų žmonių [nuo balsavimo], sako „The Economist's Morris“. Bet aš manau, kad tai vis dar problema, su kuria susidurs prognozuotojai... Nežinau, kaip galime įveikti kai kurias mūsų darbo pasekmes visuomenei.

Robas Arthuras yra nepriklausomas žurnalistas ir duomenų mokslo konsultantas, įsikūręs Čikagoje.

paslėpti