211service.com
AI negali numatyti, kaip susiklostys vaiko gyvenimas, net ir turėdamas daugybę duomenų
SHARON MCCUTCHEON / UNSPLASH
Politikos formuotojai dažnai remiasi socialinių mokslininkų darbu, kad nuspėtų, kaip konkrečios politikos kryptys gali turėti įtakos socialiniams rezultatams, pavyzdžiui, užimtumui ar nusikalstamumui. Idėja yra ta, kad jei jie gali suprasti, kaip skirtingi veiksniai gali pakeisti kažkieno gyvenimo trajektoriją, jie gali pasiūlyti intervencijas, kad būtų pasiekti geriausi rezultatai.
Tačiau pastaraisiais metais jie vis labiau pasitikėjo mašininiu mokymusi, kuris žada pateikti daug tikslesnes prognozes, surinkdamas daug didesnį duomenų kiekį. Tokie modeliai dabar naudojami numatant tikimybę, kad kaltinamasis gali būti suimtas už antrąjį nusikaltimą arba kad vaikui gresia pavojus už prievartą ir nepriežiūrą namuose. Daroma prielaida, kad algoritmas, aprūpintas pakankamai duomenų apie tam tikrą situaciją, padarys tikslesnes prognozes, nei atliekant žmogiškąją ar paprastesnę statistinę analizę.
Dabar a naujas tyrimas paskelbtas leidinyje Proceedings of the National Academy of Sciences, verčia abejoti, koks iš tikrųjų toks metodas yra veiksmingas. Trys Prinstono universiteto sociologai paprašė šimtų tyrėjų numatyti šešis vaikų, tėvų ir namų ūkių gyvenimo rezultatus, naudojant beveik 13 000 duomenų taškų apie 4 000 šeimų. Nė vienas iš tyrėjų net nepriartėjo prie pagrįsto tikslumo lygio, nepaisant to, ar jie naudojo paprastą statistiką, ar pažangiausią mašininį mokymąsi.
Tyrimas iš tikrųjų pabrėžia mintį, kad galų gale mašininio mokymosi įrankiai nėra magija, sako Alice Xiang, ne pelno siekiančios AI partnerystės sąžiningumo ir atskaitomybės tyrimų vadovė.
Tyrėjai naudojo duomenis iš 15 metų trukusio sociologijos tyrimo, vadinamo Trapių šeimų ir vaikų gerovės tyrimas , vadovaujama Sara McLanahan, Prinstono sociologijos ir viešųjų reikalų profesorės ir vienos iš pagrindinių naujojo straipsnio autorių. Pradiniu tyrimu buvo siekiama suprasti, kaip laikui bėgant gali susiklostyti nesusituokusių tėvų gimusių vaikų gyvenimas. Šeimos buvo atsitiktinai atrinktos iš vaikų, gimusių didžiųjų JAV miestų ligoninėse 2000 metais. Jos buvo stebimos renkant duomenis, kai vaikams buvo 1, 3, 5, 9 ir 15 metų.
McLanahan ir jos kolegos Matthew Salganik ir Ian Lundberg tada sukūrė iššūkį, kad galutiniame etape būtų galima numatyti šešis rezultatus, kuriuos jie laikė sociologiškai svarbiais. Tai apėmė vaikų pažymių vidurkį mokykloje; jų nuoširdumo lygis arba atkaklumas mokykloje; ir bendras skurdo lygis jų namų ūkyje. Iššūkio dalyviams iš įvairių universitetų buvo suteikta tik dalis duomenų, kad galėtų išmokyti jų algoritmus, o organizatoriai sulaikė dalį galutinių vertinimų. Per penkis mėnesius šimtai tyrėjų, įskaitant kompiuterių mokslininkus, statistikus ir skaičiavimo sociologus, pateikė geriausius prognozavimo metodus.
Tai, kad nė viename pateikime nepavyko pasiekti didelio tikslumo nė vieno iš rezultatų, patvirtino, kad rezultatai nebuvo atsitiktinumas. Negalite to paaiškinti remdamiesi kokio nors konkretaus tyrėjo ar konkrečių mašininio mokymosi ar AI metodų nesėkme, sako sociologijos profesorius Salganikas. Sudėtingiausi mašininio mokymosi metodai taip pat nebuvo daug tikslesni nei daug paprastesni metodai.
Ekspertų, tyrinėjančių AI naudojimą visuomenėje, rezultatai nėra tokie stebinantys. Pavyzdžiui, net tiksliausi rizikos vertinimo algoritmai baudžiamojo teisingumo sistemoje pasiekia 60% arba 70%, sako Xiang. Galbūt abstrakčiai tai skamba šiek tiek gerai, priduria ji, bet vis tiek pakartotinių nusikaltimų lygis gali būti mažesnis nei 40 proc. Tai reiškia, kad numačius, kad nebus pakartotinių nusikaltimų, tikslumas jau bus didesnis nei 60%.
Taip pat tyrimai ne kartą parodė, kad kontekstuose, kuriuose algoritmas įvertina riziką arba pasirenka, kur nukreipti išteklius, paprasti, paaiškinami algoritmai dažnai turi beveik tokią pat numatymo galią kaip juodosios dėžės metodai, tokie kaip gilusis mokymasis. Taigi papildoma juodosios dėžės metodų nauda nėra verta didelių aiškinamumo išlaidų.
Rezultatai nebūtinai reiškia, kad nuspėjamieji algoritmai, pagrįsti mašininiu mokymusi ar ne, niekada nebus naudingi įrankiai politikos pasaulyje. Kai kurie mokslininkai nurodo, kad, pavyzdžiui, sociologijos tyrimų tikslais surinkti duomenys skiriasi nuo duomenų, kurie paprastai analizuojami formuojant politiką.
Rashida Richardson, instituto „AI Now“, tiriančio socialinį AI poveikį, politikos direktorė, taip pat atkreipia dėmesį į susirūpinimą dėl to, kaip buvo suformuluota prognozavimo problema. Pavyzdžiui, tai, ar vaikas turi kruopštumą, yra iš esmės subjektyvus sprendimas, kuris, kaip parodė tyrimai, yra rasistinis konstruktas, skirtas įvertinti sėkmę ir rezultatus, sako ji. Detalė iškart paskatino ją pagalvoti: oi, tai niekaip nepavyks.
Salganikas taip pat pripažįsta tyrimo apribojimus.
Tačiau jis pabrėžia, kad tai parodo, kodėl politikos formuotojai turėtų būti atsargesni skaidriai vertindami algoritminių įrankių tikslumą. Jis priduria, kad didelis duomenų kiekis ir sudėtingas mašinų mokymasis negarantuoja tikslios prognozės. Politikos formuotojai, kurie neturi tiek daug patirties dirbant su mašininiu mokymusi, gali turėti nerealių lūkesčių dėl to.
Jei norite, kad daugiau tokių istorijų būtų pristatyta tiesiai į jūsų pašto dėžutę, užsiprenumeruokite Webby nominuotą AI informacinį biuletenį The Algorithm. Tai nemokama.