Auditoriai išbando samdymo algoritmus, kad būtų išvengta šališkumo, tačiau nėra lengva pataisyti

AI auditas gali nepastebėti tam tikrų tipų šališkumo ir nebūtinai patikrina, ar samdymo įrankis atrenka geriausius kandidatus į darbą.

Simonas Simardas

pateikė

• Hilke Schellmann archyvo puslapis

2021 m. vasario 11 d

Aš namie žaidžiu vaizdo žaidimą savo kompiuteryje. Mano darbas yra pripumpuoti po vieną balioną ir uždirbti kuo daugiau pinigų. Kiekvieną kartą spustelėjus Pump balionas išsiplečia ir gaunu penkis virtualius centus. Bet jei balionas iššoks prieš paspaudžiant Collect, visos mano skaitmeninės pajamos dingsta.

Pripildęs 39 balionus uždirbau 14,40 USD. Ekrane pasirodo pranešimas: Didelės rizikos situacijose laikotės nuoseklaus požiūrio. Išmatuotas bruožas: rizika.

Šis žaidimas yra vienas iš serijų, kurias sukūrė bendrovė „Pymetrics“, kurią daugelis didelių JAV įmonių samdo, kad patikrintų kandidatus į darbą. Jei kreipsitės į McDonald's, Boston Consulting Group, Kraft Heinz ar Colgate-Palmolive, jūsų gali būti paprašyta žaisti Pymetrics žaidimus.

Kol aš žaidžiu, dirbtinio intelekto sistema matuoja tokius bruožus kaip dosnumas, sąžiningumas ir dėmesys. Jei iš tikrųjų kandidatuočiau į pareigas, sistema palygintų mano balus su jau dirbančių tą darbą darbuotojų balais. Jei mano asmenybės profilyje atsispindėtų bruožai, būdingiausi žmonėms, kuriems sekasi atlikti šį vaidmenį, aš pereičiau į kitą įdarbinimo etapą.

Vis daugiau įmonių naudoja dirbtiniu intelektu pagrįstus įdarbinimo įrankius, tokius kaip šios, siekdamos valdyti gaunamų paraiškų srautą, ypač dabar, kai JAV yra maždaug dvigubai daugiau bedarbių nei prieš pandemiją. Apklausa Turto valdymo įmonė „Mercer“ iš daugiau nei 7 300 žmogiškųjų išteklių vadovų visame pasaulyje nustatė, kad dalis, teigusių, kad jų skyrius naudoja nuspėjamąją analizę, šoktelėjo nuo 10 % 2016 m. iki 39 % 2020 m.

„Pymetrics“ pagrindinio produkto nuotraukos – 12 dirbtiniu intelektu pagrįstų žaidimų rinkinys, kuris, bendrovės teigimu, gali atpažinti kandidato į darbą socialines, pažintines ir emocines savybes.

PIMETRIKAS

Tačiau, kaip ir kitose AI programose, mokslininkai nustatė, kad kai kurie samdymo įrankiai gamina šališki rezultatai - pavyzdžiui, netyčia teikiant pirmenybę vyrams arba žmonėms iš tam tikrų socialinių ir ekonominių sluoksnių. Daugelis dabar pasisako už didesnį skaidrumą ir didesnį reglamentavimą. Vėl ir vėl siūlomas vienas sprendimas: AI auditas.

Praėjusiais metais Pymetrics sumokėjo kompiuterių mokslininkų komandai iš Šiaurės rytų universiteto, kad ji patikrintų jos samdymo algoritmą. Tai buvo vienas pirmųjų kartų, kai tokia įmonė paprašė trečiosios šalies atlikti savo įrankio auditą. Generalinė direktorė Frida Polli man pasakė, kad ji manė, kad ši patirtis galėtų būti pavyzdys, kaip laikomasi siūlomo įstatymo, reikalaujančio atlikti tokius auditus Niujorko, kur įsikūrusi Pymetrics, įmonėms.

„Pymetrics“ parduoda savo programinę įrangą kaip visiškai nešališką.

Tai, ką daro „Pymetrics“, įtraukdama į auditą neutralią trečiąją šalį, yra tikrai gera kryptis, kuria reikia judėti, sako Pauline Kim, teisės profesorė iš Vašingtono universiteto Sent Luise, turinti patirties darbo teisės ir dirbtinės teisės srityse. intelektas. Jei jie gali paskatinti pramonę padaryti skaidresnę, tai tikrai teigiamas žingsnis į priekį.

Vis dėlto, nepaisant viso AI audito dėmesio, jų gebėjimas iš tikrųjų aptikti ir apsaugoti nuo šališkumo lieka neįrodytas. Terminas AI auditas gali reikšti daugybę skirtingų dalykų, todėl apskritai sunku pasitikėti audito rezultatais. Griežčiausias auditas vis tiek gali būti apribotas. Ir net turint nevaržomą prieigą prie algoritmo ypatumų, gali būti stebėtinai sunku tiksliai pasakyti, ar jis sąžiningai elgiasi su pareiškėjais. Geriausiu atveju auditai pateikia neišsamų vaizdą, o blogiausiu atveju gali padėti įmonėms paslėpti problemines ar prieštaringas praktikas po auditoriaus patvirtinimo antspaudu.

AI audito viduje

Šiandien jau naudojama daugybė AI samdymo įrankių. Tai apima programinę įrangą, kuri analizuoja kandidato veido išraiškas, toną ir kalbą vaizdo pokalbių metu, taip pat programas, kurios nuskaito gyvenimo aprašymus, nuspėja asmenybę arba tiria kandidato veiklą socialinėje žiniasklaidoje.

Nepriklausomai nuo to, kokį įrankį parduoda, dirbtinio intelekto nuomos pardavėjai paprastai žada, kad šios technologijos suras geresnės kvalifikacijos ir įvairesnių kandidatų už mažesnę kainą ir per trumpesnį laiką nei tradiciniai personalo skyriai. Tačiau yra labai mažai įrodymų, kad jie tai daro, ir bet kuriuo atveju tai nebuvo tai, ko patikrino Pymetrics algoritmo AI auditas. Vietoj to buvo siekiama nustatyti, ar tam tikra įdarbinimo priemonė smarkiai diskriminuoja kandidatus dėl rasės ar lyties.

Christo Wilsonas iš Northeastern anksčiau kruopščiai nagrinėjo algoritmus, įskaitant tuos, kurie didinti „Uber“ kainas ir „Google“ paieškos sistemą . Tačiau kol Pymetrics nepaskambino, jis niekada nedirbo tiesiogiai su įmone, kurią tiria.

Wilsono komanda, kurią sudarė jo kolega Alanas Mislove'as ir du absolventai, rėmėsi Pymetrics duomenimis ir turėjo prieigą prie bendrovės duomenų mokslininkų. Auditoriai buvo redakciniu požiūriu nepriklausomi, tačiau sutiko pranešti Pymetrics apie visas neigiamas išvadas prieš paskelbiant. Bendrovė sumokėjo šiaurės rytams 104 465 USD per dotacija , įskaitant 64 813 USD, kurie buvo skirti Wilsono ir jo komandos atlyginimams.

Susijusi istorija

Suklastota pornografija gadina moterų gyvenimus. Dabar įstatymas pagaliau gali tai uždrausti.

Po daugelio metų aktyvistų, kovojančių už seksualinio smurto, pagrįsto įvaizdžiu, aukas, padirbinėjimai pagaliau priverčia įstatymų leidėjus atkreipti dėmesį.

Pagrindinis „Pymetrics“ produktas yra 12 žaidimų rinkinys, kurie, kaip teigiama, daugiausia yra pagrįsti pažinimo mokslo eksperimentai . Žaidimai nėra skirti laimėti ar pralaimėti; jie skirti atpažinti pareiškėjo pažintines, socialines ir emocines savybes, įskaitant toleranciją rizikai ir mokymosi gebėjimus. Pymetrics parduoda savo programinę įrangą kaip visiškai be šališkumo . Pymetrics ir Wilsonas nusprendė, kad auditoriai sutelks dėmesį į vieną konkretų klausimą: ar įmonės modeliai yra sąžiningi?

Sąžiningumo apibrėžimą jie grindė tuo, kas šnekamojoje kalboje vadinama keturių penktadalių taisykle, kuri Jungtinėse Valstijose tapo neoficialiu samdymo standartu. Lygių užimtumo galimybių komisija (EEOC) paskelbė gaires 1978 m teigia, kad įdarbinant turi būti atrenkama maždaug vienoda vyrų ir moterų bei skirtingų rasinių grupių žmonių dalis. Pagal keturių penktadalių taisyklę, Kim aiškina, jei vyrai 100% laiko pereina prie kito įdarbinimo proceso žingsnio, moterys turi pereiti bent 80% laiko.

Jei įmonės samdymo įrankiai pažeidžia keturių penktadalių taisyklę, EEOC gali atidžiau pažvelgti į savo praktiką. Darbdaviui tai nėra blogas patikrinimas, sako Kim. Jei darbdaviai įsitikins, kad šios priemonės nėra labai diskriminacinės, greičiausiai jie neatkreips federalinių reguliavimo institucijų dėmesio.

Norėdama išsiaiškinti, ar Pymetrics programinė įranga išvalė šią juostą, Šiaurės rytų komanda pirmiausia turėjo pabandyti suprasti, kaip įrankis veikia.

Kai naujas klientas prisiregistruoja prie Pymetrics, jis turi pasirinkti bent 50 darbuotojų, sėkmingai atlikusių pareigas, kurias jis nori atlikti. Šie darbuotojai žaidžia Pymetrics žaidimus, kad generuotų mokymo duomenis. Be to, „Pymetrics“ sistema lygina tų 50 darbuotojų duomenis su žaidimų duomenimis iš daugiau nei 10 000 žmonių, atsitiktinai atrinktų iš daugiau nei dviejų milijonų. Tada sistema sukuria modelį, kuris nustato ir išrikiuoja labiausiai sėkmingiems kliento darbuotojams būdingus įgūdžius.

Siekdama patikrinti, ar nėra šališkumo, „Pymetrics“ naudoja šį modelį, palyginti su kitu duomenų rinkiniu, sudarytu iš maždaug 12 000 žmonių (atsitiktinai atrinktų iš daugiau nei 500 000), kurie ne tik žaidė žaidimus, bet ir apklausoje atskleidė savo demografinius rodiklius. Idėja yra nustatyti, ar modelis išlaikytų keturių penktadalių testą, jei įvertintų šiuos 12 000 žmonių.

Jei sistema aptinka bet kokį šališkumą, ji sukuria ir išbando daugiau modelių, kol randa tokį, kuris numato sėkmę ir sukuria maždaug vienodus vyrų ir moterų bei visų rasinių grupių atstovų sėkmingumą. Teoriškai, net jei dauguma sėkmingų kliento darbuotojų yra baltieji vyrai, Pymetrics gali ištaisyti šališkumą palygindamas tų vyrų žaidimo duomenis su moterų ir žmonių iš kitų rasinių grupių duomenimis. Ji ieško duomenų taškų, numatančių bruožus, kurie nesusiję su rase ar lytimi, bet išskiria sėkmingus darbuotojus.

Christo Wilson iš Šiaurės rytų universiteto

SIMONAS SIMARDAS

Wilsonas ir jo auditorių komanda norėjo išsiaiškinti, ar Pymetrics šališkumo mažinimo mechanizmas iš tikrųjų apsaugo nuo šališkumo ir ar jį galima apgauti. Norėdami tai padaryti, jie iš esmės bandė žaisti sistemoje, pavyzdžiui, daug kartų dubliuodami žaidimo duomenis iš to paties baltojo žmogaus ir bandydami juos panaudoti modeliui sukurti. Rezultatas visada buvo tas pats: jų kodas yra tarsi išdėstytas ir duomenų mokslininkai naudoja šį įrankį, nebuvo akivaizdaus būdo, kaip juos iš esmės apgauti, kad jie pagamintų kažką neobjektyvaus ir tai išvalytų, sako Wilsonas.

Praėjusį rudenį auditoriai pasidalijo savo išvadomis su bendrove: „Pymetrics“ sistema atitinka keturių penktadalių taisyklę. Šiaurės rytų komanda neseniai paskelbė studija algoritmo internete ir kovo mėnesį pristatys pranešimą apie darbą algoritminės atskaitomybės konferencijoje FAccT.

Didžiulis dalykas yra tai, kad Pymetrics iš tikrųjų atlieka tikrai gerą darbą, sako Wilsonas.

Netobulas sprendimas

Tačiau nors „Pymetrics“ programinė įranga atitinka keturių penktadalių taisyklę, auditas neįrodė, kad įrankyje nėra jokio šališkumo ir kad jis iš tikrųjų atrenka labiausiai kvalifikuotus kandidatus bet kokiam darbui.

Iš tikrųjų atrodė, kad užduotas klausimas buvo labiau toks: „Ar Pymetrics daro tai, ką sako, kad daro?“, o ne „Ar jie elgiasi teisingai, ar teisingai?“, – sako Kornelio universiteto kompiuterių mokslų doktorantas Manishas Raghavanas. daug publikavo dirbtinio intelekto ir samdymo tema.

Iš tikrųjų atrodė, kad užduotas klausimas buvo labiau „Ar Pymetrics daro tai, ką sako, kad daro?“, o ne „Ar jie elgiasi teisingai, ar teisingai?

Pavyzdžiui, keturių penktadalių taisyklė reikalauja, kad skirtingų lyčių ir rasinių grupių žmonės pereitų į kitą įdarbinimo proceso etapą maždaug vienodais tarifais. Dirbtinio intelekto samdymo įrankis galėtų patenkinti šį reikalavimą ir vis tiek būtų nepaprastai nenuoseklus numatydamas, kaip skirtingų grupių žmonėms iš tikrųjų pavyks atlikti darbą, kai jie bus įdarbinti. Pavyzdžiui, jei įrankis tiksliau prognozuoja vyrų sėkmę nei moterims, tai reikš, kad ji iš tikrųjų nenustato geriausios kvalifikacijos moterų, todėl samdomos moterys gali būti ne tokios sėkmingos, sako Kim.

Kitas klausimas, kurio nesprendžia nei keturių penktadalių taisyklė, nei Pymetrics auditas, yra susikirtimas. Taisyklė lygina vyrus su moterimis ir vieną rasinę grupę su kita, kad sužinotų, ar jie išlaiko tokį patį rodiklį, bet nelygina, tarkime, baltųjų vyrų su Azijos vyrais ar juodaodėmis moterimis. Galite turėti ką nors, kas atitiktų keturių penktadalių taisyklę [vyrams prieš moteris], juodaodžiams prieš baltaodžius, tačiau tai gali užmaskuoti šališkumą juodaodžių moterų atžvilgiu, sako Kim.

„Pymetrics“ nėra vienintelė įmonė, kurios AI audituojamas. „HireVue“, kitas didelis dirbtinio intelekto samdymo programinės įrangos pardavėjas, įmonei „O'Neil Risk Consulting and Algorithmic Auditing“ (ORCAA) įvertino vieną iš savo algoritmų. Ši įmonė priklauso Cathy O'Neil, duomenų mokslininkei ir autorei Matematikos naikinimo ginklai, viena iš populiariausių knygų apie DI šališkumą, kuri daugelį metų pasisakė už AI auditą.

ORCAA ir HireVue savo auditą sutelkė į vieną produktą: „HireVue“ samdymo vertinimus, kuriuos daugelis įmonių naudoja vertindamos neseniai baigusius koledžus. Šiuo atveju ORCAA neįvertino paties įrankio techninio projekto. Vietoj to, įmonė apklausė suinteresuotąsias šalis (įskaitant kandidatą į darbą, AI etiką ir keletą ne pelno organizacijų) apie galimas su įrankiais susijusias problemas ir pateikė „HireVue“ rekomendacijas, kaip jas patobulinti. Galutinė ataskaita paskelbta „HireVue“ svetainėje, tačiau ją galima perskaityti tik pasirašius neatskleidimo susitarimą.

Alexas Engleris, Brookings instituto bendradarbis, studijavęs dirbtinio intelekto samdymo įrankius ir susipažinęs su abiem auditais, mano, kad Pymetrics's yra geresnis: labai skiriasi įgalintos analizės gylis, sako jis. Tačiau dar kartą nė vienas auditas nenagrinėjo, ar produktai tikrai padeda įmonėms geriau pasirinkti samdyti. Ir abu buvo finansuojami audituojamų įmonių, o tai sukuria šiokią tokią riziką, kad auditorius gali paveikti tai, kad tai yra klientas, sako Kim.

Dėl šių priežasčių, pasak kritikų, neužtenka savanoriško audito. Duomenų mokslininkai ir atskaitomybės ekspertai dabar siekia platesnio AI samdymo įrankių reguliavimo ir jų audito standartų.

Spragų užpildymas

Kai kurios iš šių priemonių pradeda populiarėti JAV. 2019 m. senatoriai Cory Bookeris ir Ronas Wydenas bei atstovė Yvette Clarke pristatė Algoritminės atskaitomybės įstatymas padaryti šališkumo auditą privalomą visoms didelėms įmonėms, naudojančioms dirbtinį intelektą, nors įstatymo projektas nebuvo ratifikuotas.

Tuo tarpu valstybės lygmeniu vyksta tam tikras judėjimas. The AI vaizdo interviu įstatymas Ilinojaus valstijoje, kuri įsigaliojo 2020 m. sausio mėn., reikalaujama, kad įmonės praneštų kandidatams, kai jie naudoja AI vaizdo pokalbiuose. Miestai taip pat imasi veiksmų – Los Andžele pasiūlė miesto tarybos narys Joe Buscaino sąžiningas įdarbinimo pasiūlymas automatizuotoms sistemoms lapkričio mėn.

The Niujorko sąskaita ypač galėtų būti pavyzdys miestams ir valstijoms visoje šalyje. Dėl to automatinių samdymo įrankių pardavėjai privalo atlikti metinius auditus. Taip pat reikėtų, kad įmonės, kurios naudotų priemones, kad praneštų pareiškėjams, kokias charakteristikas naudojo jų sistema priimdama sprendimą.

Tačiau klausimas, kaip tie metiniai auditai atrodytų iš tikrųjų, lieka atviras. Daugelio ekspertų nuomone, auditas pagal tai, ką padarė Pymetrics, nebūtų labai toli siekiant nustatyti, ar šios sistemos yra diskriminacinės, nes atliekant šį auditą nebuvo patikrintas susikirtimas ir neįvertintas įrankio gebėjimas tiksliai išmatuoti bruožus, kuriuos jis teigia matuojantis. skirtingų rasių ir lyčių žmonės.

Ir daugelis kritikų norėtų, kad auditą atliktų valdžia, o ne privačios įmonės, kad būtų išvengta interesų konflikto. Turėtų būti prevencinis reguliavimas, kad prieš naudojant bet kurią iš šių sistemų Lygių užimtumo galimybių komisija turėtų ją peržiūrėti ir tada licencijuoti, sako Frankas Pasquale'as, Bruklino teisės mokyklos profesorius ir algoritminės atskaitomybės ekspertas. Jis turi omenyje išankstinį algoritminių samdymo įrankių patvirtinimo procesą, panašų į tai, ką Maisto ir vaistų administracija naudoja su vaistais.

Iki šiol EEOC net nepateikė aiškių gairių dėl jau naudojamų samdymo algoritmų. Tačiau viskas gali greitai pradėti keistis. Gruodžio, 10 senatorių išsiuntė laišką EEOC, kuriame klausė, ar ji turi įgaliojimus pradėti kontroliuoti dirbtinio intelekto samdymo sistemas, kad būtų užkirstas kelias spalvotųjų žmonių, kurie jau buvo neproporcingai paveikti dėl darbo praradimo pandemijos metu, diskriminacijos.