Išbandėme AI interviu įrankius. Štai ką mes radome.

Praėjus daugiau nei metams nuo COVID-19 pandemijos, milijonai žmonių ieško darbo Jungtinėse Valstijose. Teigiama, kad dirbtinio intelekto pagrindu sukurta interviu programinė įranga padeda darbdaviams peržiūrėti programas, kad surastų geriausius žmones šiam darbui. Pranešė įmonės, kurios specializuojasi šioje technologijoje verslo antplūdis pandemijos metu.

Tačiau didėjant šių technologijų paklausai, auga klausimų apie jų tikslumą ir patikimumą . Naujausioje „MIT Technology Review“ podcast'o „In Machines We Trust“ serijoje išbandėme dviejų įmonių, besispecializuojančių dirbtinio intelekto darbo pokalbiuose, programinę įrangą, Mano Interviu ir Įdomus dalykas . Mes nustatėme prognozes ir darbo atitikimo balus, kurie kelia susirūpinimą dėl to, ką tiksliai šie algoritmai vertina.

Pradedu tave pažinti

„MyInterview“ įvertina „Big Five“ asmenybės testo, psichometrinio vertinimo, dažnai naudojamo įdarbinimo procese, bruožus. Šie bruožai apima atvirumą, sąžiningumą, ekstravertiškumą, malonumą ir emocinį stabilumą. Curious Thing taip pat matuoja su asmenybe susijusius bruožus, tačiau vietoj didžiojo penketo kandidatai vertinami pagal kitus rodiklius, pavyzdžiui, nuolankumą ir atsparumą.

Šioje ekrano kopijoje rodomas mūsų kandidato rungtynių rezultatas ir asmenybės analizė „MyInterview“, atsakius į visus interviu klausimus vokiečių, o ne anglų kalba.

HELKE ŠELMANAS

Algoritmai analizuoja kandidatų atsakymus, kad nustatytų asmenybės bruožus. „MyInterview“ taip pat kaupia balus, rodančius, kaip kandidatas atitinka savybes, kurias samdantys vadovai nustatė kaip idealias šiai pozicijai.

Norėdami užbaigti testus, pirmiausia nustatome programinę įrangą. „MyInterview“ ir „Curious Thing“ įkėlėme netikrą darbo skelbimą biuro administratoriui / tyrėjui. Tada mes sukūrėme savo idealų kandidatą, pasirinkdami su asmenybe susijusius bruožus, kai to paskatino sistema.

„MyInterview“ pasirinkome tokias savybes kaip dėmesys detalėms ir suskirstėme jas pagal svarbą. Taip pat atrinkome interviu klausimus, kurie rodomi ekrane, kol kandidatas įrašo vaizdo atsakymus. „Curious Thing“ pasirinkome tokias savybes kaip nuolankumas, gebėjimas prisitaikyti ir atsparumas.

Viena iš mūsų, Hilke, padavė paraišką užimti šią poziciją ir baigė interviu dėl vaidmens tiek „MyInterview“, tiek „Curious Thing“.

Mūsų kandidatas baigė pokalbį telefonu su Curious Thing. Pirmiausia ji dalyvavo eiliniame darbo pokalbyje ir gavo 8,5 balo iš 9 už anglų kalbos žinias. Antruoju bandymu automatizuotas pašnekovas uždavė tuos pačius klausimus ir į kiekvieną atsakė skaitydama Vikipedijos psichometrikos įrašą vokiečių kalba.

Tačiau Curious Thing už anglų kalbos žinias jai skyrė 6 balus iš 9. Ji vėl baigė pokalbį ir gavo tą patį balą.

Ekrano kopijoje rodomas mūsų kandidatės anglų kalbos kompetencijos balas Curious Thing programinėje įrangoje po to, kai ji atsakė į visus klausimus vokiškai.

HELKE ŠELMANAS

Mūsų kandidatas kreipėsi į „MyInterview“ ir pakartojo eksperimentą. Ji garsiai perskaitė tą patį Vikipedijos įrašą vokiečių kalba. Algoritmas ne tik grąžino asmenybės įvertinimą, bet ir numatė, kad mūsų kandidatė 73 % atitiks netikrą darbą, todėl ji atsidūrė tarp visų kandidatų, į kuriuos prašėme kandidatuoti.

„MyInterview“ teikia samdomiems vadovams jų pokalbių stenogramą. Kai apžiūrėjome savo kandidatės nuorašą, nustatėme, kad sistema jos vokiškus žodžius interpretavo kaip angliškus žodžius. Tačiau nuorašas neturėjo jokios prasmės. Kelios pirmosios eilutės, atitinkančios aukščiau pateiktą atsakymą, yra tokios:

|_+_|

Neatitinka

Užuot įvertinęs mūsų kandidatę pagal jos atsakymų turinį, algoritmas iš jos balso ištraukė asmenybės bruožus. Kleitonas Donelis , pramonės ir organizacijų psichologė, dirbanti su MyInterview.

Tačiau intonacija nėra patikimas asmenybės bruožų rodiklis, sako Fredas Osvaldas , pramoninės organizacinės psichologijos profesorius Ryžių universitetas . Mes tikrai negalime naudoti intonacijos kaip duomenų samdymui, sako jis. Tai tiesiog neatrodo teisinga, patikima ar pagrįsta.

Atvirojo tipo klausimų naudojimas asmenybės bruožams nustatyti taip pat kelia didelių iššūkių, net kai (o gal ypač kai) šis procesas yra automatizuotas. Štai kodėl daugelis asmenybės testų, tokių kaip Didysis penketas, suteikia žmonėms galimybę rinktis.

Esmė ta, kad asmenybę sunku išskirti šia atvira prasme, sako Osvaldas. Yra galimybių dirbtinio intelekto ar algoritmų ir klausimų uždavimo būdui struktūrizuoti ir standartizuoti. Tačiau nemanau, kad mes būtinai turime duomenų, konstrukcijų, suteikiančių mums duomenis, atžvilgiu.

„Curious Thing“ įkūrėjas ir vyriausiasis technologijų pareigūnas, Han Xu , atsakė į mūsų išvadas el. laiške, sakydamas: „Tai pirmas kartas, kai mūsų sistema bandoma vokiečių kalba, todėl tai yra labai vertingas duomenų taškas, kurį turime ištirti ir pažiūrėti, ar jis ką nors atskleidžia mūsų sistemoje.

Šališkumo paradoksas

Dirbtinio intelekto pokalbių rezultatai dažnai nėra vienintelė metrika, kurią potencialūs darbdaviai naudoja kandidatui įvertinti. Ir šios sistemos iš tikrųjų gali sumažinti šališkumą ir rasti geresnių kandidatų nei žmonės interviuotojai. Tačiau daugelis šių įrankių nėra išbandomi nepriklausomai, o juos sukūrusios įmonės nenori dalytis informacija apie tai, kaip jos veikia, todėl kandidatams ar darbdaviams sunku žinoti, ar algoritmai yra tikslūs ir kokią įtaką jie turėtų turėti samdant. sprendimus.

Markas Grėjus , kuris dirba Danijos nekilnojamojo turto valdymo platformoje Tinkamas , pradėjo naudoti AI vaizdo interviu anksčiau dirbdamas žmogiškųjų išteklių srityje elektronikos įmonėje Airtame . Jis sako, kad iš pradžių įtraukė programinę įrangą, kurią pagamino Vokietijos įmonė Retorika , į pokalbius, kad padėtų sumažinti žmonių šališkumą, kuris dažnai atsiranda, kai samdantys vadovai kalbasi su kandidatais.

Nors Grėjus nepriima sprendimų dėl samdymo vien tik Retorio vertinimu, kuris taip pat remiasi Didžiojo penketo bruožais, rinkdamasis kandidatus jis atsižvelgia į tai kaip į vieną iš daugelio duomenų. Nemanau, kad sugalvojus, kaip pasamdyti tinkamą žmogų, tai nėra lengvas dalykas, sako jis.

Įprastą Grėjaus įdarbinimo procesą sudaro atrankos skambutis ir Retorio interviu, kuriame jis kviečia dalyvauti daugumą kandidatų, neatsižvelgiant į tai, kokį įspūdį jie padarė per atranką. Tada sėkmingi kandidatai pereis į darbo įgūdžių testą, po kurio vyks tiesioginis pokalbis su kitais komandos nariais.

Susijusi istorija

„LinkedIn“ darbo suderinimo AI buvo šališkas. Įmonės sprendimas? Daugiau AI.

„ZipRecruiter“, „CareerBuilder“, „LinkedIn“ – dauguma didžiausių pasaulyje darbo paieškos svetainių naudoja dirbtinį intelektą, siekdamos suderinti žmones su laisvomis darbo vietomis. Tačiau algoritmai ne visada veikia sąžiningai.

Laikui bėgant tokie produktai kaip „Retorio“ ir pats „Retorio“ turėtų jį naudoti kiekviena įmonė, nes tai tiesiog suteikia tiek daug įžvalgos, sako Grėjus. Nors AI srityje apskritai yra tam tikrų klaustukų ir prieštaravimų, manau, kad didesnis klausimas yra, ar mes geriau ar blogiau vertiname charakterį?

Gray pripažįsta kritiką, susijusią su AI interviu įrankiais. An tyrimą vasario mėnesį paskelbė Bavarijos visuomeninis transliuotojas nustatė, kad Retorio algoritmas skirtingai vertino kandidatus, kai jie pokalbio metu naudojo skirtingą vaizdo įrašų foną ir priedus, pvz., akinius.

„Retorio“ įkūrėjas ir generalinis direktorius, Christopheris Hohenbergeris , sako, kad nors jis ir nežino žurnalistų testavimo metodų specifikos, bendrovė neketina, kad jos programinė įranga būtų lemiamas veiksnys samdant kandidatus. Mes esame pagalbinė priemonė, kuri praktiškai naudojama ir kartu su žmonėmis iš kitos pusės. Tai nėra automatinis filtras, sako jis.

Vis dėlto darbo ieškantiems asmenims, bandantiems naudotis šiais įrankiais, statymas yra toks didelis, kad tikrai reikia būti atsargesniam. Galų gale, daugeliui užimtumo užtikrinimas nėra vien tik naujas iššūkis ar aplinka – darbo paieška yra labai svarbi jų ekonominiam išlikimui.

paslėpti