Programinė įranga, kuri stebi studentus testų metu, išlaiko nelygybę ir pažeidžia jų privatumą

Iris Wang nuotrauka svetainėje Unsplash

Koronaviruso pandemija buvo palaima bandymų rinkimo pramonei. Maždaug pusšimtis JAV kompanijų tvirtina, kad jų programinė įranga gali tiksliai aptikti ir užkirsti kelią sukčiavimui atliekant internetinius testus. Egzaminas , HonorLock , Proctorio , ProctorU , Atsakymas o kiti sparčiai išaugo, kol kolegijos ir universitetai perėjo į nuotolines klases.

Nors oficialios sumos nėra, galima sakyti, kad kiekvieną mėnesį visame pasaulyje atliekami milijonai algoritmiškai kontroliuojamų testų. Proctorio pasakojo „New York Times“. gegužę šis verslas per pirmuosius kelis pandemijos mėnesius išaugo 900 % ir vien per balandį bendrovė visame pasaulyje atliko 2,5 mln.

Esu universiteto bibliotekininkė ir iš arti mačiau šių sistemų poveikį. Mano darbdavys Kolorado Denverio universitetas turi sutartį su Proctorio.

Man tapo aišku, kad algoritminis tikrinimas yra moderni stebėjimo technologija, kuri sustiprina baltųjų viršenybę, seksizmą, gebėjimą ir transfobiją. Šių priemonių naudojimas yra mokinių privatumo pažeidimas ir dažnai pilietinių teisių pažeidimas.

Jei esate studentas, atliekantis algoritminį testą, tai veikia taip: kai pradedate, programinė įranga pradeda įrašyti jūsų kompiuterio kamerą, garsą ir lankomas svetaines. Jis matuoja jūsų kūną ir stebi jus per visą egzamino laiką, sekdamas jūsų judesius, kad nustatytų, koks elgesys laikomas sukčiavimu. Jei padarysite ką nors, ką programinė įranga laiko įtartinu, ji įspės jūsų profesorių, kad peržiūrėtų įrašą, ir pateiks spalvomis pažymėtą jūsų akademinio nusižengimo tikimybę.

Priklausomai nuo to, kuri įmonė sukūrė programinę įrangą, ji naudos tam tikrą mašininio mokymosi, AI ir biometrinių duomenų derinį (įskaitant veido atpažinimą, veido aptikimą ar akių stebėjimą). Problema ta, kad veido atpažinimas ir aptikimas pasitvirtino rasistinis , seksistinis , ir transfobiškas baigta , ir baigta , ir baigta vėl.

Apskritai technologija turi a struktūrinės priespaudos stiprinimo modelis Kaip rasizmas ir seksizmas . Dabar tie patys šališkumas rodomas testavimo programinėje įrangoje, kuri neproporcingai kenkia marginalizuotiems studentams.

Viena juodaodė mano universitete kartą man pasakė, kad kai ji naudojo „Proctorio“ bandomąją proktoriaus programinę įrangą, ji visada paskatindavo ją labiau apšviesti veidą. Programinė įranga negalėjo patvirtinti jos tapatybės ir jai taip dažnai buvo neleidžiama atlikti testų, kad ji turėjo kreiptis į savo profesorių ir susitarti dėl kitų priemonių. Jos baltieji bendraamžiai niekada neturėjo šios problemos.

Panašios diskriminacijos rūšys gali nutikti, jei studentas yra translytis arba ne dvejetainis. Bet jei esate baltasis cis (kaip ir dauguma kūrėjų, kuriančių veido atpažinimo programinę įrangą), jums tikriausiai viskas bus gerai.

Dėl šių sistemų baudžiami ir studentai su vaikais. Jei kada nors bandėte atsakyti į el. laiškus rūpindamiesi vaikais, žinote, kaip gali būti net kelias minutes nepertraukiamai praleisti prie kompiuterio. Tačiau kelios apsaugos programos paženklins triukšmus patalpoje arba visus, kurie palieka kameros vaizdą, kaip niekšingą. Tai reiškia, kad studentai, turintys sveikatos sutrikimų, kurie turi dažnai naudotis vonios kambariu arba leisti vaistus, būtų laikomi panašiai įtariamais.

Be visų būdų, kuriais apsaugos programinė įranga gali diskriminuoti studentus, algoritminis saugojimas taip pat yra reikšmingas privatumo pažeidimas. Šie gaminiai filmuoja studentus jų namuose ir dažnai reikalauja, kad jie nuskaitytų kambarį, o tai reiškia, kad fotoaparatas turi parodyti aplinką. Daugeliu atvejų dėstytojai gali bet kada pasiekti savo studentų įrašus ir netgi atsisiųsti šiuos įrašus į savo asmeninius įrenginius. Jie taip pat gali matyti kiekvieno mokinio vietą pagal jų IP adresą.

Privatumas yra svarbiausias tokiems bibliotekininkams kaip aš, nes lankytojai pasitiki mums savo duomenimis. Po rugsėjo 11 d., kai Patriotų aktas įgaliojo JAV Tėvynės saugumo departamentą prieiti prie bibliotekos lankytojų įrašų Ieškodami teroristų, daugelis bibliotekininkų pradėjo naudoti programinę įrangą, kuri ištrynė globėjo įrašą, kai knyga buvo grąžinta. Produktai, kurie pažeidžia žmonių privatumą ir juos diskriminuoja, prieštarauja man profesinis etosas , ir labai neramu, kai tokius produktus noriai priima aukštosios mokyklos.

Šis uolumas būtų šiek tiek labiau suprantamas, jei būtų kokių nors įrodymų, kad šios programos iš tikrųjų padarė tai, ką teigia. Mano žiniomis, nėra nė vieno recenzuoto ar kontroliuojamo tyrimo, kuris parodytų, kad apsaugos programinė įranga veiksmingai aptinka arba užkerta kelią sukčiavimui. Atsižvelgiant į tai, kad universitetai didžiuojasi priimdami įrodymais pagrįstus sprendimus, tai yra akivaizdi priežiūra.

Laimei, vyksta judėjimai uždrausti apsaugos programinę įrangą ir uždrausti veidų atpažinimo technologijas miesteliuose , taip pat Kongreso vekseliai uždrausti JAV federalinei vyriausybei naudoti veido atpažinimą. Tačiau net jei veido atpažinimo technologija būtų uždrausta, proktoriaus programinė įranga vis tiek galėtų egzistuoti kaip programa, sekanti mokinių akių ir kūno judesius. Nors tai gali būti mažiau rasistiška, taip būtų vis dar diskriminuoja prieš žmones su negalia, krūtimi maitinančius tėvus ir žmones, kuriems būdingi neuroatipiniai sutrikimai. Šių produktų negalima pertvarkyti; jų reikėtų atsisakyti.

Sukčiavimas nekelia grėsmės visuomenei, kuria patikėtumėte testus vykdančios įmonės. Tai nesumenkina laipsnių vertės ir nesumenkina institucijos reputacijos, o studentai nesistengia apgauti savo kelią tapti jūsų chirurgu . Technologijos nesugalvojo sąlygų sukčiavimui ir nebus tai, kas tai sustabdys. Geriausias dalykas, kurį galime padaryti aukštajame moksle, yra pradėti nuo radikalios idėjos pasitikintys studentai . Pasirinkime užuojautą, o ne stebėjimą.

Shea Swauger yra akademinis bibliotekininkas ir Kolorado Denverio universiteto mokslininkas.

paslėpti