NYCs anti-bias-lov for ansettelsesalgoritmer trer i kraft
Etter måneder med forsinkelser begynte New York City i dag å håndheve en lov som krever at arbeidsgivere bruker algoritmer for å rekruttere, ansette eller promotere ansatte til å sende inn disse algoritmene for en uavhengig revisjon – og offentliggjøre resultatene. Den første av sitt slag i landet, lovgivningen – New York City Local Law 144 – gir også mandat til at selskaper som bruker denne typen algoritmer, skal avsløre ansatte eller jobbkandidater.
Rapportene selskapene må offentliggjøre må som et minimum liste opp algoritmene de bruker, samt en “gjennomsnittlig poengsum” som kandidater av forskjellige raser, etnisiteter og kjønn sannsynligvis vil motta fra de nevnte algoritmene – i form av en poengsum , klassifisering eller anbefaling. Den må også liste opp algoritmenes «impact ratios», som loven definerer som gjennomsnittlig algoritmegitt poengsum for alle personer i en bestemt kategori (f.eks. svarte mannlige kandidater) delt på gjennomsnittlig poengsum til personer i kategorien med høyest score.
Selskaper som ikke er i samsvar vil møte bøter på $375 for et første brudd, $1350 for et andre brudd og $1500 for et tredje og eventuelle påfølgende brudd. Hver dag et selskap bruker en algoritme i strid med loven, vil det utgjøre et separat brudd – og det samme vil unnlate å gi tilstrekkelig avsløring.
Viktigere er at omfanget av lokal lov 144, som ble godkjent av bystyret og vil bli håndhevet av NYC Department of Consumer and Worker Protection, strekker seg utover NYC-baserte arbeidere. Så lenge en person utfører eller søker på en jobb i byen, er de kvalifisert for beskyttelse i henhold til den nye loven.
Mange ser det som forsinket. Khyati Sundaram, administrerende direktør for Applied, en leverandør av rekrutteringsteknologi, påpekte at spesielt rekrutterings-AI har potensialet til å forsterke eksisterende skjevheter – noe som forverrer både sysselsetting og lønnsforskjeller i prosessen.
“Arbeidsgivere bør unngå bruk av AI for uavhengig å score eller rangere kandidater,” sa Sundaram til TechCrunch via e-post. “Vi er ennå ikke på et sted hvor algoritmer kan eller bør stoles på for å ta disse avgjørelsene på egenhånd uten å speile og opprettholde skjevheter som allerede eksisterer i arbeidsverdenen.”
Man trenger ikke se langt etter bevis på skjevhet som siver inn i ansettelsesalgoritmer. Amazon skrotet en rekrutteringsmotor i 2018 etter at den ble funnet å diskriminere kvinnelige kandidater. Og en akademisk studie fra 2019 viste AI-aktivert anti-svart skjevhet i rekruttering.
Andre steder har det blitt funnet algoritmer for å tildele jobbkandidater forskjellige poengsummer basert på kriterier som om de bruker briller eller hodeskjerf; straffe søkere for å ha et svart-klingende navn, nevne en kvinneskole eller sende inn CV-en ved hjelp av visse filtyper; og vanskeliggjøre mennesker som har en fysisk funksjonshemming som begrenser deres evne til å samhandle med et tastatur.
Skjevhetene kan løpe dypt. En studie fra oktober 2022 fra University of Cambridge antyder at AI-selskapene som hevder å tilby objektive, meritokratiske vurderinger er falske, og antyder at anti-bias-tiltak for å fjerne kjønn og rase er ineffektive fordi den ideelle ansatte er historisk påvirket av deres kjønn og rase.
Men risikoen bremser ikke adopsjonen. Nesten én av fire organisasjoner bruker allerede AI for å støtte ansettelsesprosessene deres, ifølge en undersøkelse fra februar 2022 fra Society for Human Resource Management. Andelen er enda høyere – 42% – blant arbeidsgivere med 5000 eller flere ansatte.
Så hvilke former for algoritmer bruker arbeidsgivere, nøyaktig? Det varierer. Noen av de mer vanlige er tekstanalysatorer som sorterer CVer og følgebrev basert på nøkkelord. Men det finnes også chatbots som gjennomfører nettintervjuer for å sile ut søkere med visse egenskaper, og intervjuprogramvare utviklet for å forutsi en kandidats problemløsningsferdigheter, evner og “kulturelle passform” fra deres talemønstre og ansiktsuttrykk.
Utvalget av ansettelses- og rekrutteringsalgoritmer er faktisk så stort at noen organisasjoner ikke mener Local Law 144 går langt nok.
NYCLU, New York-avdelingen av American Civil Liberties Union, hevder at loven kommer “langt kort” til å gi beskyttelse for kandidater og arbeidere. Daniel Schwarz, senior personvern- og teknologistrateg ved NYCLU, bemerker i et policynotat at Local Law 144, som skrevet, kan forstås til å bare dekke en undergruppe av ansettelsesalgoritmer – for eksempel ekskluderer verktøy som transkriberer tekst fra video- og lydintervjuer. (Gi at talegjenkjenningsverktøy har et velkjent skjevhetsproblem, er det åpenbart problematisk.)
«De … foreslåtte reglene [must be strengthened to] sikre bred dekning av [hiring algorithms]utvide kravene til partisk revisjon og gi åpenhet og meningsfull melding til berørte personer for å sikre det [algorithms] ikke arbeid for å digitalt omgå New York Citys lover mot diskriminering», skrev Schwarz. “Kandidater og arbeidere bør ikke trenge å bekymre seg for å bli screenet av en diskriminerende algoritme.”
Parallelt med dette går industrien i gang med forarbeid for å selvregulere.
I desember 2021 ble Data & Trust Alliance lansert, som har som mål å utvikle et evaluerings- og poengsystem for AI for å oppdage og bekjempe algoritmisk skjevhet, spesielt skjevhet ved ansettelse. Gruppen regnet på et tidspunkt CVS Health, Deloitte, General Motors, Humana, IBM, Mastercard, Meta, Nike og Walmart blant medlemmene, og fikk betydelig pressedekning.
Ikke overraskende er Sundaram for denne tilnærmingen.
“I stedet for å håpe at regulatorer tar igjen og begrenser de verste utskeielsene av rekrutterings-AI, er det opp til arbeidsgivere å være årvåkne og utvise forsiktighet når de bruker AI i ansettelsesprosesser,” sa han. “AI utvikler seg raskere enn lover kan vedtas for å regulere bruken. Lover som til slutt vedtas – New York City inkludert – vil sannsynligvis være enormt kompliserte av denne grunn. Dette vil føre til at selskaper risikerer å feiltolke eller overse ulike juridiske forviklinger, og i sin tur se at marginaliserte kandidater fortsetter å bli oversett for roller.»
Selvfølgelig vil mange hevde at det er problematisk at selskaper utvikler et sertifiseringssystem for AI-produktene de bruker eller utvikler.
Mens ufullkommen på visse områder, ifølge kritikere, Local Law 144 gjør krever at revisjoner utføres av uavhengige enheter som ikke har vært involvert i bruk, utvikling eller distribusjon av algoritmen de tester og som ikke har et forhold til selskapet som sender inn algoritmen for testing.
Vil lokal lov 144 til slutt påvirke endringen? Det er for tidlig å si. Men absolutt, suksessen – eller fiaskoen – med implementeringen vil påvirke lover som kommer andre steder. Som nevnt i et nylig stykke for Nerdwallet, vurderer Washington, DC, en regel som vil holde arbeidsgivere ansvarlige for å forhindre skjevhet i automatiserte beslutningsalgoritmer. To lovforslag i California som tar sikte på å regulere kunstig intelligens i ansettelser ble introdusert i løpet av de siste årene. Og i slutten av desember ble det innført et lovforslag i New Jersey som skulle regulere bruken av kunstig intelligens i ansettelsesbeslutninger for å minimere diskriminering.