Vi burde alle være bekymret for AI som infiltrerer crowdsourcet arbeid
En ny artikkel fra forskere ved det sveitsiske universitetet EPFL antyder at mellom 33 % og 46 % av distribuerte publikumsarbeidere på Amazons Mechanical Turk-tjeneste ser ut til å ha “jukset” når de utførte en bestemt oppgave som ble tildelt dem, ettersom de brukte verktøy som ChatGPT for å gjøre noe av arbeidet. Hvis den praksisen er utbredt, kan det vise seg å være et ganske alvorlig problem.
Amazons Mechanical Turk har lenge vært et tilfluktssted for frustrerte utviklere som ønsker å få arbeid utført av mennesker. I et nøtteskall er det et applikasjonsprogrammeringsgrensesnitt (API) som mater oppgaver til mennesker, som gjør dem og deretter returnerer resultatene. Disse oppgavene er vanligvis den typen du ønsker at datamaskiner skal være bedre på. Ifølge Amazon vil et eksempel på slike oppgaver være: «Å tegne avgrensende bokser for å bygge høykvalitets datasett for datasynsmodeller, der oppgaven kan være for tvetydig for en rent mekanisk løsning og for omfattende for selv et stort team av menneskelige eksperter. ”
Dataforskere behandler datasett forskjellig i henhold til deres opprinnelse – hvis de er generert av mennesker eller en stor språkmodell (LLM). Problemet her med Mechanical Turk er imidlertid verre enn det høres ut til: AI er nå tilgjengelig billig nok til at produktsjefer som velger å bruke Mechanical Turk fremfor en maskingenerert løsning er avhengig av at mennesker er bedre på noe enn roboter. Forgiftning av den brønnen med data kan få alvorlige konsekvenser.
“Å skille LLM-er fra menneskeskapt tekst er vanskelig for både maskinlæringsmodeller og mennesker,” sa forskerne. Forskerne laget derfor en metodikk for å finne ut om tekstbasert innhold er skapt av et menneske eller en maskin.
Testen innebar å spørre arbeidere fra publikum om å kondensere forskningssammendrag fra New England Journal of Medicine til sammendrag på 100 ord. Det er verdt å merke seg at dette er nøyaktig den typen oppgave som generative AI-teknologier som ChatGPT er gode på.