Prolific samler inn 32 millioner dollar for å trene og stressteste AI-modeller ved å bruke nettverket på 120 000 personer
AI, når det fungerer bra, kan føles som magi, men altfor ofte fungerer ikke AI-baserte systemer som de skal: Hvis dataene som brukes til å trene modeller ikke er dype, brede og pålitelige nok, kan enhver form for curveball sende at AI i feil retning. En startup i London kalt Prolific har bygget et system den tror kan hjelpe til med å avverge dette problemet, ved å trykke på et nettverk av 120 000 menneskelige deltakere for å informere og stressteste AI-modeller. Og som et tegn på etterspørsel etter tjenestene deres, har Prolific nå samlet inn noen midler – £25 millioner ($32 millioner) – for å utvide virksomheten.
Runden ble ledet av Partech og Oxford Science Enterprises (OSE).
Prolific ble grunnlagt i 2014 og teller allerede organisasjoner som Google, Stanford University, University of Oxford, King’s College London og EU-kommisjonen blant sine kunder, og bruker nettverket av deltakere til å teste nye produkter, trene opp AI-systemer innen områder som øyesporing og finne ut om deres menneskevendte AI-applikasjoner fungerer slik skaperne deres vil at de skal. Til nå har det vært inntekter fra brukere som disse som har hjulpet Prolific til å vokse. Faktisk var de eneste pengene Prolific hadde samlet inn før denne runden en seed-runde på $1,4 millioner den fikk etter å ha gått gjennom YC. (Ja, det var lønnsomt; ikke lenger nå som det tar VC-penger og investerer i vekst.)
“Vi har sett utrolig trekkraft i det siste, og har en enorm mulighet foran oss, så vi tar på oss denne nye finansieringen for å øke innsatsen vår og utvide vårt produkt og utvalg av deltakere, mye raskere enn vi kunne hatt uten det,” Phelim Bradley, grunnleggeren og administrerende direktør, sa over e-post til TechCrunch.
Selskapet ble opprinnelig ikke unnfanget ut fra et spesifikt behov i AI-verdenen, men ut fra et generelt problem som forskere ofte møter med paneler for hva som helst, noe Bradley identifiserte i sitt eget akademiske arbeid (hans bakgrunn, før Prolific, var innen beregning biologi og fysikk).
Kort sagt, det er en utfordring å finne omfattende tverrsnitt av mennesker for å svare på spørsmål, og nesten umulig å gjøre det i tide. Utveien for mange forskere er å samarbeide med tredjeparter for å kildedeltakere, men dette har sine egne ulemper, inkludert manglende evne til å verifisere individer og velge tverrsnitt for å sikre representative prøver.
I AI er de samme problemene spesielt akutte: Falske eller villedende data er den velkjente fluen i salven som kan få eller ødelegge hvordan AI-systemer fungerer. Gitt hvor utbredt AI brukes – eller kanskje mer nøyaktig, hvor mye folk håp å en dag bruke det.
Løsningen som Bradley identifiserte for å fikse som var ganske enkel i konsept, om ikke faktisk utførelse: bygg en bedre måte å skaffe paneldeltakere på.
I de første dagene, sa han, kontaktet selskapet proaktivt folk, dro til arrangementer og andre arenaer for å finne dem. “Vi gjorde vanligvis ting som ‘ikke skaleres’,” sa Bradley. “Men etter at vi nådde en kritisk masse, har vi fått de fleste deltakerne til å oppdage oss gjennom jungeltelegrafen som et resultat av den positive brukeropplevelsen.” Ved å betale de frivillige frilansdeltakerne minimum £6 ($8) per time, men vanligvis mer, sier Prolific at de har utbetalt rundt 100 millioner dollar til dem til dags dato.
Han sa at Prolific jobber for å holde utvalget på 120 000 brukere relativt selv når det kommer til demografi. Og den har også bygget verktøy – inkludert mer enn 300 filtre basert på folketellingsdata og andre kilder – slik at kundene bedre kan tilpasse det de leter etter.
Selskapet bruker ironisk nok ikke AI selv for å løse et kritisk problem i AI-verdenen. “Vi fokuserer for tiden på å tilby HI (Human Intelligence) for å bidra til å forbedre AI,” sa han.
Og selv om det er mange synergier mellom det Prolific har bygget for å møte et behov i AI-markedet, og bredere behov i forskningsverdenen, er det ingen planer om å utvide nettverket til å fungere utover AI-applikasjoner, sa Bradley.
Når det er sagt, virker det som en enkel sak at selskaper som Amazon (som gir Mechanical Turk til kunder som trenger menneskelige testere), Nielsen og YouGov, for ikke å nevne store aktører innen språkmodellbygging som OpenAI, kan prøve å flytte inn i dette området. Foreløpig er selskaper som Attest og Scale AI muligens dens nærmeste konkurrenter.
“Prolific har bygget en utrolig kraftig nettplattform for forskning,” sa Omri Benayoun, generalpartner i Partech, i en uttalelse. “Røttene i akademia betyr at de har brukt de høyeste standarder for kvalitet, mens dens tekniske ekspertise bringer innovasjon som skiller den fra alt annet der ute. Der andre er avhengige av manuelle rekrutteringsmetoder, har Prolific bygget en forskningsinfrastruktur som dekker alt fra rekruttering og kontroll av deltakere til integrering av forskningsverktøy. Prolific er klar til å erobre globalt lederskap i akademia og er også perfekt plassert for å hjelpe utviklingen av AI.”