Meta forventer anbefalingsmodeller “størrelsesordener” større enn GPT-4. Hvorfor?
Meta kom med en bemerkelsesverdig påstand i en kunngjøring publisert i dag, ment å gi mer klarhet i algoritmene for innholdsanbefaling. Den forbereder seg på atferdsanalysesystemer «størrelsesordener» større enn de største store språkmodellene der ute, inkludert ChatGPT og GPT-4. Er det virkelig nødvendig?
En gang i blant bestemmer Meta seg for å friske opp sin forpliktelse til åpenhet ved å forklare hvordan noen av algoritmene fungerer. Noen ganger er dette avslørende eller informativt, og noen ganger fører det bare til flere spørsmål. Denne anledningen er litt av begge deler.
I tillegg til «systemkortene» som forklarer hvordan AI brukes i en gitt kontekst eller app, har det sosiale nettverket og reklamenettverket lagt ut en oversikt over AI-modellene de bruker. Det kan for eksempel være verdt å vite om en video representerer roller hockey eller roller derby, selv om det er en viss visuell overlapping, så den kan anbefales på riktig måte.
Meta har faktisk vært blant de mer produktive forskningsorganisasjonene innen multimodal AI, som kombinerer data fra flere modaliteter (for eksempel visuelt og auditivt) for å bedre forstå et innhold.
Få av disse modellene er utgitt offentlig, selv om vi ofte hører om hvordan de brukes internt for å forbedre ting som “relevans”, som er en eufemisme for målretting. (De gir noen forskere tilgang til dem.)
Så kommer denne interessante lille godbiten når den beskriver hvordan den bygger ut beregningsressursene sine:
For å dypt forstå og modellere folks preferanser, kan våre anbefalingsmodeller ha titalls billioner av parametere – størrelsesordener større enn selv de største språkmodellene som brukes i dag.
Jeg presset Meta for å bli litt mer spesifikk om disse teoretiske titalls trillioner modellene, og det er akkurat det de er: teoretiske. I en klargjørende uttalelse sa selskapet: “Vi tror våre anbefalingsmodeller har potensial til å nå titalls billioner av parametere.” Denne formuleringen er litt som å si at burgerne dine “kan” ha 16-unse patties, men så innrømme at de fortsatt er på kvart pund-stadiet. Ikke desto mindre sier selskapet tydelig at det har som mål å “sikre at disse veldig store modellene kan trenes og distribueres effektivt i stor skala.”
Ville et selskap bygge kostbar infrastruktur for programvare den ikke har til hensikt å lage – eller bruke? Det virker usannsynlig, men Meta nektet å bekrefte (selv om de heller ikke benektet) at de aktivt forfølger modeller av denne størrelsen. Implikasjonene er klare, så selv om vi ikke kan behandle denne titalls billioner skalamodellen som eksisterende, kan behandle det som genuint ambisiøst og sannsynlig i arbeid.
«Forstå og modellere folks preferanser», må forresten forstås som atferdsanalyse av brukere. Dine faktiske preferanser kan sannsynligvis representeres av en klartekstliste på hundre ord. Det kan være vanskelig å forstå, på et grunnleggende nivå, hvorfor du trenger en så stor og kompleks modell for å håndtere anbefalinger selv for et par milliarder brukere.
Sannheten er at problemområdet virkelig er enormt: Det er milliarder og milliarder av innholdsbiter alle med tilhørende metadata, og uten tvil alle slags komplekse vektorer som viser at folk som følger Patagonia også har en tendens til å donere til World Wildlife Federation, kjøper stadig mer dyre fuglematere og så videre. Så kanskje det ikke er så overraskende at en modell som er trent på alle disse dataene ville være ganske stor. Men “størrelsesordener større” enn selv de største der ute, noe som er trent på praktisk talt alle tilgjengelige skriftlige arbeider?
Det er ikke en pålitelig parametertelling på GPT-4, og ledere i AI-verdenen har også funnet ut at det er et reduktivt mål på ytelse, men ChatGPT er på rundt 175 milliarder og GPT-4 antas å være høyere enn det, men lavere enn de ville 100 billioner påstår. Selv om Meta overdriver litt, er dette fortsatt skummelt stort.
Tenk på det: En AI-modell som er like stor eller større enn noen som ennå er opprettet … det som går i den ene enden er hver eneste handling du tar på Metas plattformer, det som kommer ut den andre er en prediksjon av hva du vil gjøre eller liker neste gang. Litt skummelt, ikke sant?
Selvfølgelig er de ikke de eneste som gjør dette. TikTok ledet satsingen innen algoritmisk sporing og anbefaling, og har bygget sitt sosiale medieimperium på sin vanedannende feed med “relevant” innhold ment å holde deg til å rulle til øynene dine gjør vondt. Konkurrentene er åpenlyst misunnelige.
Meta har tydelig som mål å blinde annonsører med vitenskap, både med den uttalte ambisjonen om å lage den største modellen på blokken, og med passasjer som følgende:
Disse systemene forstår folks atferdspreferanser ved å bruke svært store oppmerksomhetsmodeller, grafiske nevrale nettverk, få-skuddslæring og andre teknikker. Nylige nøkkelinnovasjoner inkluderer en ny hierarkisk dyp nevral gjenfinningsarkitektur, som tillot oss å utkonkurrere ulike toppmoderne basislinjer betydelig uten å redusere inferenslatens; og en ny ensemblearkitektur som utnytter heterogene interaksjonsmoduler for å bedre modellere faktorer som er relevante for folks interesser.
Avsnittet ovenfor er ikke ment å imponere forskere (de kan alt dette) eller brukere (de forstår eller bryr seg ikke). Men sett deg selv i skoene til en annonsør som begynner å stille spørsmål ved om pengene deres er godt brukt på Instagram-annonser i stedet for andre alternativer. Denne tekniske palaveren er ment å blende dem, for å overbevise dem om at Meta ikke bare er en leder innen AI-forskning, men at AI virkelig utmerker seg ved å “forstå” folks interesser og preferanser.
I tilfelle du tviler: “mer enn 20 prosent av innholdet i en persons Facebook- og Instagram-feed anbefales nå av AI fra personer, grupper eller kontoer de ikke følger.” Akkurat det vi ba om! Så det er det. AI fungerer utmerket.
Men alt dette er også en påminnelse om det skjulte apparatet i hjertet av Meta, Google og andre selskaper hvis primære motivasjonsprinsipp er å selge annonser med stadig mer detaljerte og presise målretting. Verdien og legitimiteten til denne målrettingen må gjentas hele tiden, selv når brukere gjør opprør og reklame multipliserer og insinuerer i stedet for å forbedres.
Aldri en gang har Meta gjort noe fornuftig som å presentere meg en liste over 10 merker eller hobbyer og spørre hvilken av dem jeg liker. De vil heller se over skulderen min mens jeg skumleser på nettet på jakt etter en ny regnfrakk og oppfører meg som om det er en bragd av avansert kunstig intelligens når de serverer meg regnfrakkannonser neste dag. Det er ikke helt klart at sistnevnte tilnærming er overlegen den tidligere, eller i så fall hvor overlegen? Hele nettet har blitt bygget opp rundt en kollektiv tro på presis annonsemålretting, og nå blir den nyeste teknologien implementert for å støtte det opp for en ny, mer skeptisk bølge av markedsføringskostnader.
Selvfølgelig trenger du en modell med ti billioner parametere for å fortelle deg hva folk liker. Hvordan kunne du ellers rettferdiggjøre milliarden dollar du brukte på å trene den!