OpenAI introduserer nye generative tekstfunksjoner samtidig som prisene reduseres
Ettersom konkurransen i det generative AI-området blir hardere, oppgraderer OpenAI sine tekstgenererende modeller samtidig som prisene reduseres.
I dag kunngjorde OpenAI lanseringen av nye versjoner av GPT-3.5-turbo og GPT-4, sistnevnte er den siste tekstgenererende AI, med en funksjon som kalles funksjonskall. Som OpenAI forklarer i et blogginnlegg, lar funksjonskall utviklere beskrive programmeringsfunksjoner til GPT-3.5-turbo og GPT-4 og få modellene til å lage kode for å utføre disse funksjonene.
For eksempel kan funksjonsanrop bidra til å lage chatbots som svarer på spørsmål ved å ringe eksterne verktøy, konvertere naturlig språk til databasespørringer og trekke ut strukturerte data fra tekst. “Disse modellene er finjustert for både å oppdage når en funksjon må kalles … og svare med JSON som følger funksjonssignaturen,” skriver OpenAI. “Funksjonsanrop lar utviklere mer pålitelig få strukturerte data tilbake fra modellen.”
Utover funksjonskall, introduserer OpenAI en smak av GPT-3.5-turbo med et sterkt utvidet kontekstvindu. Kontekstvindu, målt i tokens, eller rå tekstbiter, refererer til teksten modellen vurderer før den genererer ytterligere tekst. Modeller med små kontekstvinduer har en tendens til å “glemme” innholdet i til og med helt nyere samtaler, noe som fører til at de går utenfor temaet – ofte på problematiske måter.
Den nye GPT-3.5-turboen tilbyr fire ganger kontekstlengden (16.000 tokens) av vanilje GPT-3.5-turboen til det dobbelte av prisen – $0,003 per 1000 input tokens (dvs. tokens matet inn i modellen) og $0,004 per 1000 output tokens ( tokens modellen genererer). OpenAI sier at den kan innta rundt 20 sider med tekst på en gang – kort enn de hundrevis av sidene som AI-oppstart Anthropics flaggskipmodell kan behandle, spesielt. (OpenAI tester en versjon av GPT-4 med et kontekstvindu på 32 000 tokener, men kun i begrenset utgivelse.)
På plussiden sier OpenAI at det reduserer prisene for GPT-3.5-turbo – originalen, ikke versjonen med utvidet kontekstvindu – med 25 %. Utviklere kan nå bruke modellen for $0,0015 per 1000 input-tokens og $0,002 per 1000 output tokens, noe som tilsvarer omtrent 700 sider per dollar.
Prisene reduseres også for text-embedding-ada-002, en av OpenAIs mer populære tekstinnbyggingsmodeller. Tekstinnbygginger måler sammenhengen til tekststrenger, og brukes ofte til søk (der resultatene er rangert etter relevans for en søkestreng) og anbefalinger (hvor elementer med relaterte tekststrenger anbefales).
Text-embedding-ada-002 koster nå $0,0001 per 1000 tokens, en reduksjon på 75 % fra forrige pris. OpenAI sier at reduksjonen ble muliggjort av økt effektivitet i systemene deres – et sentralt fokusområde for oppstarten, uten tvil, ettersom den bruker hundrevis av millioner dollar på FoU og infrastruktur.
OpenAI har signalisert at inkrementelle oppdateringer av eksisterende modeller – ikke massive nye fra bunnen av modeller – er dens MO etter utgivelsen av GPT-4 i begynnelsen av mars. På en nylig konferanse arrangert av Economic Times, bekreftet administrerende direktør Sam Altman at OpenAI ikke har begynt å trene etterfølgeren til GPT-4, noe som indikerer at selskapet “har mye arbeid å gjøre” før det starter den modellen.