Anthropic slipper Claude 2, sin andre generasjons AI-chatbot
Anthropic, AI-oppstarten som ble medstiftet av tidligere OpenAI-ledere, kunngjorde i dag lanseringen av en ny tekstgenererende AI-modell, Claude 2.
Etterfølgeren til Anthropics første kommersielle modell, Claude 2, er tilgjengelig i beta fra i dag i USA og Storbritannia både på nettet og via en betalt API (med begrenset tilgang). API-prisen har ikke endret seg (~$0,0465 for å generere 1000 ord), og flere virksomheter har allerede begynt å pilotere Claude 2, inkludert den generative AI-plattformen Jasper og Sourcegraph.
“Vi tror at det er viktig å distribuere disse systemene til markedet og forstå hvordan folk faktisk bruker dem,” sa Sandy Banerjee, leder for go-to-market hos Anthropic, til TechCrunch i et telefonintervju. “Vi overvåker hvordan de brukes, hvordan vi kan forbedre ytelsen, så vel som kapasiteten – alle disse tingene.”
Som den gamle Claude (Claude 1.3), kan Claude 2 søke på tvers av dokumenter, oppsummere, skrive og kode og svare på spørsmål om bestemte emner. Men Anthropic hevder at Claude 2 – som TechCrunch ikke fikk muligheten til å teste før lanseringen – er overlegen på flere områder.
For eksempel scorer Claude 2 litt høyere på en flervalgsdel av advokateksamenen (76,5 % mot Claude 1,3s 73 %). Den er i stand til å bestå flervalgsdelen av US Medical Licensing Exam. Og det er en sterkere programmerer, som oppnår 71,2 % på Codex Human Level Python-kodingstesten sammenlignet med Claude 1,3s 56 %.
Claude 2 kan også svare riktig på flere matematikkoppgaver, og scoret 88 % på GSM8K-samlingen av problemer på barneskolenivå – 2,8 prosentpoeng høyere enn Claude 1,3.
“Vi har jobbet med å forbedre resonnementet og typen selvbevissthet til modellen, så den er mer bevisst på “her er hvordan jeg liker å følge instruksjoner,” “Jeg kan behandle flertrinnsinstruksjoner” og også mer klar over sine begrensninger,” sa Banerjee.
Claude 2 ble opplært på nyere data – en blanding av nettsteder, lisensierte datasett fra tredjeparter og frivillig leverte brukerdata fra tidlig i 2023, hvorav omtrent 10 % er ikke-engelsk – enn Claude 1.3, som sannsynligvis bidro til forbedringene . (I motsetning til OpenAIs GPT-4, kan ikke Claude 2 søke på nettet.) Men modellene er ikke så forskjellige arkitektonisk – Banerjee karakteriserte Claude 2 som en finjustert versjon av Claude 1.3, et produkt av to eller så års arbeid, snarere enn en ny skapelse.
“Claude 2 er ikke vesentlig endret fra den forrige modellen – det er et produkt av vår kontinuerlige iterative tilnærming til modellutvikling,” sa hun. “Vi trener hele tiden modellen … og overvåker og evaluerer ytelsen til den.”
For å vite, har Claude 2 et kontekstvindu som har samme størrelse som Claude 1.3 – 100 000 tokens. Kontekstvindu refererer til teksten modellen vurderer før den genererer tilleggstekst, mens tokens representerer rå tekst (f.eks. vil ordet “fantastisk” deles inn i symbolene “fan”, “tas” og “tic”).
Faktisk er 100 000 tokens fortsatt ganske stort – den største av alle kommersielt tilgjengelige modeller – og gir Claude 2 en rekke viktige fordeler. Generelt sett har modeller med små kontekstvinduer en tendens til å “glemme” innholdet i selv helt nyere samtaler. Dessuten lar store kontekstvinduer modeller generere – og innta – mye mer tekst. Claude 2 kan analysere omtrent 75 000 ord, omtrent på lengden av “The Great Gatsby”, og generere 4000 tokens, eller rundt 3125 ord.
Claude 2 kan teoretisk støtte et enda større kontekstvindu – 200 000 tokens – men Anthropic planlegger ikke å støtte dette ved lanseringen.
Modellen er bedre på spesifikke tekstbehandlingsoppgaver andre steder, som å produsere korrekt formaterte utdata i JSON, XML, YAML og markdown-formater.
Men hva med områdene der Claude 2 kommer til kort? Tross alt er ingen modell perfekte. Se Microsofts AI-drevne Bing Chat, som ved lanseringen var en følelsesmessig manipulerende løgner.
Faktisk lider selv de beste modellene i dag av hallusinasjoner, et fenomen der de svarer på spørsmål på irrelevante, useriøse eller faktisk ukorrekte måter. De er også tilbøyelige til å generere giftig tekst, en refleksjon av skjevhetene i dataene som brukes til å trene dem – for det meste nettsider og innlegg på sosiale medier.
Brukere var i stand til å be en eldre versjon av Claude om å finne opp et navn for et ikke-eksisterende kjemikalie og gi tvilsomme instruksjoner for å produsere uran av våpenkvalitet. De kom også rundt Claudes innebygde sikkerhetsfunksjoner via smart prompt engineering, med en bruker som viste at de kunne be Claude om å beskrive hvordan man lager meth hjemme.
Anthropic sier at Claude 2 er “2x bedre” til å gi “ufarlige” svar sammenlignet med Claude 1.3 på en intern evaluering. Men det er ikke klart hva denne beregningen betyr. Er det to ganger mindre sannsynlig at Claude 2 reagerer med sexisme eller rasisme? To ganger mindre sannsynlighet for å støtte vold eller selvskading? To ganger mindre sannsynlighet for å generere feilinformasjon eller desinformasjon? Antropisk ville ikke si – i hvert fall ikke direkte.
En whitepaper Anthropic utgitt i morges gir noen ledetråder.
I en test for å måle skadelighet, matet Anthropic 328 forskjellige meldinger til modellen, inkludert “jailbreak”-meldinger utgitt på nettet. I minst ett tilfelle førte et jailbreak til at Claude 2 genererte en skadelig respons – mindre enn Claude 1.3, men fortsatt betydelig når man vurderer hvor mange millioner av meldinger modellen kan svare på i produksjonen.
Whitepaperen viser også at Claude 2 er mindre sannsynlig å gi partiske svar enn Claude 1.3 på minst én beregning. Men de antropiske medforfatterne innrømmer at en del av forbedringen skyldes at Claude 2 nektet å svare på omstridte spørsmål formulert på måter som virker potensielt problematiske eller diskriminerende.
Avslørende nok fraråder Anthropic å bruke Claude 2 for applikasjoner “der fysisk eller mental helse og velvære er involvert” eller i “high-stakes situasjoner der et feil svar vil forårsake skade.” Ta det slik du vil.
“[Our] intern red teaming-evaluering scorer modellene våre på et veldig stort representativt sett med skadelige motstridende spørsmål,” sa Banerjee da han ble presset for detaljer, “og vi gjør dette med en kombinasjon av automatiserte tester og manuelle kontroller.”
Anthropic var heller ikke nåværende om hvilke spørsmål, tester og sjekker den bruker til benchmarking. Og selskapet var relativt vagt om temaet dataoppkast, der modeller noen ganger limer inn data ordrett fra treningsdataene deres – inkludert tekst fra opphavsrettsbeskyttede kilder i noen tilfeller.
Oppstøt av AI-modeller er i fokus for flere pågående rettssaker, inkludert en nylig anlagt av komiker og forfatter Sarah Silverman mot OpenAI og Meta. Forståelig nok har den noen merker som er forsiktige med ansvar.
“Opplæring av data er et aktivt forskningsområde på tvers av alle grunnmodeller, og mange utviklere utforsker måter å håndtere det på, samtidig som de opprettholder et AI-systems evne til å gi relevante og nyttige svar,” sa Silverman. “Det er noen generelt aksepterte teknikker i feltet, inkludert de-duplisering av treningsdata, som har vist seg å redusere risikoen for reproduksjon. I tillegg til datasiden, bruker Anthropic en rekke tekniske verktøy gjennom modellutviklingen, fra … produktlagsdeteksjon til kontroller.”
En fangstteknikk selskapet fortsetter å utbasunere er “konstitusjonell AI”, som tar sikte på å gi modeller som Claude 2 visse “verdier” definert av en “konstitusjon”.
Constitutional AI, som Anthropic selv utviklet, gir en modell et sett med prinsipper for å foreta vurderinger om teksten den genererer. På et høyt nivå veileder disse prinsippene modellen til å ta på seg atferden de beskriver – f.eks. «ikke-giftig» og «hjelpsom».
Anthropic hevder at, takket være konstitusjonell AI, er Claude 2s oppførsel både lettere å forstå og enklere å justere etter behov sammenlignet med andre modeller. Men selskapet erkjenner også at konstitusjonell kunstig intelligens ikke er slutten på treningstilnærmingene. Anthropic utviklet mange av prinsippene som leder Claude 2 gjennom en “prøv-og-feil”-prosess, heter det, og har måttet gjøre gjentatte justeringer for å forhindre at modellene blir for “dømmende” eller “irriterende.”
I hvitboken innrømmer Anthropic at etter hvert som Claude blir mer sofistikert, blir det stadig vanskeligere å forutsi modellens oppførsel i alle scenarier.
“Over tid har dataene og påvirkningene som bestemmer Claudes ‘personlighet’ og evner blitt ganske komplekse,” heter det i hvitboken. “Det har blitt et nytt forskningsproblem for oss å balansere disse faktorene, spore dem på en enkel, automatiserbar måte og generelt redusere kompleksiteten ved å trene Claude.”
Etter hvert planlegger Anthropic å utforske måter å gjøre grunnloven tilpassbar – til et punkt. Men det har ikke nådd det stadiet av produktutviklingens veikart ennå.
“Vi jobber fortsatt gjennom tilnærmingen vår,” sa Banerjee. “Vi må sørge for, mens vi gjør dette, at modellen ender opp like harmløs og nyttig som den forrige iterasjonen.”
Som vi har rapportert tidligere, er Anthropics ambisjon å lage en «neste generasjons algoritme for AI-selvundervisning», slik den beskriver det i en pitch-deck til investorer. En slik algoritme kan brukes til å bygge virtuelle assistenter som kan svare på e-poster, utføre forskning og generere kunst, bøker og mer – noen av dem har vi allerede fått en smak av med slike som GPT-4 og andre store språkmodeller.
Claude 2 er et skritt mot dette – men ikke helt der.
Anthropic konkurrerer med OpenAI så vel som startups som Cohere og AI21 Labs, som alle utvikler og produserer sine egne tekstgenererende – og i noen tilfeller bildegenererende – AI-systemer. Google er blant selskapets investorer, etter å ha lovet 300 millioner dollar i Anthropic for en 10% eierandel i oppstarten. De andre er Spark Capital, Salesforce Ventures, Zoom Ventures, Sound Ventures, Menlo Ventures Center for Emerging Risk Research og en blanding av ikke avslørte VC-er og engler.
Til dags dato har Anthropic, som ble lansert i 2021, ledet av tidligere OpenAI forskningsdirektør Dario Amodei, samlet inn 1,45 milliarder dollar til en verdsettelse på ensifrede milliarder. Selv om det kan høres mye ut, er det langt fra hva selskapet anslår at det vil trenge – 5 milliarder dollar i løpet av de neste to årene – for å lage sin planlagte chatbot.
Mesteparten av pengene vil gå til beregning. Anthropic antyder i kortstokken at den er avhengig av klynger med “titusenvis av GPUer” for å trene modellene sine, og at det vil kreve omtrent en milliard dollar å bruke på infrastruktur bare i løpet av de neste 18 månedene.
Å lansere tidlige modeller i betaløsning løser det doble formålet med å bidra til videre utvikling samtidig som det genereres økte inntekter. I tillegg til gjennom sitt eget API, planlegger Anthropic å gjøre Claude 2 tilgjengelig gjennom Bedrock, Amazons generative AI-vertsplattform, i løpet av de kommende månedene.
Med sikte på å takle det generative AI-markedet fra alle sider, fortsetter Anthropic å tilby et raskere, rimeligere derivat av Claude kalt Claude Instant. Fokuset ser ut til å være på flaggskipet Claude-modellen – Claude Instant har ikke fått noen større oppgradering siden mars.
Anthropic hevder å ha «tusenvis» av kunder og partnere for tiden, inkludert Quora, som gir tilgang til Claude gjennom sin abonnementsbaserte generative AI-app Poe. Claude driver DuckDuckGos nylig lanserte DuckAssist-verktøy, som direkte svarer på enkle søk for brukere, i kombinasjon med OpenAIs ChatGPT. Og på Notion er Claude en del av den tekniske backend for Notion AI, en AI-skriveassistent integrert med Notion-arbeidsområdet.