Google hevder at Bard er i ferd med å forbedre seg i matematikk og programmering
Bard, Googles beleirede AI-drevne chatbot, forbedrer seg sakte når det gjelder oppgaver som involverer logikk og resonnement. Det er ifølge et blogginnlegg publisert i dag av teknologigiganten, som antyder at – takket være en teknikk kalt “implisitt kodeutførelse” – Bard nå er forbedret spesifikt innen områdene matematikk og koding.
Som blogginnlegget forklarer, er store språkmodeller (LLM) som Bard i hovedsak prediksjonsmotorer. Når de får en melding, genererer de et svar ved å forutse hvilke ord som sannsynligvis kommer neste i en setning. Det gjør dem eksepsjonelt gode e-post- og essayforfattere, men noe feilutsatte programvareutviklere.
Men vent, kan du si – hva med kodegenererende modeller som GitHubs Copilot og Amazons CodeWhisperer? Vel, de er ikke generelle. I motsetning til Bard og rivaler på linje med ChatGPT, som ble trent ved hjelp av et stort utvalg teksteksempler fra nettet, e-bøker og andre ressurser, ble Copilot, CodeWhisperer og sammenlignbare kodegenererende modeller trent og finjustert nesten utelukkende på kode prøver.
Motivert til å ta tak i kodings- og matematikkmanglene i generelle LLM-er, utviklet Google implisitt kodekjøring, som lar Bard skrive og henrette sin egen kode. Den siste versjonen av Bard identifiserer spørsmål som kan ha nytte av logisk kode, skriver koden “under panseret”, tester den og bruker resultatet til å generere et tilsynelatende mer nøyaktig svar.
Bildekreditt: Google
Basert på intern benchmarking sier Google at den nye Bards svar på “beregningsbaserte” ord- og matematikkproblemer ble forbedret med 30 % sammenlignet med forrige Bard-utgivelse. Selvfølgelig må vi se om disse påstandene tåler ekstern testing.
“Selv med disse forbedringene vil ikke Bard alltid få det riktig – for eksempel kan det hende at Bard ikke genererer kode for å hjelpe den raske responsen, koden den genererer kan være feil eller Bard inkluderer kanskje ikke den utførte koden i svaret,” Bard produktleder Jack Krawczyk og VP of engineering Amarnag Subramanya skrev i blogginnlegget. “Med alt det sagt, er denne forbedrede evnen til å svare med strukturerte, logikkdrevne evner et viktig skritt mot å gjøre Bard enda mer nyttig.”
Da Google lanserte Bard tidligere i år, sammenlignet den ikke så gunstig med slike som Bing Chat og ChatGPT. Faktisk var utrullingen litt av en katastrofe, med en Google-annonse med et feil svar fra Bard – en kort tankning på selskapets aksjer med 8 %.
Det sies at flere Google-ansatte som testet Bard før utgivelsen reiste alvorlige bekymringer til søkegiganten, med en person som kalte det en “patologisk løgner” og en annen anså det som “verre enn ubrukelig.”
Med implisitt kodegenerering og andre forbedringer, som støtte for nye språk, multimodale søk og bildegenerering, svarer Google på kritikk – og forsøker å snu situasjonen.
Om det vil være nok til å holde tritt med de ledende generative AI-chatbotene i verdensrommet, gjenstår å se. Nylig introduserte Anthropic en AI-chatbot-modell med et sterkt utvidet “kontekstvindu”, som lar modellen snakke relativt sammenhengende i timer eller til og med dager i motsetning til minutter. Og OpenAI, utvikleren bak ChatGPT, har begynt å støtte plugins som supercharger ChatGPT med kunnskap og ferdigheter utenfor.