Rask ingeniøroppstart Vellum.ai samler inn 5 millioner dollar som etterspørsel etter generative AI-tjenesteskalaer
I morges sa Vellum.ai at de hadde avsluttet en seedrunde på 5 millioner dollar. Selskapet nektet å dele hvem hovedinvestoren var for runden bortsett fra at det var et flertrinnsfirma, men det fortalte TechCrunch at Rebel Fund, Eastlink Capital, Pioneer Fund, Y Combinator og flere engler deltok i runden.
Oppstarten fanget først TechCrunchs øyne under Y Combinators siste demodag (vinteren 2023) takket være fokuset på å hjelpe bedrifter med å forbedre sin generative AI-oppfordring. Gitt antallet generative AI-modeller, hvor raskt de utvikler seg og hvor mange forretningskategorier som ser ut til å være klare til å utnytte store språkmodeller (LLM), likte vi fokuset.
I følge beregninger som Vellum delte med TechCrunch, liker markedet også det oppstarten bygger. I følge Akash Sharma, Vellums administrerende direktør og medgründer, har oppstarten 40 betalende kunder i dag, med omsetning som øker med rundt 25 % til 30 % per måned.
For et selskap født i januar i år er det imponerende.
Normalt i en kort finansieringsoppdatering av denne typen, vil jeg bruke litt tid på å detaljere selskapet og dets produkt, fokusere på vekst og følge med. Imidlertid, mens vi diskuterer noe som er litt begynnende, la oss ta oss tid til å snakke om prompt engineering mer generelt.
Bygge Vellum
Sharma fortalte meg at han og hans medgründere (Noa Flaherty og Sidd Seethepalli) var ansatte i Dover, et annet Y Combinator-selskap fra 2019-epoken, og jobbet med GPT 3 tidlig i 2020 da betaen ble utgitt.
Mens de var i Dover, bygde de generative AI-applikasjoner for å skrive rekrutterings-e-poster, stillingsbeskrivelser og lignende, men de la merke til at de brukte for mye tid på spørsmålene sine og kunne ikke versjonere ledetekstene i produksjonen, og heller ikke måle kvaliteten. De trengte derfor å bygge verktøy for finjustering og semantisk søk også. Den store mengden arbeid for hånd ble lagt opp, sa Sharma.
Det betydde at teamet brukte ingeniørtid på intern verktøy i stedet for å bygge for sluttbrukeren. Takket være den erfaringen og bakgrunnen for maskinlæringsoperasjoner til hans to medgründere, da ChatGPT ble utgitt i fjor, innså de at markedets etterspørsel etter verktøy for å gjøre generativ AI-oppfordring bedre, “kommer til å vokse eksponentielt.” Derfor Vellum.
LLM arbeidsflyter inne i Vellum. Bildekreditt: Vellum
Å se et marked åpne for nye muligheter for å bygge verktøy er ikke nytt, men moderne LLM-er kan ikke bare endre AI-markedet i seg selv, de kan også gjøre det større. Sharma fortalte meg at inntil utgivelsen av nylig utgitte LLM-er “var det aldri mulig å bruke naturlig språk [prompts] for å få resultater fra en AI-modell.” Skiftet til å akseptere naturlige språkinndata “gjør [AI] markedet mye større fordi du kan ha en produktsjef eller en programvareingeniør […] bokstavelig talt hvem som helst være en rask ingeniør.”
Mer kraft i flere hender betyr større etterspørsel etter verktøy. Når det gjelder dette emnet, tilbyr Vellum en måte for AI-promptere å sammenligne modellutdata side ved side, muligheten til å søke etter bedriftsspesifikke data for å legge til kontekst til bestemte ledetekster, og andre verktøy som testing og versjonskontroll som bedrifter kanskje liker i for å sikre at spørsmålene deres spytter ut riktige ting.
Men hvor vanskelig kan det være å spørre en LLM? Sharma sa: “Det er enkelt å spinne opp en LLM-drevet prototype og lansere den, men når selskaper ender opp med å ta noe som [that] til produksjon innser de at det er mange kantsaker som dukker opp, som har en tendens til å gi rare resultater.» Kort sagt, hvis bedrifter ønsker at deres LLM-er skal være gode konsekvent, må de gjøre mer arbeid enn bare å fjerne GPT-utdata hentet fra brukerforespørsler.
Likevel er det litt generelt. Hvordan bruker bedrifter raffinerte meldinger i applikasjoner som krever rask ingeniørarbeid for å sikre at resultatene deres er godt tilpasset?
For å forklare pekte Sharma på et programvareselskap for støtte for billettsalg som retter seg mot hoteller. Dette selskapet ønsket å bygge en slags LLM-agent som kunne svare på spørsmål som “Kan du reservere for meg?”
Det trengte først en melding som fungerte som en eskaleringsklassifisering for å avgjøre om spørsmålet skulle besvares av en person eller LLM. Hvis LLM skulle svare på spørsmålet, skulle modellen – vi utvider eksemplet her på egen hånd – kunne gjøre det riktig uten å hallusinere eller gå av stabelen.
Så LLM-er kan lenkes sammen for å skape en slags logikk som flyter gjennom dem. Rask ingeniørarbeid er altså ikke bare å snakke med LLM-er for å prøve å få dem til å gjøre noe snodig. Etter vårt syn er det noe som ligner mer på naturlig språkprogrammering. Det kommer til å trenge sitt eget verktøyrammeverk, som ligner på andre former for programmering.
Hvor stort er markedet?
TechCrunch+ har utforsket hvorfor selskaper forventer at det bedriftsgenerative AI-markedet skal vokse til enorme proporsjoner. Det burde være mange gruvearbeidere (kunder) som vil trenge hakker og spader (raske ingeniørverktøy) for å få mest mulig ut av generativ AI.
Vellum nektet å dele sin prisordning, men la merke til at tjenestene deres koster i tre til fire sifre per måned. Krysset med mer enn tre dusin kunder, gir det Vellum en ganske sunn run-rate for et selskap på frøstadiet. En rask økning i etterspørselen har en tendens til å korrelere med markedsstørrelsen, så det er rimelig å si at det virkelig er en sterk bedriftsetterspørsel etter LLM-er.
Det er gode nyheter for det store antallet selskaper som bygger, distribuerer eller støtter LLM-er. Gitt hvor mange startups som er i den blandingen, ser vi på lyse, solfylte dager fremover.