BentoML får 9 millioner dollar for å fremskynde utviklingen av AI-apper
Suksessen til store språkmodeller som GPT har utløst et vanvidd blant utviklere som er ivrige etter å lage AI-drevne applikasjoner. Men det kan være vanskelig å bygge AI-tjenester, spesielt på grunn av mangelen på dyktige utviklere for å møte den økende etterspørselen i disse dager.
Det er her Chaoyu Yang, en tidlig programvareingeniør ved datamega-unicorn Databricks, kommer inn. Sammen med sine medgründere har han bygget AI-utviklingsrammeverket BentoML, som nettopp annonserte en startfinansieringsrunde.
Yang, i et intervju med TechCrunch, forklarte at dagens AI-tjenester ofte er bygget på flere maskinlæringsmodeller, noe som gjør administrasjon og drift komplisert. Mange programmerere som går inn i kampen kommer fra full-stack eller applikasjonsutviklingsbakgrunn, noe som betyr at de ofte mangler ferdighetene til å bygge den nødvendige AI-infrastrukturen, noe som resulterer i en langvarig utviklingsprosess.
En demo AI-app som Microsofts Visual ChatGPT, en oppgradering til chatboten som lar den produsere svar fra både tekst- og bildemeldinger, kan for eksempel ta minst tre til seks måneder å gjøre den produksjonsklar, sa Yang.
Mens teknologiske giganter som Microsoft nyter økonomisk dyktighet og menneskelig kapital til å trene AI-modeller og ta dem i bruk i den virkelige verden, samler mindre bedrifter, med Yangs ord, inn “verdifulle data som kan ha stor nytte av AI”, men “mangler ressursene å bygge infrastrukturen for utvikling.”
BentoML, som gir et høyt nivå API som abstraherer bort detaljene i infrastrukturen som trengs for å kjøre AI-modeller på skyen, tilhører en leir av verktøy som SageMaker som ønsker å jevne veien for utvikling av AI-tjenester. Det er et såkalt AI-applikasjonsrammeverk, et sett med verktøy som gjør det enklere å bygge, sende og skalere AI-applikasjoner, som et byggeverktøysett man bruker til å bygge et hus.
Spesifikt retter BentoML seg mot dataforskere som trener AI-modeller, DevOp-ingeniører som administrerer livssyklusen deres og utviklere som faktisk bygger applikasjoner på toppen av modellene.
Med BentoML kan utviklere gjøre Visual ChatGPT skalerbar og kostnadseffektiv for produksjonsbruk på så kort som to dager, sa Yang. Brukere har også brukt rammeverket til å kjøre kunstgeneratoren Stable Diffusion og åpen kildekode LLM-er på skyen.
Yang sammenlignet selskapet sitt med Vercel, som fokuserer på å betjene front-end-utviklere og sist ble verdsatt til over 1 milliard dollar. BentoML har som mål å være Vercel for AI, sa han.
Mens Yang spådde at AI til slutt ville bli mer produksjonsklar, innrømmet han at han ikke trodde AI-applikasjonsbølgen ville komme så snart. Grunnleggeren forventer at AI-apputviklere vil stå for over 90 % av plattformens brukere i fremtiden.
“Hvis du spør meg for et år siden, vil jeg si at sannsynligvis 90 % av selskapene ville trene opp sine egne modeller, men grunnmodellene som nylig har dukket opp er så kraftige at de kan prestere godt selv gitt et datasett det aldri har gjort. sett før,” sa han.
“I stedet for å fokusere på modellopplæring, trenger utviklere nå bare å jobbe med finjustering og produktutvikling, som i seg selv utgjør en flaskehals på grunn av mangelen på AI-fokuserte utviklere.”
BentoML ble åpnet med åpen kildekode i 2019 og introduserte senere en selvvertsbasert SaaS-versjon til bedriftskunder. Det har skaffet brukere organisk gjennom sitt åpen kildekode-fellesskap, som firedoblet medlemskapet til mer enn 3000 i løpet av det siste året, med den japanske meldingsgiganten Line og det sørkoreanske internettkonglomeratet Naver som blant de tidlige brukerne.
Yang nektet å opplyse om selskapets inntektsstørrelse.
Investorer legger merke til BentoMLs trekkraft i utviklerfellesskapet. Oppstarten samlet nylig inn 9 millioner dollar fra sin såkornfinansieringsrunde ledet av DCM Ventures, med Bow Capital som også deltok. DCMs generelle partner, Hurst Lin, har sluttet seg til BentoMLs styre etter runden.
Det sprudlende AI-markedet har vært en velsignelse for BentoML, men den raskt skiftende industrien gjør det også vanskelig for teamet å sjonglere kort- og langsiktige mål, innrømmet Yang.
«Det kan hende du må bygge ting som går på den nåværende trenden, men på lang sikt ønsker vi selvfølgelig å ha vår egen vollgrav. Spørsmålet er hvordan vi balanserer vår tid og menneskelige ressurser mellom de to.»
Oppdatering (28. juni 2023): Artikkelen har tidligere uttalt at Line var et sørkoreansk selskap. Line har hovedkontor i Japan og er et datterselskap av Z Holdings, et joint venture mellom Japans SoftBank og Sør-Koreas Naver.