Dummes AI-videoredigerer lager YouTube Shorts på få minutter
Dumme, en oppstart som tar AI til praktisk bruk i videoredigering, genererer allerede etterspørsel før den åpner opp for publikum. Det Y Combinator-støttede selskapet har hundrevis av videoskapere som tester produktet sitt, som utnytter AI til å lage kortformede videoer fra YouTube-innhold, og en venteliste på over 20 000 førlansering, heter det. Ved å bruke en kombinasjon av både proprietære og eksisterende AI-modeller, er Dummes løfte at den ikke bare kan spare på redigeringstiden, men også – og her er den store påstanden – gjøre en bedre jobb enn den innleide (menneskelige) arbeidsstyrken som ofte har i oppgave videoredigeringsjobber, som å kutte ned langformatinnhold for publisering på kortformede plattformer som YouTube Shorts, TikTok eller Instagram Reels.
Grunnlagt i januar 2022 og en deltaker i oppstartsakseleratoren Y Combinators Winter 2022-program, sa Dumme medgründer og administrerende direktør Merwane Drai at han opprinnelig var fokusert på å bygge en søkemotor for video. Men for rundt seks måneder siden innså teamet at et bedre produkt kan være å gjenbruke de samme AI-modellene de utviklet for å redigere videoklipp i stedet.
Sammen med medgründerne Will Dahlstrom (CPO) og Jordan Brannan (CTO), alle med AI-bakgrunn, innså Drai at Dumme kan ha havnet på riktig produktmarkedspassform etter at appen deres ble viral og krasjet serverne deres.
“Vi hadde egentlig ikke forventet at den ville få mye trekkraft eller noe, så vi bare la noe der ute,” forklarer Drai. “Så det som skjedde er at over natten våknet vi til overbelastede servere – som at ingenting faktisk fungerte. Så vi tok ned alt og satt faktisk sammen en slags venteliste, fortsetter han. “Neste morgen våknet vi sannsynligvis til 5000 mennesker der inne, noe som var interessant.”
Teamet oppdaget senere at en TikTok-skaper hadde lagt ut en kort video om produktet, som sendte en flom av trafikk til nettstedet deres.
“Det roet seg faktisk aldri av det,” bemerker Drai.
Produktet, uttalt “dummy”, appellerte til skaperne fordi det hadde som mål å forenkle og fremskynde arbeidet med videoredigering.
Bildekreditt: Dumme
Å bruke Dumme er så enkelt som navnet tilsier. For å komme i gang limer brukeren inn en YouTube-videos lenke, klikker deretter på “generer”, og AI vil sende ut en rekke korte videoer som viser høydepunkter fra det inntatte innholdet. Selskapet sier at de bruker YouTube som kilde, i stedet for å støtte rå videoopptak, for å outsource innholdsmoderering – det vil si at hvis det er tillatt på YouTube, er det tillatt i Dumme.
Behandlingstiden og antall resulterende klipp vil avhenge av lengden på den originale videoen.
Men som et eksempel kan en time lang videopodcast ta rundt 20 minutter å behandle, og du vil begynne å motta klipp etter omtrent fem minutter, sier Drai. Når de er ferdige, kan skaperne laste ned videoklippene, som er mindre enn 60 sekunder som standard, og laste dem opp til en hvilken som helst plattform som støtter kortformatinnhold, som YouTube Shorts, men også andre plattformer, som Reels eller TikTok.
Bildekreditt: Dumme
Hvordan alt dette fungerer på baksiden, er selvfølgelig mye mer komplekst. Selskapet sier at Dumme i utgangspunktet vil lære så mye den kan fra kildevideoen via metadataene. Deretter transkriberer den videoen og prøver å forstå semantikken i det som blir sagt, samtidig som den ser på rammene for å prøve å dekode følelsene til personen som snakker. Disse funnene er korrelert og sendt til en språkmodell som prøver å finne ut hvilke deler av videoen som er verdig å klippe. Det blir deretter overlevert til en annen modell som sporer aktive høyttalere og håndterer beskjæring.
Dumme sier at den fungerer med eksisterende AI-modeller som GPT-4, en finjustert versjon av Whisper og andre den bygde internt – som modellen som sporer de aktive høyttalerne i en videoramme. En av modellene er også trent på en haug med YouTube-shorts for å finne ut hva som gir en god åpningshok å trekke seere inn i. Og selv om de ikke er live ennå, eksperimenterer teamet også med en åpen kildekode-modell, LaViLa fra Facebook Research, for bedre å forstå konteksten til videoen.
AI-arbeidet gjøres på GPU Cloud-leverandøren CoreWeave, ikke AWS, da det er rimeligere, forteller selskapet.
Fordi Dumme er avhengig av AI som behandler talte ord, er ikke teknologien egnet for ting som lange spillvideoer eller andre der folk ikke snakker. Drai sier at oppstarten i utgangspunktet er rettet mot YouTube-skapere, podcastere og byråer – sistnevnte mener de vil være det beste alternativet for å tjene penger på produktet.
Bildekreditt: Dumme
Byråer, forklarer Drai, outsourcer i dag ofte denne typen arbeid med hit-or-miss-resultater.
“De betaler bare entreprenører i billige jurisdiksjoner for å redigere sitt eget innhold. Og problemet er at det fortsatt er ganske dyrt og det tar mye tid – det tar uker, ikke minutter, sier han.
På spørsmål om hvordan han har det med å lage en teknologi som faktisk vil sette folk uten jobb, var Drai ikke bekymret.
“Måten jeg tenker på det er at til slutt … tror jeg dette er som å fortelle meg at mattelærere skal [be put] uten jobb fordi det er noe som kalles en kalkulator…» forklarer han. «Folk kommer til å tilpasse seg. Og så kommer det til å være noen som lærer deg om kalkulatoren, ikke sant? Så jeg tror det bare er et spørsmål om å tilpasse seg dette, sier Drai.
For øyeblikket involverer prisene som vurderes nivåer der en bedrift vil betale $0,40 per minutt med videobearbeidet, mens mindre skapere i stedet kan velge et månedlig abonnement som er begrenset til 10 timer med innhold per måned. (Disse tallene kan endres.) Under testing har produktet vært gratis å bruke.
Tidlige brukere har brukt Dumme til en rekke redigeringer, inkludert å generere klipp fra videopodcastene deres for å publisere til Shorts, samt kutte ned andre nye videoer og gå gjennom bakkatalogene deres.
Produktet ser ut til å være konkurransedyktig med andre AI-teknologier på markedet, inkludert den fra skaperselskapet Jellysmack, som har utnyttet AI til å gjøre lengre YouTube-videoer til kortere videoer, ved å kutte dem, endre størrelsen på dem og optimalisere dem for spesifikke plattformer – et resultat av Kamua-oppkjøpet i 2021. Andre verktøy som gjør lignende arbeid inkluderer ting som Vidyo.ai, Detail, TubeBuddy, Wisecut og andre. I hvilken grad Dumme lykkes eller mislykkes vil være på å overgå konkurrenter på kvaliteten på arbeidet og kostnadene – beregninger som ennå ikke er bestemt.
Men noen investorer satser på Dumme. I forkant av lanseringen samlet oppstarten inn en seedrunde på $3,4 millioner fra Y Combinator, Caffeinated Capital, Max og Nellie Levchin (gjennom SciFi VC), Suhail Doshi, Nico Chinot, Protocol Labs, Chris Puscasiu og andre engler.
Med tanke på interessen og den betydelige ventelisten, sier Dumme at den tar sikte på å ta med rundt 500 personer hver uke. TechCrunch-lesere kan hoppe over køen ved å bruke invitasjonskoden TECHCRUNCH til sporene går tom.