Meta open sources en AI-drevet musikkgenerator

On By admin

For ikke å bli overgått av Google har Meta gitt ut sin egen AI-drevne musikkgenerator – og, i motsetning til Google, åpnet den med åpen kildekode.

Kalt MusicGen, Metas musikkgenererende verktøy, som du finner en demo her, kan gjøre en tekstbeskrivelse (f.eks. «En drivende popsang fra 80-tallet med tunge trommer og synthpads i bakgrunnen») til omtrent 12 sekunder med lyd, gi eller ta. MusicGen kan valgfritt “styres” med referanselyd, som en eksisterende sang, i så fall vil den prøve å følge både beskrivelsen og melodien.

Meta sier at MusicGen ble trent på 20 000 timer med musikk, inkludert 10 000 “høykvalitets” lisensierte musikkspor og 390 000 instrument-bare spor fra ShutterStock og Pond5, et stort mediebibliotek. Selskapet har ikke gitt koden det brukte for å trene modellen, men det har gjort tilgjengelig forhåndstrente modeller som alle med riktig maskinvare – hovedsakelig en GPU med rundt 16 GB minne – kan kjøre.

Så hvordan opptrer MusicGen? Vel, jeg vil si – men absolutt ikke godt nok til å sette menneskelige musikere ut av en jobb. Sangene er rimelig melodiske, i det minste for grunnleggende spørsmål som “ambient chiptunes music”, og – for mine ører – på nivå (om ikke litt bedre) med resultatene fra Googles AI-musikkgenerator, MusicLM. Men de vil ikke vinne noen priser.

Her er utdataene fra MusicGen for “jazzy heismusikk”:

Og her er MusicLMs syn:

Deretter ga jeg en mer komplisert oppfordring til å prøve å kaste MusicGen for en loop: “Lo-fi slow BPM electro chill with organic samples.” MusicGen overgikk overraskende MusicLM når det gjelder musikalsk sammenheng, og produserte noe som lett ville finne et hjem på Lofi Girl.

Her er MusicGens eksempel:

https://techcrunch.com/wp-content/uploads/2023/06/tmps2j8o4zf.mp4

Og her er MusicLMs:

For å endre ting litt, prøvde jeg å bruke begge verktøyene for å generere en piano-diff i stilen til George Gershwin. Jeg sier «prøvd» fordi, i et forsøk på å forhindre opphavsrettsproblemene rundt generative musikkverktøy, implementerte Google et filter i den offentlige versjonen av MusicLM som blokkerer spørsmål som nevner spesifikke artister.

MusicGen har ikke noe slikt filter. Men resultatene for “Background piano music in the style of Gershwin,” la noe å være ønsket, jeg må si:

https://techcrunch.com/wp-content/uploads/2023/06/tmpc76_v288.mp4

Generativ musikk blir tydelig bedre (se Riffusion, Dance Diffusion og OpenAIs Jukebox). Men store etiske og juridiske spørsmål er ennå ikke løst. AI som MusicGen “lærer” av eksisterende musikk for å produsere lignende effekter, et faktum som ikke alle artister – eller generative AI-brukere – er komfortable med.

I økende grad har hjemmelagde spor som bruker generativ AI for å fremkalle kjente lyder som kan fremstå som autentiske, eller i det minste nær nok, blitt virale. Musikkselskaper har vært raske med å rapportere dem til streamingpartnere, med henvisning til immaterielle rettigheter – og de har generelt vunnet. Men det er fortsatt en mangel på klarhet om hvorvidt “deepfake” musikk bryter opphavsretten til artister, plateselskaper og andre rettighetshavere.

Det kan ikke være lenge før det er veiledning om saken. Flere rettssaker som kommer gjennom domstolene vil sannsynligvis ha betydning for musikkgenererende AI, inkludert en som gjelder rettighetene til artister hvis arbeid brukes til å trene AI-systemer uten deres viten eller samtykke.

På sin side sier Meta, som ikke pålegger restriksjoner på hvordan MusicGen kan brukes, at all musikken MusicGen ble trent på var “dekket av juridiske avtaler med rettighetshaverne,” inkludert en avtale med Shutterstock.



Read More