Hvad er OpenAI's Jukebox, og hvad kan du gøre med det?

Generativ AI breder sig langsomt til stadig flere discipliner i den kreative industri. Det startede med AI-kunstgeneratorer og spredte sig derefter til at skrive med AI-genereret tekst. Nu kan vi tilføje musik til listen.

I den nærmeste fremtid vil AI-genereret musik, affødt fra bunden, blive en realitet. Faktisk er det allerede en mulighed med Jukebox, OpenAIs musikskabende AI-model. Det er endnu ikke tilgængeligt i et brugervenligt program, og det lyder ikke godt nok endnu, men de algoritmiske knogler er der.

Her er, hvad du behøver at vide om OpenAIs Jukebox, og hvad du kan gøre med den.

Jukebox: AI, der genererer musik som rå lyd

Jukebox er et neuralt net, der kan generere musik i rå lydform, når du giver det input som genre, kunstner eller tekst. Det blev udgivet i april 2020 af OpenAI, det samme firma, der bragte os AI-kunstgeneratoren ved navn Dall-E, og AI-chatbotten kaldet ChatGPT.

I modsætning til Dall-E, som spredte sig hurtigt over hele verden og gjorde AI til et febrilsk emne for nyheder og medier, registrerede Jukebox ikke en bred vifte af interesse efter udgivelsen. En grund til dette er, at den ikke har en brugervenlig webapplikation - i hvert fald ikke endnu.

Du kan finde koden på OpenAI hjemmeside, sammen med en dybdegående forklaring af, hvordan kodnings- og afkodningsprocessen fungerer.

En anden sandsynlig årsag er, at det tager enormt meget tid og computerkraft. For at give dig en idé kan kun et minuts lyd tage 9 timer at gengive. Du skal have en vilje til at udforske modellen i dens kodeform, plus en masse tålmodighed, hvis du vil se, hvad en AI-model kan gøre for at generere musik.

Eller du kan springe til Jukebox Sample Explorer. Det er her, OpenAI har postet sine eksperimenter med at generere sange i lighed med Ella Fitzgerald eller 2Pac.

For at være klar, andre AI-musikværktøjer eksisterer for at hjælpe dig med at generere en sang, men de genererer ikke lyd fra bunden. I stedet kombinerer de enten forudindspillede samples eller skaber MIDI-information, der sendes gennem en digital synthesizer.

Hvordan lyder Jukebox?

Resultaterne af Jukebox er genkendelige, men mærkelige. Det er ikke svært at forstå formen på sangen og den genre, den tilhører, men kvaliteten af ​​resultaterne får det til at lyde, som om du lytter til noget af det tidligst indspillede musik: det vil sige dæmpet med masser af støj.

Det er sikkert at sige, at Jukebox ikke producerer den slags high-fidelity-lyd, du ville høre fra et par gode hovedtelefoner. Det er mere beslægtet med at høre musik fra en radiostation, der ikke er fuldt indstillet til den rigtige frekvens. Nogle sange er genudførelser, mens andre er fortsættelser af eksisterende sange. Der er også en kategori for nye kunstnere og stilarter og usete tekster.

På trods af lydkvaliteten beskriver tidlige eksperimentatorer at være betaget af den uhyggelige skønhed og bizarre natur af musikken skabt af Jukebox. "Som et soundtrack til dokumentation om et ukendt land med en ukendt kultur", skriver Merzmench på Medium.

I øjeblikket er resultaterne langt fra gode nok til at kopiere eller endda erstatte musik skabt af mennesker, men det teknologien bevæger sig hurtigt, og snart nok vil modeller som Jukebox være i stand til at udføre disse bedrifter også.

Hvordan OpenAI's Jukebox blev trænet

En del af, hvordan Jukebox er i stand til at skabe musik, der aldrig har eksisteret før, er, at den er trænet på musik fra rigtige musikere. OpenAI forklarer, at:

"For at træne denne model gennemgik vi nettet for at sammensætte et nyt datasæt med 1,2 millioner sange (hvoraf 600.000 er på engelsk), parret med de tilsvarende tekster og metadata fra LyricWiki."

Crawling for data er en praksis, der bruges af nogle AI-virksomheder til at skabe et sæt data, som en AI-model kan bruge til at lære af og træffe beslutninger, når de genererer et billede, tekst – eller i dette tilfælde – musik. Datasæt, der er oprettet ved gennemgang, er kontroversielle, fordi der ikke opnås samtykke fra ejerne af dataene i første omgang. Selvom nogle platforme giver dig mulighed for det fravælge dit indhold fra datasæt.

Du tror måske, at 1,2 millioner sange er meget, men til sammenligning blev Dall-E 2 trænet på hundredvis af millioner af billed-tekst-par fra internettet. Med det i tankerne har Jukebox sin begrænsning.

Dens relativt lille træningsbassin kan ikke fange rigdommen og mangfoldigheden af ​​menneskelig musik. OpenAI har udtalt, at det stort set er trænet i vestlig musik, hvilket repræsenterer en klar bias i, hvilken musik den er i stand til at generere.

Hvad kan du gøre med Jukebox?

Så med dets begrænsninger i tankerne, hvad kan du gøre med Jukebox? En hurtig måde at besvare det spørgsmål på er at sige, hvad du ikke kan med Jukebox.

Fordi det tager tæt på en halv dag at gengive et minuts musik, er det ikke særlig nyttigt til at producere musik. I hvert fald ikke i traditionel forstand. Normalt bevæger musikere sig frem og tilbage mellem at spille rundt på et instrument (improvisere) og planlægge strukturen af ​​en sang. Den samme slags eksperimenter er ikke mulig med Jukebox.

Da det ikke er let at lave en sang med Jukebox på dette tidspunkt, kan du tænke på det mere som en ny måde at generere musikprøver på. Når du har genereret lyd, som du kan lide, kan du bruge den i dine kreative projekter, som du plejer.

Videoen nedenfor er resultatet af en person, der har brugt musik skabt med Jukebox til at understrege en kort montagevideo.

Kunstig intelligens har en bred vifte af applikationer også uden for kreative applikationer, hvorfor det er værd forstå, hvad AI er og de farer, det udgør.

Er du rørt af AI Music?

Musikken, der genereres af Jukebox, er ikke let at afvise, og på trods af al dens mærkelighed og uhyggelige, menneske-maskine-kvalitet, lyder den i sidste ende som musik. Mens musikindustrien har brugt AI-værktøjer i nogen tid nu, er muligheden for at generere musik som rå lyd først nu en realitet.

Men selvom modellerne som Jukebox eksisterer, er de endnu ikke pakket ind i et kommercielt værktøj og mangler stadig de menneskelige musikeres evner.