Hvad er Deepfake Music? Og hvordan skabes det?

I lang tid var musik i stand til at undgå deepfakes verden, fordi det simpelthen var for kompliceret at syntetisere nogens stemme. Det hele ændrede sig med fremskridt inden for AI-teknologi. Det har resulteret i stemmekloner af berømte kunstnere, der kan bruges til at producere nye vokalnumre.

Med AI-værktøjer, der bliver mere tilgængelige for almindelige mennesker, er deepfake-musik et voksende problem. Her er hvad det er, og hvordan det er skabt.

Udviklingen af ​​Deepfake Music

Når du hører din yndlingskunstner synge på Spotify eller YouTube, tror du næppe, at det kunne være falsk, men AI-fremskridt har gjort dette til en realitet. Udover falske billeder og videoer findes der også deepfake musik.

AI-værktøjer kan trofast gengive en persons sangstemme ved at træne en AI-model på lydprøver af deres stemme. Skabt af fans af kunstneren, eller fans af AI-teknologi, forsøger flere mennesker at skabe vokale dobbeltgængere.

Folk har i årevis forsøgt at syntetisere stemmen ved hjælp af en computer, helt tilbage i 1961, hvor IBM 7094 var den første computer, der sang. Du kan høre computergenereret stemme synger Daisy Bell i et YouTube-klip og prøv at forestille dig, hvor fantastisk dette øjeblik var.

Spol frem til det 21. århundrede og AI-teknologi har begge forbedret kvaliteten af ​​syntetiseret stemme og tillod os at gøre ting, de fleste af os aldrig troede var mulige før nu, som at klone folks stemmer.

Bare tag et kig på dette klip af Roberto Nickson, der forvandler sin stemme til kunstneren og rapperen Kanye West. At se videoen føles uhyggeligt, det lyder virkelig ligesom Kanye, men det er også ubehageligt at se. Uden at tænke for meget over, hvordan kunstneren tænker eller føler, og uden tilladelse, kunne det ses som at tilegne sig nogens stemme.

I modsætning til computergengivelsen af ​​Daisy Bell er AI-vokalkloning i stand til at gengive den nøjagtige lighed med nogens stemme, som inkluderer alle de subtile forskelle i klangfarve, der hjælper os med at identificere nogens unikke vokal profil. Ulicenseret, og udført uden tilladelse, har deepfake musik dog nogle alvorlige problemer, som vi kommer ind på senere.

Sådan skabes Deepfake-sange

Forskellige metoder bliver brugt til at skabe deepfake-sange, men mange af dem bruger AI-teknologi. Open source-projekter som SoftVC VITS Singing Voice Conversion-projekt på GitHubhar for eksempel udviklet en AI-model, der gør, hvad den siger i sit navn: konverterer en lydprøve til en sangstemme.

Denne model tager en eksisterende lydfil af nogen, der synger, og konverterer den til en andens stemme. Ting som teksten og rytmen af ​​den originale stemme bevares, men tonen, klangen og de personlige vokalkvaliteter konverteres til den stemme, der er angivet af træningsdatasættet.

Husk, at andre dele af sangen stadig kan produceres manuelt, f.eks. at skabe beats og melodier i samme stil og genre som den originale kunstner.

For at skabe en deepfake af Kanye Wests stemme, skulle et tredjepartsdatasæt indlæses i SoftVC VITS-modellen, som ville omfatte prøver af den rigtige Kanyes stemme. Filen, der indeholder datasættet, er siden blevet fjernet af forfatteren, hvilket ikke er overraskende i betragtning af det uklare juridiske område, der kan komme med uautoriserede datasæt.

Selvom det ikke er blevet omdannet til en kommerciel app, kan du finde en version af SoftVC VITS-model på Google Collab det er mere brugervenligt.

Indtil de etiske og juridiske grænser er på plads, er det muligt, at flere brugervenlige stemmekloningsapps vil pop op - ikke så forskellig fra Drayk.it-appen, som forvandlede en tekstbeskrivelse til sange, der er stylet efter kunstneren Drake. Den blev senere lukket ned.

Nogle andre værktøjer, der bruges til at skabe deepfake musik inkluderer store sprogmodeller som f.eks ChatGPT, som kan bruges til at skrive tekster i stil med en berømt kunstner; og OpenAI's Jukebox og Googles MusicLM, som er generative AI-modeller, der kan skabe musik i rå lydform helt fra bunden.

Kan du høre forskellen?

Et nummer skabt af en anonym bruger kaldet Ghostwriter gik viralt på TikTok i april 2023, ikke en lille del fordi det indeholdt tekster sunget af kunstnerne Drake og The Weeknd. Det var selvfølgelig ikke kunstnernes rigtige stemmer, men falske.

Havde vokalen ikke været så god en kopi af originalen, havde den måske ikke været et hit. Med lidt gravearbejde kunne du ret hurtigt finde ud af, om det var den rigtige vare eller ej, men ved kun at bruge dine ører, kunne du kun gætte, om det var autentisk.

Hvis du vil identificere et AI-genereret billede der er i det mindste et par visuelle aberrationer, du kan kigge efter. Hvad angår lyd, betyder tegn som low-fidelity-lyd eller fejl i sporet ikke meget, da det er kreative valg, der bruges i musikproduktion hele tiden.

Hvad der er endnu mere interessant er, at mange mennesker virkelig kan lide sangen, selv efter at have opdaget, at det ikke var Drake eller The Weeknds rigtige stemmer. Beundrere påpegede, at ikke alt blot blev genereret med AI, og at der gik rigtig dygtighed og arbejde i at skrive teksterne, komponere beats og sætte det hele sammen.

Nummeret kom til Spotify og YouTube, før det blev taget ned i dagene efter, men ikke før fans havde downloadet sangen som mp3. Du kan stadig finde kopier af sangen online, hvis du søger "Heart On My Sleeve, Drake ft. The Weeknd".

Snart nok bliver det næsten umuligt at opdage forskellen mellem AI-genererede vokalkloner og den rigtige menneskelige stemme. Med det i tankerne stiller folk spørgsmålstegn ved, om dette er en god brug af AI-teknologi i første omgang, eller endda en lovlig brug af den.

Problemer med Deepfake Music

På den ene side nyder folk at lytte til fan-lavede mashups af deres yndlingskunstnere og respekterer den kreativitet, der ligger i at gøre det til en realitet. Men evnen til at have vokale kloner i første omgang afhænger af datasæt, der kan eller måske ikke er godkendt.

Uden tilladelse samles prøver af en persons stemme i et datasæt, der derefter bruges til at træne en AI-stemmekonverteringsmodel. Det ligner det problem, man står over for kunstnere, der ønsker at fjerne deres billeder fra træningsdatasæt der bruges til at træne AI-billedgeneratorer som Dall-E eller Midjourney.

Loven om ophavsret er heller ikke helt parat til at håndtere deepfake musik. I 2020 mislykkedes kunstneren Jay-Z i forsøget på at tvinge YouTube til at fjerne AI-genereret lyd af ham, der rappede linjer fra William Shakespeares "To Be or Not to Be" enetale.

Når en deepfake-sang uploades til Spotify eller YouTube, er der også spørgsmålet om, hvem der tjener penge. Skal man kunne tjene penge på en sang, der næsten nøjagtigt kopierer en andens stemme?

Holly Herndon er en kunstner, der har forsøgt at skabe et system, hvor folk kan kompensere hende i bytte for at bruge hendes stemmemodel til at skabe originalt værk. Mens andre kunstnere som Nick Cave har udtalt sig imod AI, skrivning:

Sange opstår ud af lidelse, hvormed jeg mener, at de er baseret på skabelsens komplekse, indre menneskelige kamp, ​​og ja, så vidt jeg ved, føles algoritmer ikke.

Sommetider, AI-genereret tekst kan mangle kreativitet alt i alt, men de er stadig lagt ud på nettet. AI kunne resultere i en masse dårlig musik, der har haft meget lidt indsats i det.

Find en balance mellem musik og kunstig intelligens

Deepfake musik er skabt ved hjælp af AI-værktøjer og AI-modeller, der er blevet trænet på uautoriserede datasæt. Nogle modeller er open source og frit tilgængelige, mens der er gjort andre forsøg på at pakke dem ind i en brugervenlig app.

Efterhånden som flere mennesker får fingrene i deepfake-musikmodeller eller -apps, er det værd at tænke over indvirkningen på kunstneren. At få samtykke til træningsdatasæt og kompensation til kunstneren er blot nogle af de problemer, der truer over AI-musikteknologi.