AI för att ta bort röster i filmer? Ja, det funkar!

[papperskorg]

Jag har inte fandubbat men kom på, jag mixar ibland upp ljud från mono till stereo i vissa filmer, samt stereo till 5.1. vilket kan ta tid, gjorde det manuellt förr. Men så hittade jag spleeter.

https://github.com/deezer/spleeter

Spleeter är en AI som på något sätt kan höra skillnad på röst och musik, men fungerat utmärkt att få bort röster helt i stereo o även mono med bra resultat. För mig är det toppen för att mixa upp ljud men...man får ju ljudet (samt effekterna) på separat spår. (2stems), man kan också filtrera i 4stem och 5stem som är till för gitarr, trummor m.m. den med trummor. Dock använt 2stems.

Fördel, det blir bra kvalité och lätt att arbeta med.

Nackdel, krånglig installation, man ska installera anaconda, git, och sedan programmet. Tog ett par timmar för mig att lista ut. Stereoljud på 3 minuter kan ta upp till 10 minuter på 2stem, (flera gånger längre på 4 o 5, tog 58 minuter för mig, men de uppdaterar ibland så det går nog fortare med tiden). En film på 1 timme tar ett par timmar och det kan hända att minnet tas slut så man bör klippa ljudet till cirka 15 minuter vardera (funkar för mig)

Då är det bara att dubba på och göra egen fandub.

[Simon Axelsson]

Detta kanske jag kan använda om jag någonsin bestämmer mig för att ”nu ska fan Peter Dalle vara med i Dirty Dancing” eller så.

[papperskorg]

Detta kanske jag kan använda om jag någonsin bestämmer mig för att ”nu ska fan Peter Dalle vara med i Dirty Dancing” eller så.

Haha, ja men absolut!

Tror förresten de snart ska uppdatera programmet så man kan välja "memory mode", så den går på lägre minne, tar längre tid men tror man kan göra en hel film med ljud iaf.

[Simon Axelsson]

Haha, ja men absolut!

Tror förresten de snart ska uppdatera programmet så man kan välja "memory mode", så den går på lägre minne, tar längre tid men tror man kan göra en hel film med ljud iaf.

Det låter ju bra, får se till att skaffa det när jag fått en bra dator

[Peter Tägtström]

Mycket intressant, ska ge det ett försök.

[papperskorg]

Det tycker jag ni ska. Är ett kraftfullt program.

[Peter Tägtström]

Oj. Det fungerade ju fantastiskt bra.

[papperskorg]

Sa ju det.
Btw, gjort lite test med kvalité i mina öron med spleeter:

Ac3 (256kb) - Bra
Wav - Bäst
Aiff - Bäst
Ogg - Bättre än bra, närmare bäst
Mp3 (256kb) - Okey ibland bra beroende på

Finns ett alternativ till men inte gratis som spleeter och det är iZotope RX, den har en "rebalance music" där man ta ut röst från musik och ljudeffekter men....den är dålig på basröst och låter "pixlig" eller hur man ska förklara det om filen råkat vara i ac3, mp3 eller liknande, ogg och wav/aiff funkar finfint för den ifs.

[Daniel Hofverberg]

Det här låter alldeles för bra för att vara sant, men onekligen mycket intressant. Det är värt att testa...

[Peter Tägtström]

Jag testade att göra detta på en gammal tecknad japansk serie som heter Transformers Victory, som jag enkom har hittat i mono-ljud (tror inte det existerar i stereo), och ingen teknik att lyckas lyfta bort rösterna (med Audacity, Cool Edit osv.) har fungerat, men Spleeter gjorde det riktigt bra med tanke på förutsättningarna. Det ger mig helt andra möjligheter att använda vissa ljudeffekter och/eller bakgrundsmusikstycken.

Nu kan nog ingen av er relatera till klippet som jag lyft bort rösterna med just Spleeter, och man hör tydligt vart rösterna har varit i just detta fall, men det är fortfarande ett riktigt bra alternativ för mig när det gäller just denna serie (som jag och ett annat gäng gör om från japanska till engelska).

https://youtu.be/4QSZ3m5huVg

Jag slängde ihop detta klipp från Transformers Säsong 3, ett originalklipp, ett utan röster och ett bara med röster. Inte perfekt, men mycket användbart.

https://youtu.be/6TTaudEsvp0

[papperskorg]

Man kan träna den själv också med just specifikt ljud från film/serier, har dock aldrig lyckats klura ut hur. För det kan ställa till det lite om det är brusigt ljud. Men det går någorlunda om den ljudtvättas i extrema fall.

Ja visst låter det som "2 good 2 b tru'" var ytterst skeptisk när jag testade för första gången.

Finns ett till program som kan återskapa lofi-ljud eller sparade i urusel kvalité och få det låta som att det nästan var cd-kvalite igen. Ska se om jag lyckas hitta det igen, va inget lätt att hitta men den går på nån algorithm som är tränad med AI också.

[papperskorg]

Jag testade att göra detta på en gammal tecknad japansk serie som heter Transformers Victory, som jag enkom har hittat i mono-ljud (tror inte det existerar i stereo), och ingen teknik att lyckas lyfta bort rösterna (med Audacity, Cool Edit osv.) har fungerat, men Spleeter gjorde det riktigt bra med tanke på förutsättningarna. Det ger mig helt andra möjligheter att använda vissa ljudeffekter och/eller bakgrundsmusikstycken.

Nu kan nog ingen av er relatera till klippet som jag lyft bort rösterna med just Spleeter, och man hör tydligt vart rösterna har varit i just detta fall, men det är fortfarande ett riktigt bra alternativ för mig när det gäller just denna serie (som jag och ett annat gäng gör om från japanska till engelska).

https://youtu.be/4QSZ3m5huVg

Jag slängde ihop detta klipp från Transformers Säsong 3, ett originalklipp, ett utan röster och ett bara med röster. Inte perfekt, men mycket användbart.

https://youtu.be/6TTaudEsvp0

Får jag använda länkarna i ett privat email? Skulle vilja visa en som frågat om det hur det låter? Har inte vågat ladda upp på youtube.

[Peter Tägtström]

Ja, det är bara att köra.

[Daniel Hofverberg]

Jag testade att göra detta på en gammal tecknad japansk serie som heter Transformers Victory, som jag enkom har hittat i mono-ljud (tror inte det existerar i stereo), och ingen teknik att lyckas lyfta bort rösterna (med Audacity, Cool Edit osv.) har fungerat, men Spleeter gjorde det riktigt bra med tanke på förutsättningarna. Det ger mig helt andra möjligheter att använda vissa ljudeffekter och/eller bakgrundsmusikstycken.

Nu kan nog ingen av er relatera till klippet som jag lyft bort rösterna med just Spleeter, och man hör tydligt vart rösterna har varit i just detta fall, men det är fortfarande ett riktigt bra alternativ för mig när det gäller just denna serie (som jag och ett annat gäng gör om från japanska till engelska).

https://youtu.be/4QSZ3m5huVg

Jag slängde ihop detta klipp från Transformers Säsong 3, ett originalklipp, ett utan röster och ett bara med röster. Inte perfekt, men mycket användbart.

https://youtu.be/6TTaudEsvp0

Tack så mycket för klippen - mycket intressant att höra.

Det är ju långt ifrån hundraprocentigt, och i båda klippen hör man ju tydliga "biljud" där rösterna har funnits - men vid material där inga M&E-spår finns att tillgå för gemene man, så är det ju oerhört mycket bättre än ingenting.

Vågar man gissa (och hoppas) att Spleeter kan fungera bättre vid filmer/serier med lite mer "mänskliga" röster...? Trots allt borde ju Transformers vara en mardröm, med så mycket elektroniska och pitchade röster, så att det bör vara väldigt svårt för vem som helst att kunna bedöma vad som är röster och vad som är ljudeffekter - det är ju på håret att ens människor kan avgöra det i en del scener...

Nackdel, krånglig installation, man ska installera anaconda, git, och sedan programmet. Tog ett par timmar för mig att lista ut. Stereoljud på 3 minuter kan ta upp till 10 minuter på 2stem, (flera gånger längre på 4 o 5, tog 58 minuter för mig, men de uppdaterar ibland så det går nog fortare med tiden). En film på 1 timme tar ett par timmar och det kan hända att minnet tas slut så man bör klippa ljudet till cirka 15 minuter vardera (funkar för mig)

Har du installerat programmet i Windows eller i Linux? Jag har inte försökt mig på det här än, men Python-script och Anaconda brukar ju oftast vara lättare att få till i Ubuntu (eller annan Linux-miljö) under Windows 10 istället för direkt i Windows; inte minst då ju de flesta Linux-distributioner har Python inbyggt... Men det förutsätter ju att programmet inte kräver någon grafisk miljö, eftersom det begränsade Linux i Windows 10 bara erbjuder kommandotolk utan grafik.

[papperskorg]

Jag kör via Windows 10 i Powershell.

Den är egentligen tränad på riktiga röster och är till för att kunna ta isär låtar för alla instrument och vokaler för att kunna mixa om eller göra remix.

Men kom på att den funkade lika bra för att plocka isär filmer också. Så vanliga röster lär vara bäst.

Jag kör med installerat GIT och ANACONDA endast. Man behöver sätta "path" bara så är det bara att följa instruktionerna på github på spleeter.. path lkan man klicka i anaconda under installation och funkar om man kör som administratör. Miniconda tror jag saknar en del så rekommenderar anaconda. Python är en del av anaconda så kräver inget extra installerat