AI för att ta bort röster i filmer? Ja, det funkar!

[Daniel Hofverberg]

Det vore mycket intressant att se hur det här programmet klarar av 1958 års From All of Us To All of You (och övriga julprogram), som vi har planer på att tilläggsdubba på svenska, norska och danska. Benjamin Syrsa har väl visserligen ingen riktigt "vanlig" röst, men betydligt vanligare än "robotrösterna" i Transformers i alla fall...

[Peter]

Provade följande:


https://www.youtube.com/watch?v=8lnYWLphMvo

Till:


https://youtu.be/ImbBFictgYY

[Daniel Hofverberg]

Tack för länkarna. Tyvärr inte så bra som jag hade hoppats på - även där uppstår "spökljud" där rösterna var, och ännu värre var att musiken under sången verkar ha blivit till fel tonart vid de partier där sångaren sjöng samtidigt...

Fortfarande betydligt bättre än ingenting, men det är långt ifrån hundraprocentigt.

[Peter]

Kan ju bero på källan, med en bättre ursprungskvalité hade det garanterat låtit bättre.

I våra fandubbningar, med detta sätt att ta bort röster, läggs ju oftast den svenska rösten precis där den engelska varit, och då är det inte lika tydligt att höra de biljuden som märkt musiken.

Jag är dessutom amatör på detta, gissar att man kan göra det mycket bättre med mer kunskap och fler försök.

[Goliat]

Kan tillägga att när man lägger på nya röster blir det bättre. Rekommenderar varmt att köra en kompressor, alternativt en transient processor. Det kan göra underverk.

Och ja, ju bättre ljud ju bättre resultat. En del har en kompressor använts det kan man höra på en del inspelningar att brus blir högre när de slutar talar som exempel.

[Goliat]

Sedan kan manlägga till 16khz för att få bättre kvalité på ljudet men det tar längre tid.

Slutresultatet är svårt att föreställa sig före man gjort provdubbning.

[Daniel Hofverberg]

Sedan kan manlägga till 16khz för att få bättre kvalité på ljudet men det tar längre tid.

Hur gör man det?

Själv lyckas jag inte installera Spleeter och Anaconda i Windows, får bara en massa felmeddelanden, men ska göra ett nytt försök i Linux istället...

[Goliat]

Man får installera Git först:

https://gitforwindows.org/

Sedan anaconda, med python 3.7, glöm inte köra som admin och "add path" när det kommer upp som val. Starta om datorn efter.

https://www.anaconda.com/distribution/

Sedan i en mapp där du vill installera (skrivbordet eller dokument eller musik-mappen, inte bland program det ställer till det) klickar man shifttangenten och högerklickar, väljer powershell.

I powershell skriv:

git clone https://github.com/Deezer/spleeter

Sedan:

conda install -c conda-forge spleeter

Så nu kan du lägga in en musikfil i spleeter-mappen helst wav sedan skriv:

python -m spleeter separate -i spleeter/ljudfil.wav -p spleeter:2stems -o output

Alternativt efter 2stems kan du skriva 2stems-16KHz, det tar en liten stund då den ska ladda ner själva träningsfilen som vet hur den ska göra. Filen hamnar sedan i en mapp som heter output i spleeter-mappen.

Hoppas det hjälper.

Kan tillägga, ibland kan det gå riktigt segt så det är som datorn hängt sig. Gör inget samtidigt, ibland kan det ta lång tid. Upp till 60 minuter kan det ta för icke kraftfulla datorer. Bara vänta och vänta.

[Oscar Isaksson]

Undrar om det här programmet fungerar på gamla filmer i "public domain" som jag bl.a. ska använda mig av:


https://www.youtube.com/watch?v=wtjZSfPOoYQ&t=106s


https://www.youtube.com/watch?v=sUEHwKg9hI0


https://www.youtube.com/watch?v=PBNLJGIPgkM

[Daniel Hofverberg]

Undrar om det här programmet fungerar på gamla filmer i "public domain" som jag bl.a. ska använda mig av:

(...)


https://www.youtube.com/watch?v=PBNLJGIPgkM

Bra fråga! Jag kan testa, om jag lyckas få igång det.

Gullivers resor hade ju helt klart varit intressant att sätta tänderna i, som i Sverige bara fått en ganska dålig lektordubb med en enda skådespelare...

[Lilla My]

Bra fråga! Jag kan testa, om jag lyckas få igång det.

Gullivers resor hade ju helt klart varit intressant att sätta tänderna i, som i Sverige bara fått en ganska dålig lektordubb med en enda skådespelare...

Ååååh jaa! Har velat se en svensk dubbning av den filmen sedan jag var liten

[Peter]

Ååååh jaa! Har velat se en svensk dubbning av den filmen sedan jag var liten

Gjorde ett test;

https://youtu.be/BvnCEC1P3Bs

[Oscar Isaksson]

Hm, kan funka i slutändan, lite klippa och klistra så man får en god nog mix.

[Lilla My]

Gjorde ett test;

https://youtu.be/BvnCEC1P3Bs

Oooh snyggt!

[Goliat]

Spleeter finns nu med GUI!

https://makenweb.com/spleeter2.php