Vänta bara! (Nu pogodi!, 1969 - 2017)

[Benkt]

Angående Nu Podogi så har jag så smått börjat peta i det seriöst, men det är riktigt lurigt och kommer att ta lång tid. Vilken skillnad om det hade funnits undertexter på de ryska utgåvorna...

[Daniel Hofverberg]

Funkar inte eller är det bara jag nu igen?

Den verkar ta lite tid att ladda, då det är en ganska stor fil och ligger direkt på Dubbningshemsidans server (som inte är en någon anpassad streamingserver) - men om den inte går att börja spela upp inom en liten stund, så klicka på länken så bör du få upp den i en ny flik i helskärm alternativt att filen laddas hem.

[Daniel Hofverberg]

Helt klart en förbättring mot tidigare (förutom de saker som du nämner). Har du kollat att Amigo och berättarens röst är samma i olika avsnitt ?.

Nej, jag har inte kollat upp något alls, mer än dessa minuter.

Däremot finns möjligheten att ändra översättning på ord och uttal i Kapwing, samt se hela texten innan dubbning. Konstigt att det inte finns i ElevenLabs än. Tyvärr kunde jag inte prova den funktionen i Kapwing som gratisanvändare.

Det går med den äldre dubbningsmodellen i ElevenLabs, men inte i den nysläppta modellen som bara funnits ute i ett par veckor. Jag har inte testat den funktionen än, men eftersom ElevenLabs just nu erbjuder halva priset första månaden på Creator-planen så har jag tecknat abonnemang för att kunna kolla upp det närmare.

Jag har i alla fall testat den gamla och nya modellen i ElevenLabs med det mest utmanande jag kunnat komma på - en scen ur Scooby-Doo, med både ordvitsar, folk som pratar samtidigt och spännande scener. Mycket mer utmanande än så här lär bli svårt att hitta...

Här är exakt samma scen dubbat med gamla klassiska modellen i ElevenLabs (med helautomatisk dubbning) och den nya Dubbing V2 Alpha:

https://www.dubbningshemsidan.se/Scooby_Doo_ElevenLabs_V1.mp4

https://www.dubbningshemsidan.se/Scooby_Doo_ElevenLabs_V2.mp4

I den automatiska dubbningen med den gamla modellen kan man inte ställa in någonting alls. I den nya valde jag en talarlikhet på 2 av 10, då jag tyckte att det är viktigast att slippa utländsk brytning (då svenskt tal med engelsk brytning låter ganska illa) och att röstlikheten inte är lika viktig.

Som ni hör är ingen av dem direkt godtagbar utan att kunna ändra dialogen, men den nya modellen är helt klart mycket bättre; och förutom en del ordvitsar och ordval är den riktigt bra. Den äldre modellen får en väldigt påtaglig amerikansk brytning, vilket tyvärr förstör ganska mycket...

Det här är ingenting jag har tänkt att göra "på riktigt" med AI-dubbning, då The New Scooby-Doo Movies känns görbart att kunna dubba med livs levande personer - utan det här var bara ett test för att se hur ElevenLabs skulle handskas med en riktigt svår serie.

[Daniel Hofverberg]

Helt klart en förbättring mot tidigare (förutom de saker som du nämner). Har du kollat att Amigo och berättarens röst är samma i olika avsnitt ?.

Jag laddade upp ThunderCats outtakes på Kapwing i höstas för att se hur det blev. Det började bra med röstkloningen och rösterna, men sen gick det utför. Har märkt att det blir samma i egna klipp att Kapwing både ändrar röster (samma person) och blandar ihop dem.

Däremot finns möjligheten att ändra översättning på ord och uttal i Kapwing, samt se hela texten innan dubbning. Konstigt att det inte finns i ElevenLabs än. Tyvärr kunde jag inte prova den funktionen i Kapwing som gratisanvändare.

Nu har jag provat att dubba ett helt avsnitt av Amigo och hans vänner med Dubbing Studio med den äldre versionen av ElevenLabs dubbningsmodell (där det går att redigera dubbningen), och det är riktigt avancerat men på samma gång inte så avancerat... Mina reflektioner så här långt:

Det är enkelt att redigera dialogen, genom att bara ändra i textrutorna för översättningen. Nedanför finns ett grafiskt gränssnitt där man ser varje replik och varje rollfigur - ElevenLabs verkar nästan aldrig ta fel på vem som säger vad, men skulle den göra det är det bara att dra den repliken till rätt rollfigur. Det gick också hyfsat enkelt att lägga till uppläsning av textskyltar med valfri röst, så att man alltså kan lägga till mer än vad som finns med i originalet.

ElevenLabs anpassar läppsynken genom att varje replik börjar och slutar på exakt samma ställe som i originalet. Det innebär alltså att om den svenska texten är längre än originalspråket kommer rollfiguren prata snabbare, och är texten kortare kommer rollfiguren prata långsammare. Där kan man alltså behöva korta ner eller förlänga dialogen så att det blir någorlunda rimlig hastighet på talet. Man kan också dra ut eller dra in replikerna, om man kan acceptera att rollfiguren börjar eller slutar prata före eller efter originalet. Det är lämpligt att göra vid berättarröster, då ElevenLabs inte kan avgöra om rollfiguren syns i bild eller inte; och om någon inte syns i bild finns det ju inte samma behov av att börja och sluta prata vid rätt tidpunkt.

Så här ser gränssnittet ut:


Vid ett par tillfällen hände det mig att ElevenLabs insisterade på att utläsa enstaka repliker på danska istället för svenska - tydligen kommer ElevenLabs att identifiera språket automatiskt, och om en replik heter exakt lika på danska och svenska kommer den prioritera danska och läsa upp det på danska... Inte så önskvärt - då får man lov att ändra i texten, så att den inte längre matchar danska; exempelvis genom att lägga in avsiktliga felstavningar. Exempelvis insisterade den på att uttala "I havet" på danska, så för att komma runt det fick jag ändra dialogen och skriva "I haavet" istället.
(Förmodligen är det gjort så här för att den ska uttala rätt om enstaka ord är på exempelvis engelska i ett spanskspråkigt original, men det uppstår ju problem vid språk som är så pass lika varandra som svenska, danska och norska)

Blir man inte nöjd med något uttal eller inlevelse kan man också för specifika repliker välja att spela in repliken själv med mikrofon, som automatiskt kommer göras om till att tala med rätt rollfigurs röst. Blir lite för bökigt att göra alltför ofta, men är det bara enstaka repliker är det fullt görligt.

Dock verkar möjligheterna i övrigt att påverka hur den läser upp replikerna och inlevelsen vara begränsade. Jag har försökt att förbättra inlevelsen, men har hittills inte lyckats; och den verkar inte alltid bibehålla rätt tonalitet och känsla från originalet. Förhoppningsvis finns det inställningar jag ännu inte hittat åt, men det verkar inte helt enkelt.


Jag har heller inte lyckats hitta något sätt att komma undan att alla rollfigurer får en viss brytning från originalspråket - det kan gå att minska ner det lite grand, men det verkar inte gå att undvika helt. Hur mycket det gör varierar väl från fall till fall.

I Amigo och hans vänner gör det ingenting alls, då även Andreas Nilsson i TV-dubben talade med spansk brytning; och figuren så tydligt kommer från Mexiko. I Vänta bara! tycker jag heller inte att det gör något med en svag rysk brytning. Är det produktioner på franska eller italienska är det nog som regel heller inte så farligt med en viss brytning.

Men försöker man dubba något engelskspråkigt är det mindre önskvärt med en engelsk brytning (som hördes i klippet från Scooby-Doo här ovan), som ibland kan distrahera väldigt mycket och låter ganska onaturligt. Det är dock sällan jag ser något större behov av att använda AI-assisterad dubbning från språk man faktiskt själv behärskar, så åtminstone för mig kan jag inte se framför mig att vilja använda den här metoden för att dubba från engelska i närtid - andra kanske känner annorlunda, men det är min spontana känsla här och nu.

Här kommer ett smakprov från dubbningen, med tre utvalda scener ur avsnittet; som jag har bearbetat en del och försökt korrigera en del uppenbara problem med ordvitsar och annat:

https://www.dubbningshemsidan.se/Smakprov_Amigo_ElevenLabs_Dubbing_Studio.mp4

Som ni märker varierar resultat en del - bitvis låter det riktigt bra, och bitvis låter det alltför monotont och "robotlikt"; så att inlevelsen inte duger. Förhoppningsvis finns det sätt att förbättra det, men det här är åtminstone resultatet så här långt. Däremot är ElevenLabs riktigt bra på att filtrera bort originaldialogen och få fram konstgjorda M&E-spår - mycket bättre resultat än från Python-skriptet Spleeter, som jag tidigare testat en del med.

Sen är alltså redigeringsmöjligheter på gång till ElevenLabs nya förbättrade dubbningsmodell, men oklart när det kommer. Dröjer det inte alltför länge är det antagligen värt väntan.

För övrigt har ElevenLabs en ovanligt bra kundsupport, och det här är första gången jag varit med om att en AI-robot på en support har gett bra svar och varit till hjälp; som ger utförliga och korrekta svar vad man än frågar om - annars brukar ju sådana som regel bara komma med "goddag yxskaft"-svar och liknande. Faktum är att det dröjde tre mail fram och tillbaka från ElevenLabs innan jag insåg att jag har "pratat" med en robot hela tiden; då jag länge trodde att det var en livs levande människa som var ovanligt snabb på att svara på mail...