News Lip-Sync Dubbing mit AI kommt wohl

[NK1966]

Wozu der ganze Unsinn? In den vergangenen gut neunzig Jahren der Synchronisation ist ja wohl kaum jemand auf die Idee gekommen, die Dialoge von den Lippen abzulesen, zumal kaum jemand über diese Fähigkeit verfügt.

 

[Rex]

Ist mit mittlerweile auch egal. Neue Filme schaue ich kaum noch. Die Reise geht eher zurück in die Vergangenheit. Interessante deutsche Synchronsprecher gibt es kaum noch und allgemein ist die Qualität der Synchros in Deutschland ziemlich kacke geworden.

Und hey, vielleicht bleibt uns somit so ein Quatsch erspart dass man irgendwelche nutzlosen Influecer als Sprecher engagiert um die ganzen desinteressieren ADHS-Depri-Gen-Alpha-Blagen abzuholen.

 

[DaMikstar]

Wozu der ganze Unsinn? In den vergangenen gut neunzig Jahren der Synchronisation ist ja wohl kaum jemand auf die Idee gekommen, die Dialoge von den Lippen abzulesen, zumal kaum jemand über diese Fähigkeit verfügt.

Genauso wie man erkennt, wenn Bild und Ton asynchron sind, erkennt man, wenn die Lippenbewegung nicht zum Gesprochenen passt. Mich stört sowas extrem!

 

[Nothingface]

Sollen sie mal machen. Meine Kult Synchros nimmt mir keiner mehr weg und leider sind fast alle meine Lieblingssprecher entweder gestorben oder in Rente.
Ich weiß, eigentlich geht es um was anderes hier aber vom AI-Lip Sync zu AI Synchro isses nicht weit.

Wenn das kommen sollte wie zum Geier wollen die das auf Disc umsetzen? O-Ton mit deutscher Lip Sync stelle ich mir nicht so prall vor

Synchros zu neuerem Content schaue ich eigentlich nur noch im Kino.

Britische Sachen sowieso nur O-Ton.

Interessant werden könnte es bei Sprachen die sich von unserer extrem unterscheiden. Asiatische Sachen zum Beispiel.

Könnte man diese Technik von Cameron fern halten? Nicht, dass der noch auf ganz komische Ideen kommt....

 

[cvs]

Wozu der ganze Unsinn? In den vergangenen gut neunzig Jahren der Synchronisation ist ja wohl kaum jemand auf die Idee gekommen, die Dialoge von den Lippen abzulesen, zumal kaum jemand über diese Fähigkeit verfügt.

Meiner Meinung nach hat da aber schon eine Sensibilisierung beim anspruchsvollen Publikum stattgefunden. Möglicherweise durch die heutzutage problemlose Möglichkeit, Filme auf Knopfdruck auch in der Originalsprache anhören zu können. Da wird der Unterschied dann schnell deutlich.

Fakt ist, dass schludrige Synchronarbeit, bei denen nicht oder nur wenig auf die Treffsicherheit bei Labialen, also Buchstaben, bei denen sich der Mund schließt (z.B. M, B, P), geachtet wird, durchaus unangenehm auffällt. Innerhalb eines vollständig synchronisierten Films wird das zwar weitgehend akzeptiert, aber achte mal auf Fälle, in denen nur ein Teil der Besetzung offensichtlich eine andere Sprache bei den Aufnahmen gesprochen hat. Ich empfehle eine deutsche Co-Produktion mit teils deutschsprachigen, teils internationalen Darstellern. Da fallen die nicht synchronen Lippenbewegungen der synchronisierten Schauspieler viel mehr ins Gewicht, wenn sie in einer Szene mit lippensynchronen deutschsprachigen Mimen agieren.

Und deshalb würde ich auf lange Sicht durchaus schon einen Mehrwert in den bearbeiteten Mundbewegungen vermuten. Bei Animationsfilmen wurde das ja ansatzweise schon mit großem Aufwand versucht. Ist also gar keine so abwegige Idee. Und wenn es dank K.I. in einem bezahlbaren Rahmen bleibt, und das ganze auch nahtlos und nicht aufgesetzt aussieht, sicher eine Option für die Zukunft.

Da bin ich eher bei der Ersetzung echter Stimmen durch K.I.-Klone skeptisch. Wie viel Seele und auch sympathische Fehler, menschliche Regungen verlorengehen werden. Und wie die K.I. Dinge wie stottern, Dialekte, die sich überschlagende Stimmen, Ironie und Witz auf die Reihe bekommen soll.

 

[HalexD]

Ist mit mittlerweile auch egal. Neue Filme schaue ich kaum noch. Die Reise geht eher zurück in die Vergangenheit. Interessante deutsche Synchronsprecher gibt es kaum noch und allgemein ist die Qualität der Synchros in Deutschland ziemlich kacke geworden.

Und hey, vielleicht bleibt uns somit so ein Quatsch erspart dass man irgendwelche nutzlosen Influecer als Sprecher engagiert um die ganzen desinteressieren ADHS-Depri-Gen-Alpha-Blagen abzuholen.

Die Influencer werden doch schon länger besetzt.
Gronkh als Joker in „Lego Batman“.
Peach im „Super Mario Bros. Film“.
Oder jetzt bei „Garfield“ und „Alles steht Kopf 2“, da wurden einige möchtegern Z-Promi-Influencer-TikToker-YouTuber und Comedians besetzt.
Unfassbar nervig, da hört man sofort die Unerfahrenheit heraus, sie können es nicht und werden es nie können.
Da könnte man gleich meinen Nachbar nehmen, wäre ungefähr das gleiche Ergebnis.

 

[mike4001]

Und wie die K.I. Dinge wie stottern, Dialekte, die sich überschlagende Stimmen, Ironie und Witz auf die Reihe bekommen soll.

Dann empfehle ich dir, die gestrige Vorstellung von ChatGPT 4o, was die KI da Stimmlich mittlerweile drauf hat ..... einfach unglaublich. Und das in Echtzeit.

 

[cvs]

Danke für den Tipp. Wo kann man das sehen bzw. hören?

 

[Mikegeer]

Hier mal ein Beispiel, wie sowas aussehen kann (und das Video ist auch schon wieder 1 Jahr alt):

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

 

[HalexD]

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

 

[Kumbbl]

Ach Leute: es steht unzweifelhaft fest, dass es in absehbarer Zeit keine Synchronsprecher mehr braucht - und dass LLM AIs diese geradezu perfekt ersetzen werden, indem schlichtweg die Schauspieler mit ihrer eigenen Stimme lokalisiert werden und sich der Mund entsprechend anpasst an die jeweiligen gesprochenen Laute…

Die Entwicklung bei diesen Modellen und den damit verbundenen Fähigkeiten ist exponentiell. Kein Mensch kann derzeit seriös sagen, was in 5 Jahren möglich ist - aber es wird die diesbezüglichen Erwartungen/befürchtungen übertreffen …

Und wirklich nichts ist einfacher, als GEN AI beizubringen, wie Frequenzen moduliert werden müssen und Töne generiert werden müssen, um in einer bestimmten Sprache zu einer vorgegebenen Stimme zu sprechen… das ist heute schon sehr beeindruckend, wenn auch noch nicht perfekt… aber in paar Jahren… gibt es nicht ein Promille Zweifel daran…

Und zusätzlich ne KI based software zu schreiben, die Bildframes anpasst, in einem definierten Bereich wie Mund und betroffene Gesichtszüge, um Labiale etc darzustellen… lächerlich für Experten…

Jeder der sich etwas intensiver mit dieser Technologie beschäftigt und versteht, wie sie funktioniert und vor allem warum, der weiß: es gibt in vielen Bereichen, wo man content (welchen auch immer) ändern oder auf Basis von Milliarden verfügbaren Vorlagen erzeugen möchte, eine Zeit vor und eine Zeit mit/nach KI… KI ist nicht einfach der nächste bessere Taschenrechner, diese Technik ist disruptiv und wird die Welt weit mehr ändern als das Smartphone… ich nehme an, teils zum besseren, teils zum schlechteren… was mehr, liegt auch an uns Menschen.

Man darf diese Dinge in ihrem Potential nicht danach bewerten, was JETZT noch nicht so gut ist oder noch nicht perfekt, sondern eher danach, wie brutal war der Fortschritt ggü letztem Jahr und um viel brutaler wird er in einem, zwei, drei … Jahreb sein, setzt man eine exponentielle Lernkurve voraus … schriftlichen, visuellen oder akustischen Content zu erzeugen ist letztendlich easy für eine Maschine, die quasi im Zeitraffer aus Millionen Vorlagen die entsprechenden Muster erlernt (was anderes tut unser Hirn letztendlich auch nicht) und damit mit extrem hohen Wahrscheinlichkeitstreffer-Quoten „vorhersagen“ kann, welche Frequenz in welcher Lautstärke auf die vorhergehende folgen muss, um anstelle des Wortes Car in deutsch das Wort Auto in der Stimmlage von Harrison Ford akustisch zu erzeugen…

Denn letztendlich ist so eine AI nix anderes: ein extrem gutes Orakel auf Basis von Milliarden Fakten…

Ich sehe es pragmatisch: meine Kult- und Klassiker Synchros kann mir niemand nehmen, man kann eher unliebsame Neusynchrostellen mit dem Original Sprecher nachgenerieren. und wenn zukünftig Filme in jeder Sprache vom Schauspieler selbst lokalisiert werden - umso besser. All die O-Ton Schauer wollen ja immer die original-Stimmmodulation des Schauspielers hören, den setton, die original Geräusche. Es wird wenig künstlerische Gründe mehr geben, Filme im O-Ton zu gucken, zumindest keine englischen oder welche aus dem selben Kultur- und Sprachkreis… ;-)

 

[leeloo]

Es wird wenig künstlerische Gründe mehr geben, Filme im O-Ton zu gucken, zumindest keine englischen oder welche aus dem selben Kultur- und Sprachkreis… ;-)

Doch. Wenn man diese AI-Scheiße nicht will!

 

[Kumbbl]

Es wird wenig künstlerische Gründe mehr geben, Filme im O-Ton zu gucken, zumindest keine englischen oder welche aus dem selben Kultur- und Sprachkreis… ;-)

Doch. Wenn man diese AI-Scheiße nicht will!

Klar. Ich sagte ja auch: Wenige, nicht keine… Aber scheisse wird es nach objektiver qualitötsbetrachtung nicht sein, da kannst du dich noch so sehr innerlich weigern… ;-)

 

[leeloo]

Es wird wenig künstlerische Gründe mehr geben, Filme im O-Ton zu gucken, zumindest keine englischen oder welche aus dem selben Kultur- und Sprachkreis… ;-)

Doch. Wenn man diese AI-Scheiße nicht will!

Klar. Ich sagte ja auch: Wenige, nicht keine… Aber scheisse wird es nach objektiver qualitötsbetrachtung nicht sein, da kannst du dich noch so sehr innerlich weigern… ;-)

Es geht in der Aussage ja auch nicht um die Qualität………………..

 

[Sammy Davis]

Da kann man nur hoffen, daß in Zukunft keine sprachlich anspruchsvollen Filme mehr gedreht werden. Wie etwa "Anonymus" von Emmerich oder "Shakespeare in Love". Da rentiert sich nämlich die Theaterausbildung im Bereich Sprache. Leider gehört es aber bereits seit ein paar Jahren nicht mehr zur Ausbildung von Schauspielern, den Schlegel Tieck (eine deutschsprachige Übersetzung von Shakespeare Werken inklusive Anleitung zum richtigen Sprechen/Ausdruck) auswendig zu lernen oder zu beherrschen. Also in meinen Ohren klingen die AI Stimmen wie betrunken. Darüner hab ich mich auch schon im Zug beschwert und gefragt, ob man diese Ankündigungen und Belehrungen mit Fake Stimmen nicht abschalten könne. Weil das so klingt, als wenn da jemand zehn Flaschen Bier getrunken hätte. Sollte es so kommen, werden nur noch ältere Filme geschaut.

 

[JarmuschX]

Da kann man nur hoffen, daß in Zukunft keine sprachlich anspruchsvollen Filme mehr gedreht werden. Wie etwa "Anonymus" von Emmerich oder "Shakespeare in Love". Da rentiert sich nämlich die Theaterausbildung im Bereich Sprache. Leider gehört es aber bereits seit ein paar Jahren nicht mehr zur Ausbildung von Schauspielern, den Schlegel Tieck (eine deutschsprachige Übersetzung von Shakespeare Werken inklusive Anleitung zum richtigen Sprechen/Ausdruck) auswendig zu lernen oder zu beherrschen. Also in meinen Ohren klingen die AI Stimmen wie betrunken. Darüner hab ich mich auch schon im Zug beschwert und gefragt, ob man diese Ankündigungen und Belehrungen mit Fake Stimmen nicht abschalten könne. Weil das so klingt, als wenn da jemand zehn Flaschen Bier getrunken hätte. Sollte es so kommen, werden nur noch ältere Filme geschaut.

Kannst aber Gift drauf nehmen, daß die KI in den nächsten Jahren da rasante Fortschritte machen wird. Wenn man sich nur die Sprünge in Sachen Bildgenerierung anschaut... schon fast gruselig.