Talk Filmrestauration mit Hilfe von KI - Fluch oder Segen?

[Nothingface]

Sind sich ja alle einig hier. LAME! :D

 

[Lonesam]

Mit KI müsste es ja auch möglich sein die Originalsynchro von Indiana Jones zu bearbeiten und die Stimmen von den Effekten zu trennen.

Gibt's auch KI Programme mit denen ich die Logos aus TV Aufnahmen herausfiltern kann?

 

[HalexD]

Mit KI müsste es ja auch möglich sein die Originalsynchro von Indiana Jones zu bearbeiten und die Stimmen von den Effekten zu trennen.

Gibt's auch KI Programme mit denen ich die Logos aus TV Aufnahmen herausfiltern kann?

Die Stimmen braucht man gar nicht von den Effekten trennen, man könnte auch so einen Upmix mit den Stems vom O-Ton machen.
Bei der Kinosynchro fehlen viele Effekte oder sind viel zu leise reingemischt und extrem abgeschwächt.
Die Schläge und Schüsse hört man fast gar nicht.

 

[Flocke]

Gibt's auch KI Programme mit denen ich die Logos aus TV Aufnahmen herausfiltern kann?

Ja das geht mittlerweile. Ist aber noch etwas umständlich und muss man etwas Ahnung von haben mit den Programmen. Avisynth und nen entsprechendes Script von Github und das geht. In 2-3 Jahren bestimmt noch mal ne ganze Ecke einfacher.
Man kann sich ja auch schon Untertitel generieren lassen - und seit Chat GPT4 auch in echt nicht schlechter Qualität. Auch das wird immer besser, in ein paar Jahren gibts dann das Problem gar nicht mehr, dass nen Film keine Untertitel hat.
Ist also nicht alles schlecht was KI der Filmwelt zu bieten hat.

 

[cvs]

Mit KI müsste es ja auch möglich sein die Originalsynchro von Indiana Jones zu bearbeiten und die Stimmen von den Effekten zu trennen.

Stimmen und Effekte von der Musik zu trennen geht schon recht passabel. Die Stimmen von den Effekten zu trennen ist schon schwieriger. Noch.

 

[Rastafari]

Gibt's auch KI Programme mit denen ich die Logos aus TV Aufnahmen herausfiltern kann?

Ja das geht mittlerweile. Ist aber noch etwas umständlich und muss man etwas Ahnung von haben mit den Programmen. Avisynth und nen entsprechendes Script von Github und das geht. In 2-3 Jahren bestimmt noch mal ne ganze Ecke einfacher.

Da kommen bestimmte Labels also immer einfacher an Master.

 

[Ert]

Mal Abseits bon den Cameron Filmen könnte man KI auch gut nutzen um zerstückelte Tonspuren endlich zu fixen.
Die "neue" Pumuckl-Serie hat ja gezeigt das es zwar nicht zu 100% aber annähernd möglich ist.
Als Beispiel würde ich jetzt mal die Kohlköpfe anführen, da gibt es immer noch 2 Stellen die man gerne so bearbeiten darf.

 

[HalexD]

Mal Abseits bon den Cameron Filmen könnte man KI auch gut nutzen um zerstückelte Tonspuren endlich zu fixen.
Die "neue" Pumuckl-Serie hat ja gezeigt das es zwar nicht zu 100% aber annähernd möglich ist.
Als Beispiel würde ich jetzt mal die Kohlköpfe anführen, da gibt es immer noch 2 Stellen die man gerne so bearbeiten darf.

Die „Pumuckl“-Folgen wurden fehlerhaft oder falsch bearbeitet, da war anscheinend das Programm überfordert.
Vielleicht haben sie zu viele oder zu lange Sätze auf einmal bearbeitet.
Wenn sie die Momente, die auf die ursprüngliche und unbearbeitete Schafroth-Stimme umswitchen (ohne KI-Clarin-Stimme), noch einmal durchs Programm gejagt hätten, wäre es perfekt gewesen.
Eine durchgehende Clarin-Stimme muss technisch möglich sein, hoffentlich wird das bei der 2. Staffel besser.

 

[The Thing]

"Pandastorm" hat/te doch ein Programm entwickelt, um bei jenen Folgen wo die Sprache (natürlich Englisch), Musik, Geräusche und Effekte auf einer Tonspur waren, die Sprache "herauszufiltern", um sie dann, auch erstmalig, deutsch zu Synchronisieren... das ging doch auch ohne "KI"...?

 

[Micha]

Übrigens bin ich, seit Movieside 2.0, nur noch eine künstliche Intelligenz.

 

[Archos]

Wohl eher "Künstlicher Dummlall".

 

[purzel1968]

Wohl eher "Künstlicher Dummlall".

Sind wir das nicht fast alle hier sonst wären wir doch nicht hier sondern ganz wo anders 😉

 

[flint123]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Mit Hilfe von KI wäre es sicherlich möglich das Bild der in Argentinien gefundenen Teile von "Metropolis" wieder so zu restaurieren, das es zum Rest des Filmes passt.

Zwei Beispiele für folmhistorische Probleme, bei denen ich den Einsatz von KI begrüßen würde.

 

[Forcekeeper]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Mit Hilfe von KI wäre es sicherlich möglich das Bild der in Argentinien gefundenen Teile von "Metropolis" wieder so zu restaurieren, das es zum Rest des Filmes passt.

Zwei Beispiele für folmhistorische Probleme, bei denen ich den Einsatz von KI begrüßen würde.

Genau das was ich beschrieben habe. KI/AI kann sehr nützlich sein wenn keine entsprechende Vorlage existiert, andernfalls ist es nur technischer Boogaloo.

 

[Kumbbl]

Mit KI müsste es ja auch möglich sein die Originalsynchro von Indiana Jones zu bearbeiten und die Stimmen von den Effekten zu trennen.

Stimmen und Effekte von der Musik zu trennen geht schon recht passabel. Die Stimmen von den Effekten zu trennen ist schon schwieriger. Noch.

Wenn man die Stimmen 100% perfekt durch andere stimmen ersetzen möchte , dann ist das immer noch nicht in allen effektsituationen möglich, richtig. Aber schon in vielen.

Wenn es aber wie bei Indianer Jones 3 nur darum geht, mit KI-Tools die Stimme von Pampel zu extrahieren und vom Rest zu separieren, sie dann auf 25fps Tonhöhe hoch zu pitchen, und dann dieses zurück zu mischen, dann ist das schon absolut und in 98% des Filmes perfekt möglich - in allen Szenen, egal ob Musik oder Effekte drin sind. Ich muss es wissen, ich hab’s ja getan - und du weißt es auch…..

Es erfordert allerdings massiv manuelle Nacharbeit, aber dann ist auf Basis KI-Separierung fast alles in top Qualität möglich… absolut faszinierend, das mittlerweile mögliche Separierungsniveaus, würde Spock sagen ;-)

 

[Kumbbl]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Das „irgendwann“ ist jetzt………

Generell: es gibt stand heute keinen technischen Grund, nicht für fast alle Filme eine deutsche Tonspur des Backcatalogs herzustellen, die dem O-Ton in deutsch entspricht. Mit den real (und sogar kostenlosen) verfügbaren KI-Tools dafür und genügend Zeitaufwand (und damit entweder privatem Engagement oder Label-Finanzierungswille) ist dies immer möglich, solange irgendwo halbwegs vernünftige deutsche Dialoge verfügbar sind - egal ob diese als VHS, LD, DVD oder kinorolle… getrennte Stems dafür sind völlig unnötig …

 

[flint123]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Das „irgendwann“ ist jetzt………

Generell: es gibt stand heute keinen technischen Grund, nicht für fast alle Filme eine deutsche Tonspur des Backcatalogs herzustellen, die dem O-Ton in deutsch entspricht. Mit den real (und sogar kostenlosen) verfügbaren KI-Tools dafür und genügend Zeitaufwand (und damit entweder privatem Engagement oder Label-Finanzierungswille) ist dies immer möglich, solange irgendwo halbwegs vernünftige deutsche Dialoge verfügbar sind - egal ob diese als VHS, LD, DVD oder kinorolle… getrennte Stems dafür sind völlig unnötig …

Tatsächlich wird es so eine Tonspur vermutlich wirklich nur auf der Grundlage von privatem Engagement als Fanprojekt geben, fürchte ich. Ich glaube kaum, dass ein Major-Label daran Interesse haben wird. Es sei denn eines der etwas kleineren Labels wie Plaion oder Turbine nimmt das in die Hand. Aber in Turbines Profil passt der Film ja gar nicht.

 

[Nothingface]

"The Abyss" bei Amazon im Stream geliehen. Über den Film selber brauche ich wohl nichts zu schreiben. Kennt jeder, toller Streifen und
einer von Camerons "Großen".
Hier meine Eindrücke zu "Restauration", durchgeführt von einer "KI", abgenommen vom Meister himself.
Eines vorweg: hier merkt man deutlich, dass sowohl Cameron als auch Jackson Regisseure sind, die von der Materie selber wenig Ahnung haben.
Sie können das was sie können sollen, nämlich kreativ sein und den Überblick behalten, Schauspieler anweisen und alles koordinieren.

Also, vom ersten Frame an hatte ich den Eindruck, dass hier etwas sehr "falsch" ist. Das Bild wirkt ultra künstlich und bearbeitet. Sieht weder nach
altem Film noch nach neuem Film aus. Korn im eigentliche Sinne fehlt komplett. irgendwie so rettet was zu retten geht.
Für mich persönlich schlimm anzuschauen. "Filmisch" sieht überhaupt nichts mehr aus.
Da ich ja beruflich damit zu tun habe, hier mal ein Beispiel. Ich hab einen unterbelichteten Shot. Chroma- und Helligkeitsrauschen an allen Ecken und Enden.
Sprich, ein Scheiß Shot. Sowas kommt aber vor, da nicht jede Produktion das Budget hat das Set perfekt auszuleuchten.
Also was mache ich? Ich nutze NR um eben jenes hässliche Rauschen zu entfernen (kein Korn).
Das Bild wird weicher, milchiger und auch nicht wirklich schön, deshalb schärft man dezent nach und macht Fake Korn drüber um diesen Effekt abzumildern.
Der Shot wird zumindest brauchbar. In Hollywood ist freilich immer alles perfekt ausgeleuchtet und daher bei neuen Produktionen weniger auffällig.

Was ich damit sagen will. Genau so sieht das Bild für mich aus. Unfertig und billig. Also ob NR benutzt wurde und nachgeschärft wurde ohne zu versuchen
die hässlichen Nebeneffekte zu mildern. Die KI hat hier ihre Interpretation eines guten Bildes kredenzt, ohne zu wissen wie ein gutes Bild aussieht.
Da ja schon überall geschrieben wurde, dass "The Abyss" der Anschaubarste der ganzen Klassiker sein soll, spare ich mir die anderen. Blutdruck und so *g*.

Zum Color Grading kann ich wenig sagen, da ich keine Referenz habe aber der extreme "Teal" Look sah irgendwie auch nicht richtig aus.

Nicht berücksichtigt wurden Blöckchen, Kompressionsartefakte und alles was auf die Bitrate zurückzuführen ist, da es ein Stream war.
Der "Look" wird auf der Disk aber der gleiche sein.

Also weltbest? Ja, was aber bei einer nicht anamorphen DVD als direkten Vorgänger wahrlich nichts zu heißen hat.
Wer damit zufrieden ist, der kann froh sein. Ich stelle mir sowas nicht in den Schrank. Kein Klassiker hat so eine Behandlung verdient.

Film 4/5
Restauration: 2/5 (aber nur weil es noch schlechter geht)

Ein Trauerspiel

 

[Kumbbl]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Das „irgendwann“ ist jetzt………

Generell: es gibt stand heute keinen technischen Grund, nicht für fast alle Filme eine deutsche Tonspur des Backcatalogs herzustellen, die dem O-Ton in deutsch entspricht. Mit den real (und sogar kostenlosen) verfügbaren KI-Tools dafür und genügend Zeitaufwand (und damit entweder privatem Engagement oder Label-Finanzierungswille) ist dies immer möglich, solange irgendwo halbwegs vernünftige deutsche Dialoge verfügbar sind - egal ob diese als VHS, LD, DVD oder kinorolle… getrennte Stems dafür sind völlig unnötig …

Tatsächlich wird es so eine Tonspur vermutlich wirklich nur auf der Grundlage von privatem Engagement als Fanprojekt geben, fürchte ich. Ich glaube kaum, dass ein Major-Label daran Interesse haben wird. Es sei denn eines der etwas kleineren Labels wie Plaion oder Turbine nimmt das in die Hand. Aber in Turbines Profil passt der Film ja gar nicht.

Kleiner Showcase für KI-Power von mir - zwar nicht die Spur des Falken aber ein anderes Corpus Delicti, welches ebenso großen Bedarf hat, wenn nicht noch größeren CASABLANCA - die letzten 5 min des Filmes auf Basis der UHD mit O-Ton in deutsch, d.h. kompletter O-Ton inkl. komplettem Originalscore gemischt mit den reinen deutschen Dialogworten (und exakt nur diesen und sonst nichts) befreit von allem Ballast, diese auch in korrekter Tonhöhe - also kein nachgefiedelter deutscher Synchro Score, keine miesen Effektgeräusche, sondern all das wie im engl. Original - nur eben in deutsch

Zur KI: Aus dem engl- Ton wurde mittels den aktuellsten dafür trainierten KI-Modellen die engl. Dialoge entfernt (und nur die Dialoganteile), aus dem deutschen Ton mit der gleichen KI alles außer den reinen gesprochenen Wortsilben entfernt (die Dialoge dann noch im Pitch nach oben korrigiert) - das KI Separierungsergebnis braucht natürlich menschliche Kontrolle und auch Fein-Politur - aber ohne massive KI-Unterstützung wäre sowas niemals möglich, nicht mit aller Zeit der Welt - mit KI waren es ca. 1 - 2h Arbeit (plus ca. 5 Tage Vorab-Ausprobieren der verschiedensten KI-Modelle und Bewertung der jeweiligen Qualität)...

Hier, final 5 minutes of Casablanca als KI-Showcase - aus Platzgründen als SDR-FHD Konvert der UHD als mkv-VideoFile mit drei Tonspuren: 1. Mein Mix wie oben beschrieben, 2. der engl. O-Ton, 3. der deutsche Retail-Ton:
Download-Link: Casablanca-UHD-Test-1080p.mkv
(link ist ab jetzt 1 Woche gültig, dann weg) - wer will kann sich damit von der möglichen KI-Power selbst überzeugen)

Abschließend als Bild (rot = engl. O-TOn, schwarz ist mein Mix wie oben beschrieben, grün = deutsche Retailsynchro)

 

[Forcekeeper]

Mit Hilfe von KI wäre es sicherlich möglich irgendwann die deutsche Tonspur von "Die Spur des Falken" von der eher unpassenden Jazzmusik zu trennen und mit der Originalmusik der amerikanischen Tonspur zu versehen.

Das „irgendwann“ ist jetzt………

Generell: es gibt stand heute keinen technischen Grund, nicht für fast alle Filme eine deutsche Tonspur des Backcatalogs herzustellen, die dem O-Ton in deutsch entspricht. Mit den real (und sogar kostenlosen) verfügbaren KI-Tools dafür und genügend Zeitaufwand (und damit entweder privatem Engagement oder Label-Finanzierungswille) ist dies immer möglich, solange irgendwo halbwegs vernünftige deutsche Dialoge verfügbar sind - egal ob diese als VHS, LD, DVD oder kinorolle… getrennte Stems dafür sind völlig unnötig …

Tatsächlich wird es so eine Tonspur vermutlich wirklich nur auf der Grundlage von privatem Engagement als Fanprojekt geben, fürchte ich. Ich glaube kaum, dass ein Major-Label daran Interesse haben wird. Es sei denn eines der etwas kleineren Labels wie Plaion oder Turbine nimmt das in die Hand. Aber in Turbines Profil passt der Film ja gar nicht.

Kleiner Showcase für KI-Power von mir - zwar nicht die Spur des Falken aber ein anderes Corpus Delicti, welches ebenso großen Bedarf hat, wenn nicht noch größeren CASABLANCA - die letzten 5 min des Filmes auf Basis der UHD mit O-Ton in deutsch, d.h. kompletter O-Ton inkl. komplettem Originalscore gemischt mit den reinen deutschen Dialogworten (und exakt nur diesen und sonst nichts) befreit von allem Ballast, diese auch in korrekter Tonhöhe - also kein nachgefiedelter deutscher Synchro Score, keine miesen Effektgeräusche, sondern all das wie im engl. Original - nur eben in deutsch

Zur KI: Aus dem engl- Ton wurde mittels den aktuellsten dafür trainierten KI-Modellen die engl. Dialoge entfernt (und nur die Dialoganteile), aus dem deutschen Ton mit der gleichen KI alles außer den reinen gesprochenen Wortsilben entfernt (die Dialoge dann noch im Pitch nach oben korrigiert) - das KI Separierungsergebnis braucht natürlich menschliche Kontrolle und auch Fein-Politur - aber ohne massive KI-Unterstützung wäre sowas niemals möglich, nicht mit aller Zeit der Welt - mit KI waren es ca. 1 - 2h Arbeit (plus ca. 5 Tage Vorab-Ausprobieren der verschiedensten KI-Modelle und Bewertung der jeweiligen Qualität)...

Hier, final 5 minutes of Casablanca als KI-Showcase - aus Platzgründen als SDR-FHD Konvert der UHD als mkv-VideoFile mit drei Tonspuren: 1. Mein Mix wie oben beschrieben, 2. der engl. O-Ton, 3. der deutsche Retail-Ton:
Download-Link: Casablanca-UHD-Test-1080p.mkv
(link ist ab jetzt 1 Woche gültig, dann weg) - wer will kann sich damit von der möglichen KI-Power selbst überzeugen)

Abschließend als Bild (rot = engl. O-TOn, schwarz ist mein Mix

Tolle Arbeit! Respekt. Genau für solche Fälle ist AI ein wahrer Segen. Nämlich näher an das Original zu kommen oder an etwas, das dem Original mehr entspricht. Sowohl in Bild als auch Ton.