Deepfakes in Hinblick auf die Filmindustrie

Lukas Hinze, Laurenz Günner

created with Bing – prompted by Laurenz Günner
created with Bing – prompted by Laurenz Günner

Die Motivation zu diesem Projekt?

Unser Ziel ist die innovative Nachstellung des Trailers "Das Buch von Boba Fett" (https://www.youtube.com/watch?v=09SpM9dkPvM; 11.12.2023) ausschließlich durch den Einsatz von KI-Tools für das Bildmaterial. Die Motivation dieses Projekts liegt in der Möglichkeit, die Fortschritte in der Filmproduktion durch KI zu demonstrieren, sowie die Authentizität und Kreativität des generierten Materials zu erforschen.
Neben der technologischen Exploration legen wir besonderen Wert auf die Diskussion ethischer Implikationen. Die Verwendung von KI in der Filmproduktion wirft Fragen zur Authentizität, Manipulation von visuellem Material und den Auswirkungen auf die kreative Integrität auf. Diese ethischen Überlegungen sollen einen Beitrag zur verantwortungsbewussten Anwendung von KI in kreativen Bereichen leisten.

Der KI-generierte Trailer

created with DALL-E 3, Canva, Bing & Runway - prompted by Laurenz Günner & Lukas Hinze

Wie entsteht ein Trailer?

Der Prozess der Erstellung eines KI-generierten Trailers ist komplex und erfordert viel Zeit und Mühe. In diesem Abschnitt wird erklärt, wie ein solcher KI-generierter Trailer Schritt für Schritt erstellt wird.

1. Die Trailersuche

Zunächst muss ein geeigneter Trailer gefunden werden. Die Erstellung eines Trailers ist ein aufwendiger und langwieriger Prozess. Um den Aufwand etwas zu minimieren, wurde die Länge des Trailers auf maximal eine Minute eingegrenzt. Da Runway, das Tool, welches für die Animation des Bildmaterials verwendet wird, nur 4 Sekunden pro Bild animieren kann, durften einzelne Szenen des Trailers zudem vier Sekunden nicht überschreiten. Außerdem sollten die Szenen des Trailers überschaubar sein und nicht zu viele Bildelemente oder Bewegungen enthalten.

2. Die Traileranalyse

Nachdem ein geeigneter Trailer gefunden wurde, wird dieser analysiert. Dabei wird festgestellt, wie viele Szenen der Trailer enthält, welche Szenen zusammenhängen und wie die Bewegungsabläufe sind. Diese Informationen sind wichtig, um das Bildmaterial für den Trailer zu erstellen.

3. Das Erstellen von Bildmaterial

Um das Bildmaterial für den Trailer zu erstellen, wird eine KI-gestützte Bildbeschreibungssoftware wie Dall-E 3 oder Microsoft Bing verwendet. Diese Software analysiert das Bildmaterial des Trailers und erstellt eine Beschreibung des Bildes. Die KI generiert ein Bild, welches der Beschreibung angenähert ist.

4. Es kommt Bewegung ins Bild

Die generierten Bilder werden anschließend mithilfe von Runway animiert. Runway ist ein Tool, das es ermöglicht, Bilder in Videos zu animieren.

5. Finetuning

Nachdem die Bilder animiert wurden, werden sie nachbearbeitet. Geschwindigkeiten, Spiegelungen und Vorwärts- sowie Rückwärtsbewegungen werden auf den Trailer abgestimmt.

6. Cut

Der Trailer wird schließlich mithilfe eines Videoschnittprogramms wie zum Beispiel DaVinci Resolve geschnitten. Dabei werden die animierten Bilder mit dem Ton des Trailers zusammengefügt.
Die Erstellung eines KI-generierten Trailers ist ein komplexer Prozess, der viel Zeit und Mühe erfordert. Die Technologie ist jedoch noch in der Entwicklung und es ist davon auszugehen, dass die Erstellung von KI-generierten Trailern in Zukunft noch einfacher und schneller werden wird.


KI-generierte Inhalte via DALL-E, Canva & Bing

created with DALL-E 3, Canva, Bing - prompted by Laurenz Günner & Lukas Hinze


Gesammelte Erfahrungen beim Prompten

Positive Erfahrungen

Alle im Trailer enthaltene Szenen konnten erfolgreich gepromptet und nachgestellt werden. Dabei sind einige ikonische Charaktere, wie zum Beispiel Boba Fett, sehr gut wiederzuerkennen. Einige Szenen gleichen sehr den Originalszenen, manche allerdings sind den Szenen nur ähnlich.

 

created with Bing – prompted by Laurenz Günner
created with Bing – prompted by Laurenz Günner

Negative Erfahrungen

Bei der Nutzung aller KI-Tools fiel oft auf, dass beschriebene Details nicht beachtet wurden und im Ergebnis auch nicht wiederzufinden sind. Entweder wurden diese Details weggelassen oder es wurden neue Details, welche nicht beschrieben wurde, hinzugefügt. Ein weiteres Problem war die Verarbeitung von beschriebenen Bewegungen mit dem Videogenerator Runway. Vor allem konnten die Bewegungen von Lebewesen nicht gut dargestellt werden. Diese Bewegungen wurden sehr verschwommen dargestellt oder die beschriebenen Bewegungen wurden gar nicht erst umgesetzt.

 

created with Bing – prompted by Laurenz Günner
created with Bing – prompted by Laurenz Günner


Einschätzung anderer Personen zu diesem Projekt

Um die Meinung unabhängiger Personen einzufangen, wurde eine Umfrage gestartet. An der Umfrage haben 19 Personen teilgenommen, welche sich den KI generierten Trailer und den Original Trailer angesehen haben und im Anschluss Fragen dazu beantwortet.
Die Auswertung der Fragen ist im Folgenden abgebildet:

Wie authentisch ist der KI generierte Trailer im Bezug zum Original?

Wie glaubwürdig fanden Sie die Charaktere und Szenen des Trailers im Bezug zum Original?

Wie hoch schätzen Sie die Qualität der einzelnen Szenen ein im Bezug zum Original?

Würden Sie sich den Film ansehen, nachdem Sie den Trailer gesehen haben?

Grundlegend kann von einem positiven Produkt ausgegangen werden, bei allen Bewertungen konnte ein leicht positives Ergebnis erzielt werden.


Profitiert die Filmindustrie von künstlicher Intelligenz?

Künstliche Intelligenz hat das Potenzial, die Filmindustrie auf vielfältige Weise zu revolutionieren. Sie kann dabei helfen, realistischere und anspruchsvollere Szenen zu erstellen, die für menschliche Schauspieler oder Stuntmen zu gefährlich oder zu schwierig wären. So können KI-generierte Avatare in Actionfilmen eben jene Aufgabe übernehmen. Die Technologie kann ebenfalls dazu verwendet werden, um Szenen mit virtuellen Umgebungen zu erstellen.


Implementiert in Bildbearbeitungstools, ist es mittels künstlicher Intelligenz möglich, vorhandene Szenen zu verbessern. Nicht nur das Color Grading wird vereinfacht, sondern auch die Qualität von Aufnahmen profitiert.


Szenen können um zusätzliche Elemente ergänzt werden. So lassen sich in zum Beispiel Bewegungen einzelner Charaktere verändern. KI ermöglicht also nicht nur die Bewegungen von Schauspielern anzupassen, sondern kann gänzlich neue Bewegungsabläufe generieren.
Ein unlängst bekannter Vorteil dieser disruptiven Technologie ist die Verwendung zur Ideenförderung. Ein digitaler Helfer, der Drehbuchautoren bei einer Schreibblockade unterstützt. ChatGPT erdichtet die nächste Serie um einen intergalaktischen Antihelden, während Bard neue Formen der Filmkunst schafft. Googles KI schlägt zum Beispiel das „Synthetic Cinema“ als neues Genre rein KI-generierter Filme vor.


Derzeitige KI-Tools sind jedoch nur so mächtig wie die Person, die sie bedient. Ein neuer Berufszweig des „Promptengineers“ tut sich auf. Mit der neuen Technologie kommen also auch neue Berufe, welche selbst die Filmindustrie in naher Zukunft nicht missen möchte.
Dies soll nur ein Abriss dafür sein, wie künstliche Intelligenz die Filmindustrie unterstützen kann. Die Möglichkeiten sind vielfältig und es ist zu erwarten, dass KI in Zukunft einen immer größeren Einfluss auf die Filmindustrie haben wird. Wir sind gespannt, was die Zukunft mit sich bringt.

Die dunkle Seite der KI

Wie viele Bereiche unseres Lebens wird auch die Filmindustrie durch künstliche Intelligenz bereichert. Jeder, der sich mit dieser Technologie auseinandersetzt sollte sich allerdings auch den Risiken bewusst sein, die mit KI einhergehen.


Eben noch als Potenzial angepriesen, kehrt uns die KI auf der anderen Seite den Rücken zu. Durch ihre Zuverlässigkeit und ihre Geschwindigkeit macht sie Arbeitsplätze redundant. Eine Filmindustrie, die zunehmend auf die Technologie in der Nachbearbeitung vertraut, braucht nämlich keine Mitarbeiter mehr. Zumindest nicht mehr so viele wie zuvor. Arbeitsplätze sind gefährdet.
Das bringt Produktionen allerdings auch in Abhängigkeiten. Einmal die Technologie implementiert, möchte man sie auch nicht mehr missen. KI-Systeme sind jedoch komplex und erfordern eine sorgfältige Entwicklung und Wartung. Sollten diese Systeme ausfallen, kann dies zu erheblichen Störungen in der Filmproduktion führen.


Eines der wohl bekanntesten Risiken von KI ist die Erstellung von Deepfakes. Videos oder Audioaufnahmen, in denen das Gesicht einer Person durch das Gesicht einer anderen Person ersetzt wurde, können zur Verbreitung von Falschinformationen verwendet werden. Privatpersonen sehen sich in ungewollten Videos und bekannten Politikern wird ein fragwürdiger Satz in den Mund gelegt. Dieser sogenannte "Gesichtsraub" stellt eine massive Gefährdung der Privatsphäre dar.


KI-Systeme werden zudem mit großen Datenmengen trainiert. Diese Daten können sensible Informationen wie biometrische Daten oder persönliche Daten enthalten. Es besteht die Gefahr, dass diese Daten bei einem Datenleck missbraucht werden.
Gefüttert mit einseitigen Daten, können diese unbewusst Diskriminierungen oder Stereotype enthalten. KI-Systeme können ungewollt diese Diskriminierungen und Stereotype dann weiterverbreiten.


Zusammenfassen hat KI das Potenzial, die Filmindustrie auf vielfältige Weise zu revolutionieren. Allerdings birgt KI auch Risiken, die es zu beachten gilt. Es ist wichtig, diese Risiken zu verstehen und Maßnahmen zu ergreifen, um diese letztendlich zu minimieren.


Ausblick

Durch die stetige Weiterentwicklung und das große Interesse an der KI besteht ein großes Potenzial für die Integration der KI in der Filmindustrie. Allerdings sollten Regulierungen geschaffen werden, welche die genau Integration und Grenzen der Nutzung definieren. Außerdem sollte Transparenz geschaffen werden, sodass für jeden sichtbar und nachvollziehbar ist, welcher Film auf welchen Daten basiert. Um Deepfakes vorzubeugen, muss über eine einheitliche verpflichtende Kennzeichnung von KI generierten Inhalten diskutiert werden.

Löst KI die Filmindustrie ab?

Nein. Zusammenfassend lässt sich sagen, dass die künstliche Intelligenz gegenwärtig die Filmindustrie nicht ablösen wird, sondern eine unterstützende Rolle spielt. Trotz der fortschreitenden technologischen Entwicklungen bleibt der kreative und menschliche Einfluss in der Filmproduktion von entscheidender Bedeutung. KI wird als Werkzeug für Optimierung und Effizienz eingesetzt, von der Bearbeitung und Spezialeffekte bis hin zur Analyse von Zuschauerpräferenzen.

 

Die Frage nach der zukünftigen Entwicklung der KI in der Filmindustrie bleibt jedoch offen. Es bleibt spannend, wie sich diese Technologie weiterentwickelt und wie sich neue kreative Möglichkeiten ergeben, welche die Filmindustrie beeinflussen.

 

created with Bing – prompted by Laurenz Günner
created with Bing – prompted by Laurenz Günner


Download Präsentation

Download
Deepfake in der Filmindustrie.pdf
Adobe Acrobat Dokument 2.6 MB