Einsatz von generativer KI in der Filmproduktion – Greifen generative KI-Tools auf Originalfilmszenen zu?

Nicolas Drensek, Julia Schmähl

KI wird heute bereits in vielen Bereichen der Filmindustrie eingesetzt. Das Ausmaß ist jedoch nur wenigen bewusst. Der Einfluss von KI auf die Filmindustrie scheint bereits jetzt größer zu sein als angenommen, wie die monatelangen Streiks von Drehbuchautoren und Schauspielern in den USA im Sommer 2023 gezeigt haben. Dabei ging es neben einer besseren Bezahlung auch um den Schutz vor KI.

In unserem Projekt haben wir uns der Frage gewidmet, ob generative KI-Tools zur Erstellung von Videos auf die Datensätze von Originalfilmszenen zugreifen.

Um dies zu untersuchen, haben wir 6 verschiedene, berühmte, originale Filmszenen ausgewählt und versucht, diese mit generativen KI-Tools zu reproduzieren.

Für diese Analyse verwendeten wir zwei verschiedene Text-to-Video Tools (Genmo und Runway Gen 2). Das Prinzip von Text-to-Video Tools ist, dass ein Text („Prompt“) eingegeben wird und das jeweilige KI-Tool auf Basis des Textes ein vier Sekunden langes Video (in der

kostenlosen Version) erstellt. Um zu einem aussagekräftigen Ergebnis zu kommen, wurden die Prompts sehr kurz formuliert und mit möglichst wenig zusätzlichen Informationen hinterlegt.

Somit wollten wir sicherstellen, dass eine mögliche Szenenübereinstimmung tatsächlich durch die Nutzung der Originalszenen entsteht und kein Zufall ist.

Im Folgenden werden nacheinander die Ergebnisse der genutzten KI-Tools im Vergleich zur Originalszene dargestellt.

Die erste Originalszene stammt aus dem Film Forrest Gump, in dem die Hauptfigur Forrest Gump sein Rennen quer durch die USA beendet.

Die nächste Filmszene stammt aus dem Film Star Wars Episode IV („A new hope“). Luke Skywalker schaut auf seinem Wüstenheimatplaneten Tatooine bei Sonnenuntergang in die Ferne.

In der dritten Filmszene haben wir versucht eine Nahaufnahme von Hulk aus dem Film Marvel's The Avengers (2012) nachzustellen.

Als Nächstes haben wir uns eine Szene aus dem Film Spider-Man (2002) ausgesucht, in der Spider Man kopfüber Mary Jane Watson küsst, nachdem er sie vor einer Schlägerbande gerettet hat.

Die nächste Filmszene stammt aus dem Film Top Gun: Maverick (2022). Maverick (Tom Cruise) fährt dabei mit einem Motorrad der Marke Kawasaki auf einer Militärlandebahn.

Zuletzt wurde die berühmte Szene aus dem Film Titanic (1997) ausgewählt, in der Jack (Leonardo Di Caprio) und Rose (Kate Winslet) auf dem Bug der Titanic stehen und Jack sie von hinten umarmt, während sie die Arme zur Seite ausstreckt.

Die Ergebnisse zeigten, dass wir mit Hilfe des KI-Tools Genmo mit relativ einfachen Vorgaben Videoclips erstellen konnten, die dem Originalfilm sehr ähnlich waren. Dies gilt insbesondere für die Szenen aus Star Wars, Forrest Gump und Spiderman. Dort sind in den generierten Szenen Details aus den Originalszenen zu erkennen, die im Prompt gar nicht enthalten waren.

In der Star Wars-Szene z.B. die flache Wüstenlandschaft mit wenigen runden Hausdächern (typisch für die Stadt Tatooine), in der Forrest Gump-Szene eine endlos erscheinende Straße, die zu den Tafelbergen des Monument Valley führt, und in der Spider-Man-Filmszene der Kuss im Regen bei Dunkelheit. Darüber hinaus konnte eine sehr ähnliche Kameraperspektive festgestellt werden, die sich auch in den Filmszenen Hulk und Top Gun wiederfindet.

Außerdem ähneln die Schauspieler/Figuren in fast allen Filmszenen (außer Forrest Gump) auffallend stark den Originalfilmfiguren. In der Marvel's Avengers-Szene beispielsweise, in der eigentlich nur ein grüner Monster-Superheld dargestellt werden sollte, erscheint unverkennbar der Superheld Hulk. Diese Beobachtungen lassen den Schluss zu, dass das KI-Tool Genmo auf Trainingsdaten basiert, die offensichtlich Bild- oder Videodaten aus den Originalfilmen enthalten.

Für das KI-Tool Runway Gen 2 lassen sich aus den Ergebnissen andere Schlussfolgerungen ziehen. Die erstellten Videos zeigten grundsätzlich lediglich die Elemente, die durch Eingabe der Prompts beschrieben wurden, aber keine Szenenbilder, die eindeutig den Originalfilmen ähnelten (z.B. Luke Skywalker am Strand, Titanic-Kussszene auf einem kleinen Boot mit der Titanic im Hintergrund). Dennoch konnte auch hier eine Ähnlichkeit der Schauspieler bzw. Figuren (z.B. Hulk, Maverick (Tom Cruise), Luke Skywalker) festgestellt werden, wobei wir vermuten, dass diese eher aus der Nutzung von Bilddateien stammen und nicht aus Originalfilmszenen. Aufgrund der Ergebnisse gehen wir davon aus, dass sich durch Runway Gen 2 nicht eindeutig nachweisbar Originalfilmszenen nachstellen lassen, was vermutlich daran liegt, dass das KI-Tool auf anderen Trainingsdaten basiert und diese vermutlich zusätzlich herausgefiltert werden. Zudem gehört das KI-Tool zu den bekanntesten und meistgenutzten auf dem Markt, weshalb es möglicherweise schon etwas weiterentwickelt ist.

Eine abschließende Antwort auf die Frage, ob generative KI-Tools auf die Originalfilmszenen zugreifen, lässt sich aufgrund der fehlenden Transparenz der Programme (Trainingsdaten, Quellen) nicht eindeutig nachweisbar beantworten. Wir gehen aber für das KI-Tool Genmo auf Grundlage der Ergebnisse davon aus.

Unter Berücksichtigung der Projektergebnisse, aber auch generell haben wir einige Bedenken,

was den Einsatz von KI in der Filmproduktion angeht, die wir gerne stichwortartig aufführen

wollen.

• Urheberrecht an Filmen (Verstoßen KI-Tools gegen das Urheberrecht von Filmen, wenn sie offensichtlich mit Originalfilmdaten trainiert werden?)
• Recht am eigenen Bild (Dürfen Gesichter von Schauspielern ohne Einverständnis jener durch KI-Tools generiert werden?)
• Entmenschlichung der Filmindustrie (Arbeiten durch KI in Zukunft kaum noch Menschen in der Filmproduktion?)
• Verlust von Arbeitsplätzen und u.A. aufgrund dessen weniger Anreiz in der Branche zu arbeiten?

Kreativität

• Ist die Variation bekannter Inhalte kreativ (keine Neuschöpfungen)?
• Geht die Originalität von Filmen verloren?
• Kommt es zu einem Remake-Boom?
• Einschränkung der Kreativität (Kann durch KI neue Kreativität entstehen?)

Im Rahmen unseres Projekts sind wir zudem zum Ergebnis gekommen, dass die beiden verwendeten KI-Tools folgende ethische Leitlinien für eine vertrauenswürdige KI nicht erfüllen:

•

• Transparenz, Nachvollziehbarkeit und Überprüfbarkeit der Ergebnisse
• • Offenlegung von Informationen (z.B. Trainingsdaten oder Quellen)
• Achtung von Vielfalt und Nichtdiskriminierung
• • Rassendiskriminierung (z.B. vorrangige Darstellung weißer Menschen)
  • Diverse und breite Datenbank liegt nicht vor
• Soziales Wohlergehen und Fairness
• • Verstärkung wirtschaftlicher Ungleichheiten (z.B. durch möglichen Verlust von Arbeitsplätzen)
  • Gesamte Gesellschaft profitiert nicht (Nutzen eher bei Kunden und evtl. Produzenten als bei Arbeitnehmern)
  • Wirtschaftlich weiterentwickelte Länder (aus denen KI-Tools stammen) prägen deren Output (globale Fairness)
• Verantwortung von Handlungen (Haftung: Mensch oder KI?)

Der Einsatz von KI kann auch zu einem zusätzlichen Aspekt der Kommerzialisierung der

Filmindustrie führen, die sich aus folgenden Punkten ergeben könnte:

• Effizienzsteigerung bei der Produktion (Zeit- und Kosteneinsparungen)
• Verführerische Wirkung, da die Filmproduktion meist mit begrenztem Budget arbeitet
• „Alle“, die Zugang zur KI haben, können Filmproduzent werden (größerer Wettbewerb)
• Zu Beginn können KI-Filme aufgrund der Neuheit als Marketing-Instrument eingesetzt werden
• Es kann zu neuen Einnahmequellen führen (z.B. Zusammenarbeit Produktionsunternehmen mit KI-Unternehmen)

Der Einsatz von generativer KI in der Filmindustrie wird in den nächsten Jahren aufgrund der zahlreichen Vorteile und Möglichkeiten, die mit ihrem Einsatz verbunden sind, weiter zunehmen. Dies erfordert jedoch unserer Meinung nach eine stärkere Regulierung des Einsatzes von KI-Tools im Rahmen ethischer Richtlinien. Es braucht Normen und Standards, die bestenfalls international harmonisiert sind und die Anliegen der Betroffenen berücksichtigen. Schließlich braucht es eine Mitbestimmung der Menschen bzw. der Betroffenen, die in der Vergangenheit angesichts der Streiks in Hollywood nicht stattgefunden zu haben scheint.