"Traue nie einer Tech-Demo." Dieses Sprichwort scheint sich auch bei dem jüngsten Streich von OpenAI, dem Text-zu-Video-Modell Sora, zu bewahrheiten. Als die Anwendung im Februar vorgestellt wurde, war die Aufregung groß. Manche sahen schon das Ende von Hollywood und menschlichen Schauspielern gekommen. Im Netz gingen die Videos jedenfalls viral, obwohl OpenAI die Software noch nicht veröffentlicht hat und sie nur einem ausgewählten Publikum für Demo-Zwecke zur Verfügung stand.
Das dürfte einen Grund haben, denn anscheinend wurde bei einem der beeindruckenden Demo-Videos stark nachgebessert und im Hintergrund waren Special-Effects-Spezialisten ganz menschlicher Natur am Werk. Wie nun bekannt wurde, ist "Air Head" nicht durch Künstliche Intelligenz (KI), sondern mit erheblicher menschlicher Arbeitskraft entstanden.
Erhebliche Postproduktion
Patrick Cederberg, Creative Director bei Shy Kids, dem Produktionsstudio, das den Clip erstellt hat, erklärte gegenüber FXGuide, dass bei dem Video ein erheblicher Aufwand in der Postproduktion betrieben wurde. OpenAI hat den Clip allerdings ohne einen Hinweis auf die Nachbearbeitung präsentiert.
In dem charmanten Kurzfilm geht es um einen Mann namens Sunny, der statt eines menschlichen Kopfes einen gelben Luftballon auf den Schultern hat. In dem Clip geht es um Sunnys Kopf in den Wolken und seine großen Ideen, die er gerne mit der Menschheit teilen würde, wie die Stimme aus dem Off verrät. Das Video, so wird suggeriert, entstand per Texteingabe und Knopfdruck. Dem ist aber nicht so, wie Cederberg erklärt.
Sora dürfte demnach eigenwillige Interpretationen gehabt haben, was als "menschlich" definiert wird. So soll Sora eine entstellte albtraumhafte Fratze in Sunnys Ballonkopf eingebettet haben, die händisch entfernt werden musste. Außerdem soll Sora mehrfach die Farbe des Ballons gewechselt haben, was bei einigen Szenen dazu führte, dass das Team den Ballon mit Adobe Aftereffects isolieren und neu einfärben musste.
Vor allem die Szene, in der Sunny versucht, seinen schwebenden Heliumkopf wieder einzufangen, dürfte besonders stark nachbearbeitet sein. Der Ballon war ursprünglich nämlich rot und nicht gelb. Außerdem musste die Produktionsfirma mehrere unerwünschte Artefakte entfernen, darunter den Kopf einer Schaufensterpuppe, die Sora dem kopflosen Körper von Sunny verpasst hatte.
our first experiment with openai's text-to-video model, sora. the challenge we set for ourselves was to achieve consistency from generation to generation and successfully paint a portrait of a single character using sora. this is the result of that experimen
Auch mit dem Tempo des Videos schien es enorme Probleme zu geben. Sora neigt dazu, Videos in Zeitlupe abzuspielen. Laut Cederberg war es kein leichtes Unterfangen, die KI-generierten Resultate wie einen herkömmlichen Film aussehen zu lassen. Jedenfalls erforderte das Timing eine Menge Arbeit, sagt der Creative Director, damit sich "Air Head" nicht wie ein "Zeitlupenprojekt" anfühlt.
"Eindeutige Schwächen"
Insgesamt, so Cederberg, war es interessant, mit Sora zu spielen. "Es ist ein sehr, sehr mächtiges Werkzeug, und wir denken bereits über alle Möglichkeiten nach, wie sich Sora in unseren bestehenden Prozess einfügen kann." Aber: Wie andere generative KI-Programme auch, sei Sora noch unberechenbar und weise eindeutige Schwächen auf. Sora scheint jedenfalls noch einen weiten Weg vor sich zu haben, bevor es kinotaugliche Filmclips auf Knopfdruck und ohne menschliche Nachbearbeitung generieren kann. (red, 30.4.2024)