TEXT-TO-VIDEO – Die Zukunft des Storytellings

Die KI-Welt entwickelt sich in einem rasanten Tempo, und eine der spannendsten Neuerungen ist Text-to-Video – die Möglichkeit, mithilfe einer einfachen Textbeschreibung ganze Videos zu generieren. Die Idee dahinter ist so verlockend wie revolutionär: Erstelle visuelle Geschichten allein durch Worteingaben, ohne Kamera, Regisseur oder Schauspieler. Doch wie weit sind wir wirklich? Ich habe es mir zur Aufgabe gemacht, die führenden Tools in diesem Bereich zu testen: Runway ML, Hotshot, Pika 1.5 und Stable Video Diffusion. Für den Vergleich habe ich eine Demo von Sora, dem neuen Text-to-Video-Tool von OpenAI, als Referenz genommen, die auf demselben Prompt basiert.

Sora-Prompt:
A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

Sora hat durch diese Demo bereits für Aufsehen gesorgt, da das Ergebnis die bisher realistischsten Text-to-Video-Ergebnisse liefert. Hier ist mein Vergleich mit anderen Tools, die ich selbst testen konnte, basierend auf diesem detaillierten Prompt.

Tool-Test und Ergebnisse

1. Hotshot – Der unkomplizierte Einstieg

Hotshot ist ein einfaches und kostenloses Tool, das besonders für schnelle und unkomplizierte Experimente geeignet ist. Das generierte Video wirkt zwar etwas weich, aber der „Walking Cycle“ der Hauptperson und der Passantinnen im Hintergrund wird korrekt dargestellt. Selbst die Laufrichtung der Passantinnen stimmt, was ein realistisches Straßenbild erzeugt. Leider glitcht die Hand der Hauptperson gelegentlich durch sie hindurch, was den Realismus mindert. Dennoch beeindruckt Hotshot durch seine Nutzerfreundlichkeit und den kostenfreien Zugang – für schnelle Experimente eine interessante Wahl.

2. Pika 1.5 – Cyberpunk-Look und schnelle Effekte

Pika 1.5 beeindruckt mit einem einzigartigen Cyberpunk-Look. Die Hauptperson bewegt sich recht natürlich, bis auf gelegentliche Glitches bei den Haaren und im Gesicht am Ende des Clips. Der Walking Cycle der Passant*innen ist jedoch weniger überzeugend – sie „kleben“ förmlich am Boden und bewegen sich nicht flüssig genug. Für den Preis ist das Ergebnis eher mäßig. Dennoch besticht Pika.art durch die schnellen Effekte, die es auf Bilder anwenden kann. In einem kommenden Beitrag werde ich die Bildbearbeitungsfähigkeiten von Pika noch einmal genauer testen.

3. Runway – Der Marktführer im Bereich AI-Video

Runway gilt als einer der führenden Anbieter in der KI-gestützten Videobearbeitung und enttäuscht auch hier nicht. Das Video ist flüssig, mit echter Mimik und detaillierter Bewegung der Hauptperson. Der Walking Cycle der Passant*innen ist zwar immer noch etwas „klebrig“, aber die Spiegelung auf dem nassen Boden wird sehr gut eingefangen. Runway kommt Sora am nächsten – mit etwas Feintuning könnte man hier das bisher realistischste Ergebnis erzielen. Ein witziges Detail: Im Laufe des Videos „morpht“ plötzlich eine Sonnenbrille auf das Gesicht der Protagonistin. Auch für Runway ist ein eigener Beitrag geplant.

4. Stable Video Diffusion – Am Anfang seiner Entwicklung

Stable Video Diffusion landet leider auf dem letzten Platz. Die Gesichtszüge glitchen, und das Bild ist insgesamt sehr weich und unscharf. Dieses Modell scheint noch in einer frühen Phase der Entwicklung zu sein und benötigt wohl noch Training. Aber das Potenzial ist da – es wird sicher einen enormen Sprung machen, wenn die Technologie weiter verfeinert wird.

Sora – Die neue Benchmark (Demovideo)

Sora bleibt der unangefochtene Spitzenreiter. Die realistische Darstellung von Reflexionen auf dem Boden, die Bildschärfe und die Bewegung der Hauptfigur sind beeindruckend. Selbst bei genauem Hinsehen wirkt das Video erstaunlich realistisch, obwohl man bei einigen Details noch KI-Artefakte erkennt. Da Sora aktuell nur eingeschränkt verfügbar ist, beziehe ich mich hier auf die Demoversion. Das Demovideo zeigt, was in der Text-to-Video-Technologie möglich ist und setzt neue Maßstäbe.

Quelle: OpenAI

Fazit: Wohin führt uns die Reise mit Text-to-Video?

Diese Technologie hat das Potenzial, das Storytelling und die Produktion von Medien zu revolutionieren. Werden Filme und Kampagnen bald durch Prompts und KI statt durch aufwendige Dreharbeiten erstellt? Kurzfristig sehe ich das noch nicht, da eine Szenerie so komplex ist, dass ein einzelner Prompt kaum alle Details abdecken kann. Der kreative Einfluss auf die Feinheiten der Szene bleibt noch begrenzt.

Dennoch glaube ich, dass Text-to-Video eine bedeutende Rolle für Proof-of-Concepts und erste Entwürfe in der Kreativbranche spielen wird. Man kann schnell eine visuelle Idee umsetzen und sie als Grundlage für den eigentlichen Dreh nutzen. In Zukunft werden sicher auch komplett KI-generierte Filme entstehen, die die Grenzen des Möglichen neu definieren.

Die Art und Weise, wie wir arbeiten, wird sich drastisch verändern – und mit der Entwicklung von AI-Tools wie diesen könnte eine neue Ära des „on-demand“ Storytellings anbrechen. Bleibt gespannt, denn die Welt des Text-to-Video steckt voller Möglichkeiten, und ich bin gespannt darauf, wo die Reise hingeht.