Generative AI

AI Content Factory

Automatisierte Video-Produktionspipeline auf Basis mehrerer orchestrierter Generative-AI-Modelle.

Status: In Produktion
Kategorie: Generative AI
Referenz: Case #6

Vom Briefing bis zu fertigen Video-Clips: Spezialisierte AI-Modelle für Text, Bild- und Video-Generierung werden zu einem automatisierten, steuerbaren Produktionsprozess zusammengeführt.

Technische Herausforderung: Mehrere spezialisierte Generative-AI-Modelle sollten zu einem automatisierten, repetierbaren Video-Produktionsprozess orchestriert werden – statt Modelle einzeln und manuell zu bedienen.
Architektur: Eine deutsche Story wird per LLM (Ollama qwen2.5vl) in ein Storyboard aus drei Clips zerlegt; ein Bildmodell (Qwen-Image-Edit) erzeugt Start-/Endbilder mit durchgängiger Kontinuität, ein First-Last-Frame-to-Video-Modell (Wan2.1-FLF2V-14B) generiert die Clips auf einer GPU-Instanz.
Engineering-Challenges: Konsistente Figuren über die Clips hinweg (Endbild N = Startbild N+1), asynchrone Verarbeitung trotz langer LLM-Laufzeiten, Scale-to-zero-GPU-Betrieb und die Orchestrierung über SQS statt synchroner API-Aufrufe.
Demonstrierte Kompetenzen: Generative AI, Model Orchestration, Workflow Automation und Produktions-Pipelines mit asynchronem Job-Modell und GPU-Betrieb.

Der AI Content Factory (Storyboard Generator) ist ein Riegel-Systems-Engineering-Case im Bereich Generative AI. Die zentrale Idee: Mehrere spezialisierte AI-Modelle werden nicht einzeln „bedient“, sondern zu einer automatisierten Produktionspipeline orchestriert.

Die Pipeline

Pipeline

Briefing
Storyboard
Scene Planning
Start Image
End Image
Video Prompt
Image-to-Video
Final Clips

Konkret umgesetzt

Aus einer deutschen Story entsteht automatisch ein Storyboard aus drei Clips à 6 Sekunden:

Story → Storyboard: Ein LLM (Ollama qwen2.5vl) zerlegt die Story in drei Szenen und erzeugt pro Clip Startbild-Prompt, Endbild-Prompt, Bewegungs-Prompt und Negativ-Prompt – als striktes, schema-validiertes JSON.
Bildgenerierung: Ein Bildbearbeitungsmodell (Qwen-Image-Edit-2511, Apache-2.0) erzeugt die vier Bilder mit durchgängiger Kontinuität – das Endbild eines Clips ist zugleich das Startbild des nächsten.
Image-to-Video: Ein First-Last-Frame-to-Video-Modell (Wan2.1-FLF2V-14B) generiert aus Startbild, Endbild und Prompt die finalen Clips auf einer GPU-Instanz (L40S) mit Scale-to-zero.
Freigabe-Workflow: Die Vorschauen werden in einer Admin-UI geprüft und bearbeitet, bevor die Video-Jobs ausgelöst werden.

AI Content Factory: Orchestrierte Story-to-Video-Pipeline vom LLM-Storyboard bis zu den finalen Clips — Orchestrierte Pipeline: LLM → Storyboard → Bilder → Freigabe → Image-to-Video

Engineering-Schwerpunkte

Model Orchestration: Jedes Modell übernimmt die Aufgabe, für die es am besten geeignet ist – Textanalyse, Bildbearbeitung, Videogenerierung.
Asynchrones Job-Modell: Lange LLM- und GPU-Laufzeiten werden über SQS entkoppelt statt in restriktive API-Timeout-Fenster gepresst.
Prompt Generation: Automatisch erzeugte, präzise Prompts steuern die Modelle deterministisch statt manuell.

Kernaussage

Produktionsreife Generative-AI-Systeme sind Systemintegration: Eingaben normalisieren, Ausgaben validieren, Fehlschläge behandeln und Kosten überwachen. Der Storyboard Generator zeigt, wie aus einzelnen Modellen ein zuverlässiger, repetierbarer Produktionsprozess wird.

Technologien & Konzepte

Ein ähnliches Engineering-Projekt?

Wenn Ihr Vorhaben vergleichbare technische Tiefe braucht, besprechen wir Machbarkeit, Architektur und Aufwand – konkret statt im Pitch-Format.

Projekt besprechen