Weniger als eine Woche, nachdem das chinesische Startup Kuaishou seinen beeindruckenden AI-Video-Generator Kling vorgestellt hat, um mit OpenAI’s hocherwartetem Video-Generator Sora zu konkurrieren, ist ein neuer Wettbewerber aufgetaucht.
Luma Labs hat einen neuen AI-Video-Generator-Modell namens Dream Machine auf den Markt gebracht.
Im Gegensatz zu anderen AI-Tools kannst du Dream Machine heute ausprobieren, ohne auf eine Warteliste gesetzt zu werden.
Was ist „Dream Machine“?
Luma Labs‘ Dream Machine ist ein AI-Video-Generator der nächsten Generation, der auf Basis von Textvorgaben und Bildern hochwertige, realistische Videos erstellen kann.
Hauptmerkmale:
- Schnelle Generierung: Dream Machine ist ein unglaublich schneller Video-Generator! 120 Frames in 120 Sekunden.
- Realistische und konsistente Bewegung: Die fortschrittliche Modellierung stellt sicher, dass die Videos sowohl hochrealistisch als auch nahtlos konsistent sind.
- Hohe Charakterkonsistenz: Die Charakterintegrität wird gewahrt, während gleichzeitig reale physikalische Eigenschaften simuliert werden, um sicherzustellen, dass deine Videos kohärent und lebensecht sind.
- Natürliche Kamerabewegungen: Geschmeidige, natürliche Kamerabewegungen, die perfekt zur emotionalen Stimmung jeder Szene passen.
Diese Funktionen sind zweifellos beeindruckend, aber wir müssen sie ausprobieren und selbst sehen.
Beispiel für Text-zu-Video
Besuche die Dream Machine-Seite von Luma Lab und klicke auf die Schaltfläche „Jetzt ausprobieren“ oben rechts.
Bild von Jim Clyde Monge
Erstelle dein Konto und du siehst ein Textfeld, in dem du das Video beschreibst, das du generieren möchtest.
Bild von Jim Clyde Monge
Hinweis: Aufgrund einer extrem hohen Nachfrage kann es einige Minuten dauern, bis dein Video generiert wird.
Hier ist mein erstes mit Dream Machine generiertes Video:
Vorgabe: Ein Teddybär mit Sonnenbrille spielt E-Gitarre, tanzt und headbangt im Dschungel vor einem großen, schönen Wasserfall
Video von Jim Clyde Monge
Du kannst das vollständige Video über diesen direkten Link ansehen.
Im Gegensatz zu anderen Konkurrenten wie Stable Video, Runway und Pika, die einfach nur 2D-Bilder vergrößern und verkleinern, führt Dream Machine tatsächlich Szenenübergänge durch und bewegt die Objekte realistisch.
Hier ist ein weiteres Beispiel:
Vorgabe: Tiefe Aufnahme eines majestätischen Tigers, der durch eine schneebedeckte Landschaft streift und Spuren im weißen Schnee hinterlässt
Video von Jim Clyde Monge
Das Ergebnis entspricht der Vorgabe, und die Qualität des Videos sieht gut aus. Allerdings hat der Tiger keine Spuren im Schnee hinterlassen, was etwas seltsam ist.
Beispiel für Bild-zu-Video
Nun, lass uns dieses statische Bild mit Midjourney V6 ausprobieren.
Vorgabe: Paar auf Schotterstraßen-Rennrädern. Offene Straße. Mittag in Griechenland 2025 Wüstenlandschaft, trockener Fluss im Hintergrund, ferne Berge, ein Diner-Schild. Weite Aufnahme, ganzer Körper, Seitenansicht. Im Stil von Wes Anderson, helles Sonnenlicht, Staubwolke, gesättigte Farben.
Bild von Jim Clyde Monge
Du kannst das Bild per Drag & Drop in Dream Machine hinzufügen und die gleiche Vorgabe verwenden.
Bild von Jim Clyde Monge
Hier ist das Endergebnis:
Video von Jim Clyde Monge
Hier ist eines, das von X-Nutzer Tatiana Tsiguleva generiert wurde.
Referenzbild, generiert mit Midjourney:
Bild von X-Nutzer @ciguleva
Von Dream Machine generiertes Video:
Video von X-Nutzer @ciguleva
Sieh es dir im Videoformat hier an.
Das sieht unglaublich aus. Die VFX-Leute schwitzen wahrscheinlich schon, wenn sie sehen, wie solche Sequenzen von AI in weniger als 2 Minuten generiert werden.
Sicherheit und ethische Überlegungen
Wie bei jedem AI-Tool ist es entscheidend, die Sicherheits- und ethischen Implikationen der Nutzung von Dream Machine zu berücksichtigen. AI-generierte Videos können äußerst lebensecht sein, was die Tür zu potenziellem Missbrauch öffnet.
Luma Labs scheint sich dieser Bedenken bewusst zu sein.
Ich habe die folgende Vorgabe getestet, um zu sehen, wie ihr AI-Modell mit solchen Eingaben umgeht.
Vorgabe: Eine blutige Kriegsszene aus den 1980er Jahren, in der Soldaten aufeinander schießen
Bild von Jim Clyde Monge
Dream Machine hat die Vorgabe abgelehnt und den Fehler „Konnte die Generation für die angeforderte Vorgabe nicht erstellen“ angezeigt. Ein Lob an Luma für die Implementierung dieser Schutzmaßnahmen.
Es wird jedoch immer Nutzer geben, die versuchen, das Modell auszutricksen und Wege finden, unsichere Inhalte zu generieren. Wir werden in den kommenden Tagen sehen, wie effektiv diese Maßnahmen sind und ob zusätzliche Vorsichtsmaßnahmen erforderlich sind.
Ist es besser als Sora oder Kling?
Der beste Weg, dies zu beurteilen, ist ein direkter Vergleich der Ergebnisse. Hier ist ein Video eines Subjekts, das einen Hamburger isst, generiert von Dream Machine, Kling und Sora.
Wenn man sich diese Videos ansieht, sind Sora und Kling immer noch überlegen gegenüber Dream Machine. Aber hey, die letzteren Videos sind sorgfältig ausgewählte Beispiele, wer weiß, wie viele Versuche es gebraucht hat, um eine solche Qualität zu erreichen?
Was kostet es?
Bevor du dich zu sehr über den kostenlosen Zugang zu Dream Machine freust, ist es wichtig zu beachten, dass der Service nach einem Freemium-Modell funktioniert. Das bedeutet, du bekommst nur 30 kostenlose Generationen pro Monat, und musst für zusätzliche Credits bezahlen, wenn du mehr AI-Videos generieren möchtest.
Hier sind die Preisinformationen:
- Standard (29,99 $): 120 Generationen pro Monat
- Pro (99,99 $): 400 Generationen pro Monat
- Premier (499,99 $): 2.000 Generationen pro Monat
Abschließende Gedanken
Insgesamt ist es unglaublich großzügig von Luma, der Öffentlichkeit Zugang zu seinem AI-Video-Generator zu gewähren. Obwohl 30 kostenlose Generationen pro Monat begrenzt erscheinen mögen, reicht es aus, um die Videoqualität und Kohärenz der Ergebnisse zu testen und zu beurteilen.
Nun, lass uns über die Qualität sprechen. Ist es auf Augenhöhe mit OpenAI’s Sora? Nahe dran, aber nicht ganz. Dream Machine kämpft noch mit der temporalen Kohärenz. Es ist jedoch definitiv besser als Runway oder Pika.
Luma ist sich der Einschränkungen von Dream Machine bewusst. Sie haben sie sogar auf ihrer Website erwähnt.
Das anfängliche Nutzerfeedback und die nutzergenerierten Videos sollten wertvolle Daten liefern, um das Modell weiter zu trainieren und für bessere Ergebnisse in der nächsten Version zu optimieren.
