Dieses Neue Bild-zu-3D-Framework Generiert Hohe-Qualitäts-3D-Modelle Mit Einem Einfachem Klick

Erzeugung eines hochfidelen 3D-Gitters aus einem einzelnen 2D-Bild stellt eines der herausforderndsten Probleme in der künstlichen Intelligenz dar. Ein Problem, das bisher noch von keinem der größten Technologieunternehmen gelöst wurde. Der Schwierigkeit liegt teils an einem Mangel an einer Open-Source-Datenbank, um ein KI-Modell ausreichend zu trainieren.

Während Text-zu-Musik und Text-zu-Video bereits mit der Veröffentlichung von Tools wie Udio und den Ankündigungen von Sora und Kling vorankommen, bleibt Text-zu-3D oder Bild-zu-3D eine herausfordernde Disziplin.

Heute verspricht ein neues Ansatz namens Unique3D hochwertige 3D-Gitter mit nur einem Einblicksbild als Eingabe zu erzeugen. Ja, das KI-System ist jetzt schlau genug, vorherzusagen, wie das Thema aus verschiedenen Blickwinkeln aussehen würde.

In diesem Artikel werden wir uns mit der Funktionsweise dieses neuen Tools befassen und selbst 3D-Modelle erstellen. Fangen wir an.

Was ist Unique3D?

Unique3D ist ein brandneues Bild-zu-3D-Framework, das von Forschern der Tsinghua Universität entwickelt wurde. Dieses Tool ist darauf ausgelegt, hochfidel 3D-Gitter aus einem einzelnen 2D-Bild effizient und mit hoher Präzision zu erzeugen.

Unique3D zeichnet sich dadurch aus, dass es die typischen Herausforderungen früherer Methoden, wie lange Optimierungszeiten, schlechte Geometrie und Inkonsistenzen, überwindet.

Hier sind einige Beispiele:

Es war zuerst schwer zu glauben, aber dies sind echte Ergebnisse.

Was Unique3D im Vergleich zu früheren Ansätzen einzigartig macht, ist die Kombination eines Mehr-Ansichten-Diffusionsmodells und eines innovativen Netzrekonstruktionsalgorithmus namens ISOMER.

Diese Herangehensweise ermöglicht Unique3D, konsistente Bilder mit mehreren Ansichten zu erzeugen und komplexe geometrische Details und Texturen innerhalb von nur 30 Sekunden zu rekonstruieren.

Wie funktioniert es?

Der Prozess von Unique3D beinhaltet mehrere fortgeschrittene Schritte, um die Erzeugung von hochwertigen und effizienten 3D-Gittern zu gewährleisten:

1. Mehr-Ansichten-Bild-Erzeugung: Es beginnt mit der Erzeugung von vier orthogonalen Mehr-Ansichten-Bildern aus einem einzigen Eingabebild mit einem Mehr-Ansichten-Diffusionsmodell. Dieses Modell, das die Architektur von Stable Diffusion nutzt, erstellt niederauflösende Mehr-Ansichten-Bilder, die schrittweise aufgeschichtet werden.
2. Normalen-Map-Vorhersage: Um die detaillierte Oberflächengeometrie einzufangen, verwendet Unique3D ein Normalen-Diffusionsmodell, um Normalen-Maps zu erzeugen, die den Mehr-Ansichten-Bildern entsprechen. Diese Maps helfen, die 3D-Geometrie genauer zu rekonstruieren.
3. Mehr-Ebene-Auflösungs-Prozess: Die erzeugten Mehr-Ansichten-Bilder und Normalen-Maps unterziehen sich einem mehrstufigen Auflösungs-Prozess, der ihre Auflösung schrittweise erhöht. Dieser Schritt stellt sicher, dass die endgültigen Bilder hochauflösend sind und über Views hinweg Konsistenz aufweisen.
4. Netzrekonstruktion mit ISOMER: Der Kern der Effizienz von Unique3D liegt in seinem sofortigen und konsistenten Netzrekonstruktionsalgorithmus, ISOMER. Dieses Algorithmus rekonstruiert das 3D-Gitter aus den hochauflösenden Bildern und Normalen-Maps, integriert Farbe und geometrische Details, um ein hochwertiges 3D-Modell zu erzeugen.

Wenn Sie mehr darüber erfahren möchten, wie Unique3D funktioniert, können Sie sich das Whitepaper hier ansehen.

Wie greifen Sie auf Unique3D zu?

Derzeit gibt es vier Wege, um Unique3D kostenlos zu nutzen:

1. HuggingFace — bietet eine benutzerfreundliche Oberfläche zum Experimentieren mit dem Tool ohne lokale Einrichtung. Sie können die Hugging Face Seite für Unique3D hier besuchen.
2. Gradio — für diejenigen, die eine interaktive, webbasierte Oberfläche bevorzugen, kann Unique3D über Gradio aufgerufen werden.
3. Aiuni.ai — die offizielle Webseite für Unique3D, Aiuni.ai, bietet umfassende Informationen über das Tool, einschließlich seiner Funktionen, Anwendungsfälle und Aktualisierungen.
4. GitHub Repository — der Code und die Dokumentation sind auf GitHub verfügbar, ist jedoch derzeit im Aufbau. Dieses Repository wird in naher Zukunft Open-Source-Zugang zum Tool bieten und Entwicklern erlauben, es lokal einzurichten und in ihre Arbeitsabläufe zu integrieren.

Beispiele

Schauen wir uns einige Beispiele an, um Unique3D in Aktion zu sehen. Unten sind einige Bilder, die von Unique3D verarbeitet wurden und die hochfidel 3D-Modelle zeigen, die aus Einblicksbildern erzeugt wurden:

Für dieses Beispiel werde ich das Gradio-Tool verwenden. Gehen Sie zur Gradio Demo und Sie sollten dieses Dashboard sehen:

Laden Sie Ihr Bild im Front-View-Bereich hoch. Klicken Sie auf die Schaltfläche „Generate 3D“ im Netzmodell-Bereich. Das KI-System wird ein paar Sekunden benötigen, um das 3D-Modell zu erzeugen.

Hier ist das Endergebnis:

Es ist nicht perfekt, aber ich bin immer noch sehr beeindruckt von dem Ergebnis.

Weitere interaktive Beispiele finden Sie auf der BekanntmachSeite.

Andere 3D-Tools

Unique3D ist nicht das erste Tool, das versucht, hochwertige 3D-Modelle aus Bild- oder Text-Eingaben zu erzeugen. In meinen früheren Artikeln habe ich einige andere Tools behandelt:

1. Stable Video 3D von Stability AI — Dieses quelloffene 3D-Generator kann aus einem einzelnen Bild 3D-Videos erstellen. Es ist ein vielversprechendes Tool, oft jedoch in Bezug auf die detaillierten Details und die von Unique3D bereitgestellte Konsistenz hinterherhinkt.
2. Large Multi-View Gaussian Model (LGM) — LGM kann innerhalb von fünf Sekunden hochauflösende 3D-Modelle aus Text-Eingaben erzeugen. Obwohl es schnell ist, erreicht es die Treffsicherheit und geometrische Präzision von Unique3D nicht.
3. Genie von Luma Labs — Genie bietet hochwertige Text-zu-3D-Generierung. Es ist ein großartiges Tool zum Erstellen von 3D-Objekten aus Text-Eingaben, verarbeitet Einblicksbild-Eingänge jedoch nicht so effektiv wie Unique3D.

Probieren Sie diese Konkurrenten aus und lassen Sie mich wissen, welches Sie für die beste Tool für die AI-3D-Generierung halten.

Abschließende Gedanken

Unique3D ist bisher der effektivste von KI angetriebene 3D-Modellierer, den ich ausprobiert habe. Die Tatsache, dass es das zu modellierende Thema erkennen kann, ist bereits beeindruckend. Darüber hinaus kann es ein anständiges Qualitäts-3D-Gitter erzeugen, das 3D-Modellierer in ihrem Workflow verwenden können.

Ich hätte Ihnen gerne ein Beispiel gezeigt, bei dem ich das erzeugte 3D-Modell in Blender geladen, aufgeräumt und mit korrekter Beleuchtung gerendert habe, aber leider bin ich derzeit auf einem Low-End-Laptop, der diese Szene nicht rendern kann.

Einige weitere Iterationen dieses Tools könnten die Art und Weise revolutionieren, wie Künstler Objekte modellieren. Stell dir vor, du startest mit einem handgezeichneten Skizzen, fragst einen Bildgenerator wie Midjourney, um es in einen super coolen Charakter zu verwandeln, und verwendest dann Unique3D, um ein 3D-Modell davon zu erzeugen. All das in einer Frage von Minuten? Das ist revolutionäre Technologie.