TRELLIS.2: Vom Bild zum 3D-Modell – so funktioniert es zu Hause
Ein Foto einer alten Laterne wird zu einem Gegenstand, den man drehen, neu beleuchten und in eine eigene Spielszene setzen kann: Das ist die Idee hinter TRELLIS.2. Das Forschungsprojekt erzeugt aus einem einzelnen Bild ein 3D-Objekt mit Materialien. Für Heimanwender ist dabei entscheidend, wie das Verfahren arbeitet und welche Ausstattung es tatsächlich voraussetzt.
Offizielles Microsoft-Repository auf GitHub. Dazu gibt es eine Projektseite und eine offizielle Online-Demo.
Wer hat TRELLIS.2 entwickelt?
Das Team verbindet Microsoft Research, Microsoft AI, die Tsinghua University und die University of Science and Technology of China, kurz USTC. Erstautor ist Jianfeng Xiang, der während eines Praktikums bei Microsoft Research daran arbeitete; korrespondierender Autor ist Jiaolong Yang. Weitere Autoren sind Xiaoxue Chen, Sicheng Xu, Ruicheng Wang, Zelong Lv, Yu Deng, Hongyuan Zhu, Yue Dong, Hao Zhao und Nicholas Jing Yuan. Die Arbeit Native and Compact Structured Latents for 3D Generation erschien am 16. Dezember 2025 auf arXiv. Publikation; Team und Institutionen.
Was entsteht aus dem Bild?
Das Ergebnis enthält räumliche Geometrie und Oberflächeneigenschaften. Beim Export entsteht ein Mesh aus Punkten und Dreiecken mit Materialien und Texturen, beispielsweise im GLB-Format. Damit lässt sich in einer 3D-Anwendung weiterarbeiten. Offizielles Exportbeispiel.
Eine einzelne Aufnahme zeigt die Rückseite jedoch nicht. Der Generator ergänzt verborgene Teile anhand gelernter Muster. Eine überzeugende Laterne kann sich deshalb vom Original unterscheiden. Kontrollieren Sie Rückseite, Unterseite und Öffnungen. Für exakte Abmessungen braucht es weiterhin Messungen.
Training und Nutzung sind verschiedene Vorgänge
Die Forscher trainieren mit vorhandenen 3D-Objekten und deren Erscheinung. Das veröffentlichte Datenwerkzeug nennt unter anderem ObjaverseXL, ABO, HSSD und TexVerse. Zu Hause laden Sie bereits trainierte Gewichte herunter und verwenden sie für neue Bilder. Das heißt Inferenz. Die Bezeichnung 4B meint ungefähr vier Milliarden Parameter der generativen Modelle, keine Anzahl von Polygonen. Datenaufbereitung; Modellgewichte.
Der Ablauf im Inneren
- Die Vorverarbeitung entfernt den Hintergrund oder nutzt den Alphakanal. DINOv3 liefert numerische Bildmerkmale als Orientierung. Bildanalyse.
- Eine erste generative Stufe bestimmt die belegten Bereiche eines dünn besetzten räumlichen Gitters.
- Die zweite erzeugt darin einen kompakten Geometriecode.
- Die dritte ergänzt Materialinformationen, geführt vom Bild und der erzeugten Form. Pipeline-Code.
- Decoder und Exporter machen daraus das verwendbare Mesh mit Texturen. O-Voxel-Bibliothek.
Die mit Flow Matching trainierten Modelle verwandeln einen zufälligen numerischen Ausgangspunkt schrittweise in eine strukturierte Objektbeschreibung. Das Bild gibt die Richtung vor. Es handelt sich um mehrere Generationsstufen; die veröffentlichte Konfiguration verwendet jeweils zwölf Sampling-Schritte. Der Seed bestimmt die Ausgangszufälligkeit. Konfiguration; Sampling.
Warum O-Voxel und Kompression helfen
Ein Voxel ist eine Zelle im dreidimensionalen Raum, ähnlich einem Pixel im Bild. Ein dünn besetztes Gitter konzentriert sich auf relevante Regionen. O-Voxel speichert Geometrie und Oberfläche gemeinsam. Seine Flexible Dual Grid kann scharfe Kanten, offene Flächen und komplexe Innenstrukturen darstellen, ohne jedes Objekt zuerst zu einer geschlossenen Hülle zu machen. Das hilft etwa bei dünnen Blättern oder hohlen Objekten. Ein geeignetes Format garantiert dennoch kein fehlerfreies Generierungsergebnis. O-Voxel-Erklärung.
Ein Sparse Compression VAE lernt, einen Gegenstand kürzer zu beschreiben und wieder zu rekonstruieren. Form und Material haben getrennte VAEs; der Generator arbeitet im kompakten latenten Raum. Die angegebene 16-fache räumliche Verkleinerung bezieht sich auf die Gitterachsen, nicht pauschal auf die Dateigröße. 512³ bis 1536³ bezeichnet Voxelauflösungen und keine Polygonzahlen. Forschungsarbeit zur Kompression.
Material statt aufgemalter Reflexe
PBR steht für physikalisch basiertes Rendering. Neben der Grundfarbe entstehen Rauheit, Metalligkeit und Deckkraft. Damit kann ein Material auf neue Beleuchtung reagieren: Eine raue Fläche zeigt weichere Reflexe als eine glatte. Deckkraft beschreibt Transparenz, ersetzt aber keine vollständige Simulation aller Glaseffekte. Materialerklärung von Microsoft Research.
Geschwindigkeit und Heimhardware
| Voxelauflösung | Form + Material laut Autoren |
|---|---|
| 512³ | etwa 3 Sekunden |
| 1024³ | etwa 17 Sekunden |
| 1536³ | etwa 60 Sekunden |
Gemessen auf NVIDIA H100. Download, Laden, Vorschau und Export kommen hinzu. Diese Werte versprechen keine entsprechende Laufzeit auf dem Heim-PC. Leistungsangaben.
Die offizielle lokale Referenz verlangt Linux und eine NVIDIA-GPU mit mindestens 24 GB VRAM; verifiziert wurden A100 und H100. VRAM ist Grafikspeicher, nicht Arbeitsspeicher. 32 GB System-RAM mit einer 8-GB-GPU erfüllt die Anforderung deshalb nicht. Auch 24 GB allein belegt noch keine vollständige Kompatibilität einer bestimmten Karte. Offizielle Anforderungen.
| Situation | Praktischer Einstieg |
|---|---|
| Keine geeignete GPU | Offizielle Online-Demo; gerechnet wird auf einem Server. |
| Geeignete Linux/NVIDIA-Ausstattung | Lokale Installation und Kompatibilität prüfen. |
| Mehr Versuche ohne GPU-Kauf | Linux-GPU mieten; Kosten, Speicher und Abschaltung prüfen. |
In der Online-Demo wird das Bild hochgeladen. Verfügbarkeit und Wartezeit hängen vom Dienst ab. Auch ein Telefon kann als Bediengerät dienen; die Berechnung findet dadurch nicht im Telefon statt.
Lokaler Einstieg unter Linux
Bereiten Sie Conda, Git, NVIDIA-Treiber, CUDA Toolkit und Kompilierungswerkzeuge vor. Der aktuelle Installer verwendet Python 3.10 sowie PyTorch 2.6.0 mit CUDA 12.4. Für Gewichte und Kompilierung brauchen RAM und SSD Reserven. Ein installiertes PyTorch ersetzt nicht das zum Kompilieren benötigte Toolkit. Installer.
git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm
conda activate trellis2
python app.py
Öffnen Sie die ausgegebene Adresse und beginnen Sie mit einem Objekt bei Auflösung 512. Nach der Vorschau folgen Extract GLB und Download GLB. Der erste Modelldownload kann deutlich länger dauern. Die Befehle wurden mit der Dokumentation abgeglichen, für diesen Artikel aber nicht unabhängig ausgeführt. Anwendung.
Die Hilfsmodelle DINOv3 und BRIA RMBG-2.0 können ein Hugging-Face-Konto, die Zustimmung zu Bedingungen und lokale Anmeldung verlangen. Ein Zugriffsfehler beim Download ist nicht unbedingt ein GPU-Fehler. Zugangstoken gehören nicht in veröffentlichten Code.
Unter Windows ist WSL 2 mit Linux/CUDA ein möglicher experimenteller Weg. Die allgemeine CUDA-Unterstützung ist keine TRELLIS.2-Kompatibilitätsgarantie; beachten Sie NVIDIAs Anleitung. Der Installer hat ROCm-Zweige, einige Abhängigkeiten sind jedoch CUDA-spezifisch. Eine fertige Lösung für beliebige AMD-Karten oder natives macOS lässt sich daraus nicht ableiten. Plattformdetails.
Vom eigenen Foto zur Spielrequisite
- Fotografieren oder zeichnen Sie einen einzelnen Gegenstand mit klarer Silhouette und ruhigem Hintergrund.
- Erzeugen Sie zunächst eine kleinere Variante. Speichern Sie Eingabe und Seed, kontrollieren Sie alle Seiten und probieren Sie weitere Varianten.
- Importieren Sie das GLB in Blender über glTF 2.0. Prüfen Sie Maßstab, Ausrichtung, Materialien und Netzdichte.
- Reduzieren Sie für ein Spiel Polygone und Texturgröße, ergänzen Sie Kollision und gegebenenfalls Detailstufen. Animation und Spiellogik bleiben eigene Aufgaben.
- Godot empfiehlt glTF 2.0 und unterstützt GLB. Importdokumentation.
GLB wird standardmäßig als OPAQUE exportiert. Ein vorhandener Alphakanal muss in der Zielanwendung angeschlossen und der passende Transparenzmodus eingestellt werden. Außerdem bietet das Projekt einen eigenen Ablauf zum Texturieren vorhandener Geometrie mit einem Referenzbild. Transparenzhinweis; Texturierungsbeispiel.
3D-Druck und kommerzielle Verwendung
Für den Druck müssen Geschlossenheit, Löcher, Wandstärken und Maßstab kontrolliert werden. Die Modellkarte nennt mögliche kleine Löcher und Topologieprobleme. Eine dünne sichtbare Fläche muss nicht druckbar sein. Funktionale Maße eines Gehäuses oder Zahnrads gehören in einen gemessenen CAD-Entwurf. Bekannte Grenzen.
Code und Hauptmodell von TRELLIS.2 stehen unter MIT. Abhängigkeiten haben eigene Bedingungen: DINOv3 eine eigene Lizenz; BRIA beschreibt die frei verfügbaren RMBG-2.0-Gewichte als nichtkommerziell und verlangt für kommerzielle Nutzung eine gesonderte Vereinbarung. Prüfen Sie deshalb die tatsächlich verwendeten Komponenten und die Bildrechte. MIT-Lizenz; BRIA-Bedingungen; DINOv3.
Was daran begeistert
Der Weg von einer Vorstellung zu einem bearbeitbaren räumlichen Ausgangspunkt wird kürzer. Hobbyentwickler können Szenen ausprobieren, unabhängige Studios Requisiten prototypisieren und Grafiker Varianten untersuchen. Die Kombination aus offenem Code, Geometrie und neu beleuchtbaren Materialien eröffnet viel Raum zum Gestalten. Kontrolle und handwerkliche Nacharbeit machen daraus ein eigenes verwendbares Ergebnis.
Redaktion: Quellen am 21. Oktober 2026 geprüft. Grundlage sind Forschungsarbeit, offizieller Code und Modellkarten. TRELLIS.2 wurde für diesen Artikel weder installiert noch unabhängig gemessen. Laufzeiten stammen von den Autoren. Beide Bilder sind KI-Konzeptillustrationen, keine TRELLIS.2-Ergebnisse.