TRELLIS.2: od jednego obrazu do modelu 3D. Jak używać go w domu?
Zdjęcie starej lampy zamienia się w przedmiot, który można obracać, oświetlać i wstawić do własnej gry. Taki kierunek wyznacza TRELLIS.2: projekt badawczy generujący z jednego obrazu obiekt 3D z materiałami. Warto zrozumieć jego działanie, żeby ocenić zarówno możliwości, jak i wymagania domowego eksperymentu.
Oficjalny projekt Microsoft TRELLIS.2 na GitHubie. Zobacz też stronę autorów i oficjalne demo online.
Kto jest autorem?
Projekt łączy Microsoft Research, Microsoft AI, Tsinghua University oraz University of Science and Technology of China, czyli USTC. Pierwszym autorem jest Jianfeng Xiang, który pracował nad nim podczas stażu w Microsoft Research; autorem korespondencyjnym jest Jiaolong Yang. Pozostali autorzy to Xiaoxue Chen, Sicheng Xu, Ruicheng Wang, Zelong Lv, Yu Deng, Hongyuan Zhu, Yue Dong, Hao Zhao i Nicholas Jing Yuan. Praca Native and Compact Structured Latents for 3D Generation ukazała się na arXiv 16 grudnia 2025 r. Publikacja; zespół i instytucje.
Co otrzymujemy ze zdjęcia
Powstaje geometria przestrzenna z właściwościami powierzchni. Eksport może dać plik GLB zawierający siatkę wierzchołków i trójkątów, materiały oraz tekstury. To obiekt do dalszej pracy w programie 3D. Przykład eksportu.
Jedno zdjęcie nie ujawnia jednak niewidocznego tyłu. Model proponuje go na podstawie wyuczonych wzorców. Przekonująca lampa może różnić się od pierwowzoru. Trzeba obejrzeć spód, tył i otwory. Do dokładnych wymiarów nadal potrzebne są pomiary.
Model jest już nauczony
Badacze uczą system na istniejących zasobach 3D i ich wyglądzie. Opublikowany zestaw narzędzi wymienia m.in. ObjaverseXL, ABO, HSSD i TexVerse. W domu pobiera się gotowe wagi i używa ich do nowych obrazów: to inferencja. Oznaczenie 4B opisuje około czterech miliardów parametrów modeli generatywnych, a nie liczbę wielokątów. Przygotowanie danych; gotowy model.
Co dzieje się po wgraniu obrazu
- Program usuwa tło lub wykorzystuje kanał alfa. DINOv3 wyciąga liczbowe cechy obrazu, które kierują generowaniem. Analiza obrazu.
- Pierwszy etap proponuje rozmieszczenie aktywnych obszarów rzadkiej siatki przestrzennej.
- Drugi tworzy w nich zwarty zapis geometrii.
- Trzeci generuje materiały zgodnie z obrazem i uzyskanym kształtem. Kod procesu.
- Dekodowanie i eksport przekształcają ten zapis w siatkę z teksturami. Biblioteka O-Voxel.
Modele korzystają z flow matching. Można to sobie wyobrazić jako stopniowe porządkowanie losowych liczb w opis przedmiotu, pod kierunkiem obrazu. Jest kilka etapów; oficjalna konfiguracja podaje po 12 kroków próbkowania. Seed określa początkową losowość i pomaga porównywać warianty. Konfiguracja; próbkowanie.
O-Voxel i kompresja
Woksel jest komórką w trójwymiarowej siatce, podobnie jak piksel w obrazie. Rzadki zapis skupia się na potrzebnych regionach. O-Voxel przechowuje geometrię i właściwości powierzchni. Flexible Dual Grid pozwala reprezentować ostre krawędzie, otwarte cienkie powierzchnie i skomplikowane wnętrza bez zamieniania wszystkiego w zamkniętą skorupę. To istotne dla liści, tkanin czy pustych ozdób. Możliwości reprezentacji nie gwarantują poprawności każdego wyniku. Dokumentacja O-Voxel.
Sparse Compression VAE uczy się zapisywać obiekt krócej i odtwarzać go z tego zapisu. Kształt i materiał mają oddzielne VAE. Generator pracuje w zwartej przestrzeni ukrytej. Podawane 16-krotne zmniejszenie dotyczy rozdzielczości przestrzennej w osiach, a nie stałego zmniejszenia pliku. Oznaczenia 512³–1536³ opisują siatkę wokseli, nie wielkość zdjęcia czy liczbę trójkątów. Praca o kompresji.
Materiał, który reaguje na światło
PBR oznacza renderowanie oparte na fizycznym modelu materiałów. System opisuje kolor bazowy, szorstkość, metaliczność i nieprzezroczystość. Pozwala to zmieniać oświetlenie zamiast traktować sfotografowany refleks jak namalowaną plamę. Szorstkość wpływa na ostrość odbić, a nieprzezroczystość na przejrzystość powierzchni. Sam kanał alfa nie jest pełną symulacją optyki szkła. Wyjaśnienie Microsoft Research.
Szybkość i domowy komputer
| Rozdzielczość | Kształt + materiał według autorów |
|---|---|
| 512³ | około 3 sekund |
| 1024³ | około 17 sekund |
| 1536³ | około 60 sekund |
Pomiary wykonano na NVIDIA H100. Pobieranie wag, ładowanie, podgląd i eksport to dodatkowy czas. Wyniki nie są obietnicą dla domowego PC. Dane wydajności.
Oficjalny lokalny zestaw wymaga Linuksa i NVIDIA z przynajmniej 24 GB VRAM; autorzy sprawdzali A100 oraz H100. VRAM to pamięć karty, oddzielna od RAM komputera. 32 GB RAM i karta 8 GB nie spełniają wymogu. Karty 8, 12 czy 16 GB są poniżej oficjalnego minimum; modyfikacje społeczności wymagają osobnej oceny. Samo 24 GB nie dowodzi zgodności konkretnej karty z każdym trybem. Wymagania.
| Sytuacja | Droga do eksperymentu |
|---|---|
| Brak odpowiedniej GPU | Oficjalne demo online; obliczenia odbywają się zdalnie. |
| Odpowiedni Linux/NVIDIA | Lokalna instalacja po sprawdzeniu zgodności. |
| Więcej prób bez zakupu karty | Wynajem Linux GPU; sprawdzenie cen, dysku i zakończenia wynajmu. |
Demo Microsoftu jest dobrym pierwszym krokiem. Przesyłasz obraz do usługi i sprawdzasz wynik ze wszystkich stron. Dostępność i kolejki zależą od usługi. Telefon może być klientem, ale sam nie wykonuje wtedy generowania.
Lokalna instalacja na przygotowanym Linuksie
Przygotuj Condę, Git, sterownik NVIDIA, CUDA Toolkit i narzędzia kompilacji. Obecny instalator tworzy Python 3.10 oraz PyTorch 2.6.0 z CUDA 12.4. RAM i SSD potrzebują zapasu na wagi i kompilację. Sam PyTorch nie zastępuje narzędzi CUDA potrzebnych do budowy rozszerzeń. Instalator.
git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm
conda activate trellis2
python app.py
Otwórz adres z terminala. Zacznij od rozdzielczości 512 i jednego przedmiotu. Po podglądzie wybierz Extract GLB oraz Download GLB. Pierwsze pobranie modeli może trwać znacznie dłużej niż generowanie. Polecenia sprawdzono w dokumentacji; na potrzeby artykułu nie wykonywano niezależnej instalacji. Aplikacja.
DINOv3 i BRIA RMBG-2.0 mogą wymagać konta Hugging Face, akceptacji warunków i lokalnego logowania. Błąd dostępu do wag nie musi oznaczać awarii GPU. Nie umieszczaj tokenów w opublikowanym kodzie.
W Windows możliwą eksperymentalną drogą jest WSL 2 z Linux/CUDA. Ogólna obsługa CUDA nie potwierdza działania TRELLIS.2 na każdym komputerze; zobacz instrukcję NVIDIA. Instalator ma gałęzie ROCm, ale część dodatków działa tylko z CUDA. Nie wynika z tego gotowa obsługa dowolnej karty AMD ani natywnego macOS. Kod platformowy.
Własna lampa jako rekwizyt do gry
- Zrób zdjęcie lub rysunek jednego niezasłoniętego przedmiotu na spokojnym tle, z widocznym przodem i fragmentem boku.
- Wygeneruj mniejszy model, zapisz wejście i seed. Sprawdź tył, spód i otwory; porównaj inny seed albo lepszy obraz.
- Zaimportuj GLB do Blendera jako glTF 2.0. Oceń skalę, orientację, materiały i gęstość siatki.
- Do gry zmniejsz liczbę wielokątów i rozmiary tekstur, dodaj kolizję oraz ewentualne poziomy szczegółowości. Animacja i zasady gry są kolejnymi zadaniami.
- Godot zaleca glTF 2.0 i obsługuje GLB. Dokumentacja importu.
Domyślny eksport GLB używa OPAQUE. Zachowany kanał alfa trzeba podłączyć i ustawić właściwy tryb przezroczystości w docelowym programie. Projekt ma też oddzielny proces nadawania materiałów istniejącej siatce na podstawie obrazu. Uwaga o eksporcie; przykład teksturowania.
Druk i zastosowanie komercyjne
Przed drukiem 3D sprawdź szczelność siatki, dziury, grubość ścian, skalę i stabilność. Autorzy wymieniają możliwe małe otwory oraz błędy topologii. Cienka powierzchnia dobrze wyglądająca na ekranie może być niedrukowalna. Funkcjonalne wymiary obudowy czy koła zębatego wymagają pomiaru i projektu CAD. Ograniczenia.
Kod i główny model TRELLIS.2 są na licencji MIT. Zależności mają osobne warunki: DINOv3 własną licencję, a BRIA opisuje dostępne wagi RMBG-2.0 jako niekomercyjne i wymaga osobnej umowy do zastosowania komercyjnego. Przed sprzedażą gry sprawdź faktycznie użyte składniki i prawa do obrazów wejściowych. Licencja MIT; BRIA; DINOv3.
Dlaczego to fascynujące
Skraca drogę między pomysłem a przestrzennym materiałem do dalszej pracy. Hobbysta może budować sceny, niezależny twórca testować rekwizyty, a grafik szukać wariantów. Otwarty kod, edytowalna geometria i materiały reagujące na światło dają więcej możliwości twórczych. Kontrola oraz ręczne dopracowanie pozwalają zmienić taki początek we własny użyteczny rezultat.
Nota redakcyjna: źródła sprawdzono 21 października 2026 r. Podstawą są praca naukowa, oficjalny kod i karty modeli. Nie instalowaliśmy ani niezależnie nie mierzyliśmy TRELLIS.2. Czasy pochodzą od autorów. Oba obrazy są koncepcyjnymi ilustracjami AI, nie wynikami TRELLIS.2.