TRELLIS.2：一张图如何变成 3D 模型，在家又该怎样使用？
拍一张旧提灯的照片，把它变成能旋转、重新打光并放进自己游戏里的三维物体，这就是 TRELLIS.2 带来的创作方向。它从单张图像生成带材质的 3D 资产。要在家使用，既要理解生成原理，也要清楚硬件要求与后续工作。
官方项目：Microsoft TRELLIS.2 GitHub 仓库。另见项目主页和官方在线演示。
谁创造了它？
团队来自 Microsoft Research、Microsoft AI、清华大学和中国科学技术大学。第一作者是 Jianfeng Xiang，论文注明相关工作完成于他在微软研究院实习期间；通讯作者是 Jiaolong Yang。其他作者包括 Xiaoxue Chen、Sicheng Xu、Ruicheng Wang、Zelong Lv、Yu Deng、Hongyuan Zhu、Yue Dong、Hao Zhao 和 Nicholas Jing Yuan。论文 Native and Compact Structured Latents for 3D Generation 于 2025 年 12 月 16 日在 arXiv 发布。参见论文记录和团队介绍。
照片变成了什么？
输出包含空间几何和表面属性。导出后可以得到由顶点、三角形、纹理及材质组成的 GLB 文件，继续交给 3D 软件编辑。官方导出示例展示了这一过程。
不过，一张照片无法确定看不见的背面。模型会依据学到的规律补全隐藏部分，因此外观可信的提灯也可能与真实物品不同。使用时应检查背面、底部和孔洞。视觉创作可以接受合理推测，精确尺寸仍需要测量。
训练与家庭使用有什么不同？
研究人员用已有的 3D 资产及其外观训练模型。公开的数据工具列出了 ObjaverseXL、ABO、HSSD、TexVerse 等数据集。家庭用户通常下载已经训练好的权重，针对新图像执行推理，无须重新进行研究级训练。4B 表示生成模型约有四十亿参数，不是生成对象拥有四十亿个三角形。参见数据准备工具及预训练模型。
从输入到输出的步骤
- 图像准备：去除背景或使用已有透明通道。DINOv3 提取数值化视觉特征，作为生成条件。图像特征代码。
- 空间布局：第一阶段预测稀疏三维网格中哪些区域属于物体。
- 几何生成：第二阶段在有效区域生成紧凑的形状编码。
- 材质生成：第三阶段结合输入图像与已生成的几何，产生对应的表面属性。官方处理流程。
- 解码和导出：将紧凑表示还原为几何与材质，转换成带纹理的网格。O-Voxel 库。
生成模型采用 flow matching。可以把它理解为：在图像指引下，逐步把随机数值整理为有意义的物体描述。它包含多个阶段；公开配置中各主要阶段设为 12 个采样步骤。seed 决定初始随机性，便于比较不同候选结果。参见模型配置和采样器。
O-Voxel 与压缩为什么关键？
像素是图像中的小格子，体素则是三维空间中的小单元。稀疏结构只处理相关区域，避免把大量空白空间全部存满。O-Voxel 同时保存几何与表面信息，其 Flexible Dual Grid 能表示锐利边缘、开放表面及复杂内部结构，无须先把一切变成封闭外壳。这有利于薄叶片、布料或空心物品。但表示能力强，并不保证每次生成都正确。O-Voxel 文档。
Sparse Compression VAE 学会将复杂对象缩写成较紧凑的潜在编码，再解码回来；形状和材质分别使用 VAE。生成器主要处理这种缩写。16 倍空间降采样描述空间轴上的分辨率变化，不能简单解释为文件必定缩小 16 倍。512³、1024³、1536³ 指体素网格分辨率，不是照片大小或网格面数。论文中的压缩方法。
PBR 材质让物体适应新光线
PBR 即基于物理的渲染。除了基础颜色，模型还生成粗糙度、金属度和不透明度。粗糙度影响反射是否锐利，金属度影响反射行为，不透明度描述透明程度。这样改变场景照明时，材质能重新响应，而不只是把照片中的高光贴在表面。单独的透明通道并不等于完整模拟玻璃的所有折射效果。微软研究院的说明。
速度有多快？
| 体素分辨率 | 作者报告的形状＋材质生成时间 |
|---|---|
| 512³ | 约 3 秒 |
| 1024³ | 约 17 秒 |
| 1536³ | 约 60 秒 |
测试硬件为 NVIDIA H100。下载权重、加载模型、预览及导出还需额外时间，不能把这些数字当作家用电脑的保证。官方性能数据。
在家使用的三条路线
| 现有条件 | 实际选择 |
|---|---|
| 没有合适 GPU 的笔记本或台式机 | 先用官方在线演示，计算发生在远程服务器。 |
| Linux 与合适的 NVIDIA GPU，显存至少 24 GB | 检查兼容性后尝试官方本地安装。 |
| 想多做实验但暂不购买显卡 | 考虑租用 Linux GPU，先确认价格、存储及停止计费方式。 |
微软在线演示适合初次体验：上传单个物体，旋转查看结果并尝试导出。服务可用性与排队情况会变化。这条路线需要把图像发送到远程服务；手机可以操作网页，但不代表模型在手机内运行。
本地硬件与安装
官方要求 Linux 和至少 24 GB 显存的 NVIDIA GPU，验证过的设备是 A100、H100。显存 VRAM 与系统内存 RAM 不同：32 GB 系统内存加 8 GB 显卡并不满足要求。8、12、16 GB 显卡低于公开要求，社区省显存改版需另行评估。达到 24 GB 也不能单独证明某张卡与所有模式兼容。官方要求。
还需要 NVIDIA 驱动、合适的 CUDA Toolkit、编译工具、Git 和 Conda，并为权重与编译预留内存和 SSD 空间。当前安装器创建 Python 3.10，使用 PyTorch 2.6.0 与 CUDA 12.4。安装 PyTorch 本身不能代替编译扩展所需的 Toolkit。安装脚本。
git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm
conda activate trellis2
python app.py
打开终端显示的地址，先用 512 分辨率处理单个物品。生成并检查预览后，使用 Extract GLB 和 Download GLB。首次下载模型可能比生成本身慢很多。以上命令依官方文档核对，本文没有独立执行安装。应用与操作流程。
辅助模型 DINOv3 和 BRIA RMBG-2.0 可能要求 Hugging Face 账号、接受条款并在本地登录。下载的访问权限错误不一定是显卡故障。访问令牌应保存在本地认证环境中，不要写进公开代码。
Windows、AMD 和 Mac 怎么办？
Windows 用户可把 WSL 2＋Linux/CUDA 作为实验路线，但 WSL 支持 CUDA 不等于 TRELLIS.2 已在所有 Windows 电脑上验证。参见NVIDIA WSL 指南，该路线的显卡驱动由 Windows 一侧管理。安装器虽然有 ROCm 分支，但部分扩展仅支持 CUDA，不能由此保证任意 AMD 显卡可直接使用。原生 macOS 也不是官方列出的参考路线。平台分支代码。
把自己的提灯放进游戏
- 拍摄自己的提灯或画一件简单道具。让单个物品完整可见，背景干净，尽量同时展示正面和部分侧面。
- 先生成低分辨率版本，记录输入图和 seed，检查背面、底部及孔洞。再比较不同 seed 或更清晰的输入。
- 导出 GLB，在 Blender 中按 glTF 2.0 导入。检查比例、方向、网格密度和材质。
- 游戏使用前，按性能预算减少面数与纹理大小，添加碰撞及必要的细节等级。静态角色模型不会自动获得骨骼、动画或游戏逻辑。
- Godot 推荐 glTF 2.0，并支持 GLB。Godot 导入文档。
导出还有两个实用细节。默认 GLB 使用 OPAQUE 模式，即使纹理保留了 alpha，也要在目标软件连接透明通道并设置相应材质模式。此外，项目已经提供根据参考图像为现有网格生成材质的独立流程。参见透明度说明和已有模型纹理示例。
3D 打印和商业用途
打印前必须检查网格是否封闭、有无小洞、壁厚、尺寸与稳定性。模型卡承认可能存在小洞或拓扑问题。屏幕上好看的薄片不一定能打印；PBR 金属感也不会自动变成打印材料。功能外壳或齿轮的关键尺寸应通过测量和 CAD 设计确认。已知限制。
TRELLIS.2 的代码与主模型采用 MIT 许可，但依赖项有各自条件。DINOv3 有独立许可；BRIA 将公开 RMBG-2.0 权重列为非商业用途，商业使用需要另行协议。销售游戏前应检查实际使用的组件及输入图像权利。参见MIT 许可、BRIA 条件和DINOv3。
它为什么令人兴奋？
从视觉想法走向可编辑空间对象的距离缩短了。爱好者可以探索场景，独立开发者可以制作道具原型，专业美术可以比较不同方案。开放代码、可编辑几何与能重新打光的材质，让创作者得到可继续发展的起点。真正的作品仍来自对结果的检查、修改与运用。
编辑说明：来源核查日期为 2026 年 10 月 21 日，依据论文、官方代码和模型卡。本文没有安装或独立测试 TRELLIS.2；性能数字来自作者。两幅图片均为 AI 概念插画，并非 TRELLIS.2 输出。