Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.100 — 2026-10-12
REPO 96 STARS 约 5 分钟

TRELLIS.2:3D生成改造潜空间

微软 TRELLIS.2 用紧凑潜空间生成完整 3D 资产,效率与几何表达同样值得看。

IMAGE — GitHub Trending(Python·日榜)

你给 AI 一张椅子的照片,希望得到的不是只能旋转观看的“立体图片”,而是一件能继续编辑、打光和渲染的 3D 资产。难点在于,真实物体不只有外轮廓:薄片、尖角、内部结构和透明材质,都可能在转换中丢失。微软开源的 TRELLIS.2 正面处理这个问题。它单日新增 202 星,更值得拆解的却不是热度,而是它怎样重新安排 3D 生成的“内部空间”。

需要先说明:目前全部技术信息均来自微软官方 GitHub 仓库这一处信源。官方称它达到“state-of-the-art”,但没有同时给出对比模型、评测指标、样本规模或第三方复现,因此本文不把这一评价视为已经证实的结论。

先把 3D 资产压紧,再让模型动手

TRELLIS.2 是一个拥有 40 亿参数的 image-to-3D 模型,也就是输入一张图片,输出高分辨率、带纹理的 3D 资产。

它的关键环节是潜空间(Latent Space)——模型不会直接在庞大的完整 3D 数据上生成,而是先把数据压缩成一种更紧凑的内部表示,在其中完成生成,再还原为几何和材质。可以把它理解成先把一间堆满零件的仓库整理成编号明确的收纳箱,模型处理的是收纳后的结构,而不是反复翻找整座仓库。

负责压缩和还原的是 Sparse 3D VAE。VAE,即变分自编码器,作用是把复杂数据编码到潜空间,再从中重建。TRELLIS.2 的空间下采样倍率为 16 倍,目标是在保留资产信息的同时压低生成成本。在这个潜空间里执行生成的,是 vanilla DiTs,也就是未强调特殊改造的 Diffusion Transformers;它把扩散生成过程与 Transformer 结构结合起来。

O-Voxel 想保住那些难处理的细节

这套潜空间建立在 O-Voxel 上。Voxel,即体素,可以理解成三维空间中的像素;稀疏体素只记录有内容的位置,避免把计算浪费在大片空白区域。官方将 O-Voxel 称为一种“field-free”的稀疏体素表示,意在绕开等值面场表示的限制。

据官方仓库描述,O-Voxel 可以处理复杂拓扑、锐利特征、开放曲面、非流形几何和内部封闭结构。所谓拓扑,关心的是一个物体怎样连接;开放曲面则像衣服或叶片,没有封闭成完整外壳;非流形几何包含常规实体表面难以表达的连接方式。这些对象如果被强行塞进只擅长封闭表面的表示,细节就可能在转换时受损。不过,这些能力目前仍只有官方说明,尚缺论文实验或独立测试支持。

材质也没有停在“贴一层颜色”。TRELLIS.2 可生成 Base Color(基础颜色)、Roughness(粗糙度)、Metallic(金属度)和 Opacity(不透明度),并支持透明效果。这些属性共同组成 PBR 材质。PBR 即基于物理的渲染,它用材质属性模拟物体面对光线时的反应,因此生成结果更容易进入后续游戏或视觉制作流程。完整支持程度仍有待外部验证。

速度数字说明了什么

官方给出的 NVIDIA H100 测试结果是:生成 5123、10243 和 15363 分辨率资产,总耗时分别约 3 秒、17 秒和60 秒。形状与材质所占时间依次约为 2 秒加 1 秒、10 秒加 7 秒、35 秒加 25 秒。

这些数字至少说明,仓库展示的流程能覆盖多个分辨率,并把形状与材质生成纳入同一套时间记录。但它们不能直接证明 TRELLIS.2 比其他模型更快:官方没有交代采样步数、运算精度、显存占用、输入条件,以及计时是否包含全部前后处理。

数据转换方面,官方称 Textured Mesh 转为 O-Voxel 在单 CPU 上少于 10 秒,O-Voxel 借助 CUDA 转回 Textured Mesh 少于 100 毫秒。这里同样缺少 CPU、GPU 型号和网格规模,适合视为项目给出的运行参考,而不是横向基准。

为什么这次改造值得关注

3D 生成常见的矛盾是:表示越丰富,计算越重;压缩越激进,又越容易损害几何、拓扑或材质。TRELLIS.2 的看点,是把 O-Voxel、16 倍空间下采样和完整表面属性放进一条流程,尝试让“紧凑”不再等于“只保留大致外形”。如果后续实验能验证其质量,这类潜空间改造可能比单纯扩大模型更直接地影响生成成本和资产可用性。

官方仓库目前提供 image-to-3D 推理代码、40 亿参数预训练 checkpoint 和 Hugging Face Spaces demo。运行门槛并不低:代码只在 Linux 上测试,至少需要一块拥有 24GB 显存的 NVIDIA GPU,并已在 A100 和 H100 上验证。

局限与未知

  • 官方没有提供足以支撑“state-of-the-art”或“exceptional fidelity and efficiency”的完整比较证据。
  • O-Voxel 对复杂几何及 PBR、透明材质的实际稳定性,仍需论文实验和第三方复现。
  • 仓库文本还提到论文、训练代码和形状条件纹理推理代码,但现有材料丢失了清单的勾选状态,不能据此确认这些项目已经发布。

供稿材料 SOURCES — 1
01
microsoft/TRELLIS.2 GitHub Trending(Python·日榜) · REPO
原文 ↗

← 返回 2026-10-12 · 开源板块