陵水黎族自治县网站建设_网站建设公司_论坛网站_seo优化

从一张普通照片中重建出完整的3D物体,这听起来像是科幻电影里的情节。然而Meta的研究团队真的做到了。他们开发的SAM 3D模型能够从单张图像中预测物体的形状、纹理和空间位置,即使物体被遮挡或处于杂乱场景中也能准确重建。更令人惊讶的是,这个模型不仅能重建看得见的部分,还能推测出被遮挡的背面结构,就像人类大脑能从局部信息推断整体一样。

这项研究的突破性在于解决了3D领域长期存在的"数据壁垒"问题。传统的3D重建模型主要依赖多视角几何信息,但人类其实能从单张照片推断深度和形状,这种能力来自于识别和上下文理解。

早在1963年,计算机视觉先驱劳伦斯·罗伯茨就提出,当识别出图像中的物体后,就能恢复其3D形状和姿态。SAM 3D正是继承了这一思想,并通过现代深度学习技术将其发扬光大。研究团队创造性地设计了一套"人机协作"的数据标注流程,以前所未有的规模生成了包含形状、纹理和姿态信息的3D数据集,使模型能够在真实世界场景中表现出色。

核心技术:从合成到真实的多阶段训练

SAM 3D的训练过程可以类比为培养一位3D艺术家的成长历程。就像艺术家需要经历基础训练、实践磨练和风格培养三个阶段,SAM 3D也采用了预训练、中期训练和后期训练的多阶段策略。

在预训练阶段,模型从270万个合成3D物体中学习基础的形状和纹理知识。这些物体来自Objaverse-XL等数据库,被渲染成24个不同视角的高分辨率图像。此时的模型就像初学者临摹石膏像,虽然能画出规整的形状,但缺乏应对真实世界复杂情况的能力。这个阶段消耗了2.5万亿个训练样本,为后续学习打下坚实基础。

中期训练阶段引入了"半合成"数据,即将3D物体渲染后粘贴到真实照片中。研究团队开发了名为RP-3DO的数据集,包含6100万个样本。这个阶段教会模型三个关键技能:遵循物体遮罩、处理遮挡情况、估计物体在场景中的位置和尺度。就像艺术家开始写生,需要学会在复杂环境中抓住物体的本质特征。特别值得一提的是"飞行遮挡物"技术,通过在图像中随机添加遮挡物体,强制模型学习形状补全能力。另一种"物体交换"技术则确保渲染的物体与真实场景在深度和尺度上保持一致,提供更真实的视觉线索。

后期训练是整个流程的精髓所在。传统方法面临的困境是:普通人无法直接创建3D模型,而专业3D艺术家成本高昂且效率低下。研究团队巧妙地将问题转化为"选择题"——让标注者从多个候选3D模型中选择最匹配的一个,而不是从零开始创建。这种"模型在环"的标注流程包含三个关键步骤。

第一步是选择目标物体。团队从多个真实世界数据集中采样图像,包括大规模网络图片、日常环境视频、以自我中心视角拍摄的数据集等,确保覆盖广泛的物体类别和场景类型。他们构建了一个面向3D的物体分类体系,例如将不同品种的狗归为一类,因为它们具有相似的3D结构。通过这种方式,团队标注了近100万张图像中的约314万个物体。

第二步是3D模型的排序与选择。由于普通标注者无法生成3D形状,研究团队部署了一套"模型套件",包括检索方法、文本生成3D方法和图像生成3D方法。对于每个物体,标注者会看到6到10个候选模型,通过一系列成对比较选出最佳匹配。这个过程采用"8选1"的最优搜索策略,显著提高了找到高质量标注的概率。标注者随后对选中的模型进行质量评分,达标的样本进入下一阶段,不达标的作为偏好学习的负样本。当所有模型都无法满足要求时,这些困难样本会被转交给专业3D艺术家进行人工建模。

第三步是将3D模型对齐到2.5D场景。标注者使用专门开发的工具,将选定的3D模型在点云中进行旋转、平移和缩放,使其与图像中的物体精确对齐。点云由深度估计模型生成,提供了足够的空间结构信息,使标注者能够一致地放置和定向物体。整个标注流程中,选择物体平均需要10秒,选择3D模型需要80秒,对齐模型需要150秒。

这套数据引擎的巧妙之处在于形成了一个良性循环。随着模型性能提升,它在候选生成中的占比从最初的少数逐渐增加到约80%,数据质量也随之提高。研究团队可以动态调整质量阈值,只保留达到更高标准的样本用于训练。最终,这个数据引擎产出了314万个可训练的形状、123万个布局数据、10万个纹理样本,以及超过700万对偏好数据,规模前所未有。

在模型改进阶段,团队采用监督微调和直接偏好优化相结合的策略。监督微调使用所有达到质量标准的标注数据,而直接偏好优化则利用选择过程中产生的偏好对——被选中的"更好"样本和被拒绝的"较差"样本。这种方法借鉴了大语言模型训练中的成功经验,能够让模型学习人类的审美偏好,抑制常见失败模式,比如悬浮碎片、缺少底部的网格、缺失对称性等问题。整个后期训练最终迭代使用了5000亿个训练样本。

为了实现亚秒级的形状和布局推理,研究团队还进行了模型蒸馏,将推理所需的函数评估次数从25次减少到4次,实现了10倍的速度提升,同时几乎不损失性能。

模型架构:双阶段设计与混合变换器

SAM 3D的核心架构采用两阶段设计,分别处理几何和纹理。这种分工类似于雕塑家先塑造形体,再进行表面处理。

第一阶段的几何模型负责联合预测物体的粗略形状和空间布局。输入编码采用DINOv2作为视觉特征提取器,处理四组条件信息:裁剪后的物体图像及其遮罩,提供高分辨率的局部视图;完整图像及其遮罩,提供全局场景上下文和识别线索。模型还可以选择性地接受粗略的场景点云作为额外输入,这些点云可以来自硬件传感器或单目深度估计。

几何模型的核心是一个包含12亿参数的流变换器,采用"混合变换器"架构。这种设计的精妙之处在于使用结构化的注意力掩码,允许不同模态之间共享信息,同时保持独立的处理流。具体而言,模型包含两个变换器流:一个专门处理形状特征,另一个的参数在旋转、平移和缩放之间共享。这种设计带来两个关键优势:能够独立训练或微调某些模态,同时通过多模态自注意力层实现跨模态信息共享,确保预测的自洽性。

形状的表示采用643分辨率的粗体素,旋转使用6维连续表示法以避免不连续性,平移和缩放则直接在参数空间中去噪。所有模态映射到1024维的共享特征空间,形状产生4096个token,而旋转、平移、缩放各产生1个token。

第二阶段的纹理与细化模型以几何模型预测的粗体素为输入,生成高分辨率的几何细节和物体纹理。模型首先提取活跃体素,然后使用包含6亿参数的稀疏潜在流变换器进行细化。最终的潜在表示可以通过两个独立训练的VAE解码器转换为网格或3D高斯点云,两者共享相同的结构化潜在空间。

研究团队对纹理VAE进行了重要改进。原始设计将特征反投影到所有体素,包括不可见的遮挡部分,导致重建图像清晰度下降。改进后的"深度感知VAE"只将特征反投影到从当前视图可见的体素,利用深度信息进行遮挡处理,显著提升了重建质量。训练时,KL正则化项按活跃体素数量归一化,防止大物体主导训练损失。

整个系统的训练采用整流条件流匹配目标函数。对于几何模型,目标是学习从噪声分布到目标分布的速度场,联合生成形状、旋转、平移和缩放。每个模态都有独立的权重系数,用于平衡不同输出的重要性。纹理模型采用类似的流匹配策略,在潜在空间中细化形状并合成纹理。

训练超参数方面,预训练阶段在512个A100 GPU上进行200轮,中期训练先在320个GPU上运行50轮,再在128个GPU上额外训练50轮,物体交换数据在256个GPU上训练12轮。监督微调在128个H200 GPU上进行100轮,随着数据引擎产生更高质量的数据,质量阈值逐步提高,最终保留50万个样本。偏好优化在128个A100上运行1轮。纹理模型的训练规模相当,预训练在256个A100上进行245轮,中期训练80轮,监督微调89轮,偏好优化2轮。

值得注意的是,研究团队在纹理训练中引入了光照增强技术。对于合成数据,他们在渲染输入图像时使用随机光照,而在渲染目标潜在表示的视图时使用环境光照。这种设计鼓励模型学习预测"去光照"的纹理,避免将强方向性阴影或高光烘焙到纹理中,使生成的3D资产更加通用。

评估体系:艺术家级别的基准测试

为了全面评估SAM 3D在真实世界场景中的能力,研究团队构建了一个名为SA-3DAO的新基准测试集。这个数据集包含1000个由专业3D艺术家从自然图像创建的高保真3D物体。与现有基准相比,SA-3DAO的独特之处在于其视觉多样性和真实世界复杂性。

数据集覆盖的场景包括公园、滑雪场、跳蚤市场、游行等室内外环境,物体范围从大型结构如滑雪缆车和自动扶梯,到日常用品如衣物,再到罕见的文化特定物体如部落面具。艺术家的任务是从单张图像中恢复物体的完整3D形状,必须处理局部信息缺失、自然遮挡、物体尺寸较小等挑战。为了填补这些信息空白,艺术家依靠识别和上下文,使用常识先验、物理合理性假设和对称性原则来完成网格。

制作这些高质量基准数据的成本相当高昂。对于简单几何形状的明显物体,艺术家可能只需5分钟,但对于复杂案例可能需要超过5小时。数据集中网格的中位数包含4751个顶点,许多图像提供了多个物体,每张图像的物体数量遵循大致的幂律分布,最多可达11个物体。

研究团队还设计了针对不同场景的人类偏好测试集,包括四个领域:从SA-1B均匀采样1000个图像和物体遮罩对,覆盖多样的物体类别;从MetaCLIP选择1000个中度或严重遮挡的样本;从LVIS密集采样1000张包含10到30个物体的场景图像;从Aria数字孪生数据集采样40个视频帧,每个场景约30个物体。这些测试集分别评估模型在长尾类别、遮挡情况、密集场景和高精度点云场景中的表现。

评估指标涵盖形状、纹理和布局三个方面。对于形状质量,研究团队使用四个互补指标:F1分数(阈值0.01)测量0.01阈值下重建点和真实点之间的对应精度;体素IoU提供粗略的体积一致性评分;倒角距离测量双向最近邻距离,突出细粒度几何偏差;推土机距离量化将一个点分布转换为另一个点分布所需的最小成本,更加严格地捕捉全局结构差异。这些指标从局部精度到全局形状一致性提供了全面的重建保真度视图。

对于纹理评估,由于SA-3DAO的艺术家创建的网格是无纹理的,研究团队采用感知相似度指标。在ISO3D数据集上,他们使用ULIP和Uni3D计算点云特征和图像特征之间的跨模态相似度,每个生成的网格均匀采样8192个表面点形成点云表示。

布局评估采用标准的6D姿态估计指标:3D IoU测量预测和真实3D轴对齐边界框的重叠;ICP旋转误差是ICP对齐后的残差旋转误差(以度为单位);ADD-S(对称平均距离)是预测和真实姿态物体之间的对称化平均最小点对点距离,按物体直径归一化;ADD-S@0.1表示ADD-S距离是否小于物体直径的10%。这些指标全面衡量了模型预测物体空间位置和方向的准确性。

实验结果:压倒性优势

在SA-3DAO基准测试上,SAM 3D展现出显著优于现有最先进方法的性能。与最近的Trellis、Hunyuan3D-2.1、Direct3D-S2、TripoSG和Hi3DGen等模型相比,SAM 3D在所有形状质量指标上都取得了大幅领先。具体而言,F1分数达到0.2344,相比第二名提升约44%;体素IoU为0.2311,提升约51%;倒角距离降至0.0400,改善超过50%;推土机距离为0.1211,也有显著提升。

在人类偏好测试中,结果更加令人印象深刻。对于真实图像的单物体重建,SAM 3D获得了5:1的压倒性胜率。在场景级重建方面,用户以6:1的比例更偏好SAM 3D的结果。这些偏好测试在三个评估集上进行,涵盖了场景偏好集、LVIS和Aria数字孪生数据集,结果一致显示SAM 3D的显著优势。

特别值得关注的是模型在处理遮挡和杂乱场景时的表现。定性示例清楚地展示了SAM 3D在严重遮挡情况下的强大泛化能力。当物体被部分遮挡或处于复杂场景中时,竞争方法往往产生不完整或扭曲的重建,而SAM 3D能够利用上下文线索和识别能力,推断出合理的完整形状。

对于3D场景重建,SAM 3D在实际数据如SA-3DAO和Aria数字孪生数据集上的改进尤为显著。模型引入了联合生成形状和布局的新能力,将ADD-S@0.1指标从2%提升到77%。即使与使用SAM 3D网格的流水线方法相比,性能提升依然持续存在。研究团队还展示了"采样后优化"方法可以进一步改善性能,类似于渲染比较方法,在554个接受优化的样本中,3D布局指标和2D遮罩IoU都有显著提升。

纹理质量方面,SAM 3D同样表现出色。在使用相同SAM 3D几何形状的纹理生成对比中,标注者显著偏好SAM 3D的纹理结果。在ISO3D数据集上,SAM 3D相对于Trellis的胜率达到81.1%,相对于Hunyuan3D-2.1为63.8%,相对于Unitex为83.3%。偏好集和SA-3DAO上的结果同样一边倒,胜率普遍在84%以上。这主要归功于SAM 3D在处理遮挡和杂乱环境时的优势,而这正是先前工作的薄弱环节。

研究团队通过一系列消融实验验证了设计选择的有效性。多阶段训练的级联改进实验显示,每添加一个训练阶段,形状质量指标都呈现近乎单调的提升。从仅预训练到添加中期训练,F1分数从0.1349提升到0.1705;继续添加MITL-3DO监督微调后达到0.2027;DPO进一步提升到0.2156;加入艺术家数据的监督微调达到0.2331;最终的艺术家数据DPO将性能推至0.2344。

对于中间训练阶段的剔除实验表明,任何一个真实世界数据阶段的缺失都会导致明显的性能下降。移除MITL-3DO训练使F1分数下降到0.2211,移除艺术家数据降至0.2027,不使用MITL-3DO的DPO则为0.2156。这验证了整个训练流程中每个组件的必要性。

纹理模型的消融实验揭示了几个关键设计选择的重要性。光照增强是最关键的因素,带来显著的偏好提升。遮罩和模糊增强主要针对特定挑战场景,在整体评估中效果被稀释但仍然重要。RP-3DO数据对于适应真实世界至关重要。后期训练数据带来显著增益,数据引擎的有效性得到证明,DPO进一步放大了增益。此外,获取特定类型的高美学数据和扩展数据规模都显示出显著改进。

旋转表示的消融实验证实,从四元数切换到6D连续旋转参数化显著降低了定向旋转误差。进一步对6D旋转向量进行归一化又带来额外改进。点云条件对形状性能的影响最小,在LVIS上的头对头偏好测试中,有点云和无点云的版本各被选择约48%的时间。

数据引擎中奖励模型辅助的最优N选搜索实验显示,使用奖励模型从50个候选中筛选能够将困难样本的成功标注率从0%提升到86.8%。在难度测试集、Epic Kitchens和SA-3DAO上,使用恢复数据进行微调都改善了模型在挑战性输入上的性能。这表明进一步放大专家策略可以提高数据引擎的收敛速度。

技术创新与未来展望

SAM 3D的成功建立在几个关键创新之上。核心突破在于将大语言模型训练范式成功移植到3D领域。传统3D重建受限于数据稀缺,而SAM 3D通过合成预训练建立丰富的形状和纹理词汇,通过半合成中期训练学习处理遮挡和场景布局的能力,最后通过真实世界后期训练对齐人类偏好。这种从合成到真实的渐进式学习策略,有效弥补了3D领域与文本、图像、视频等领域数量级的数据差距。

模型在环的数据标注流程是另一个关键创新。研究团队将无法直接完成的3D建模任务转化为人类擅长的选择和验证任务。通过部署包含检索、文本生成3D、图像生成3D等多种方法的模型套件,并让标注者从8个候选中选择最佳匹配,这种"最优N选"搜索显著提高了找到高质量标注的概率。更重要的是,这个过程形成了良性循环:改进的模型产生更好的候选,更好的候选带来更高质量的标注,更高质量的标注又进一步改进模型。历史Elo评分显示,随着数据引擎迭代运行,模型性能稳步提升,呈现近似线性的扩展规律。

混合变换器架构巧妙地平衡了模态独立性和信息共享。通过结构化注意力掩码,模型能够独立训练或微调某些模态,同时通过多模态自注意力层实现跨模态交互。这种设计使得模型可以在只有部分模态标注的数据上训练,也可以冻结某些能力只微调其他部分,大大提高了训练的灵活性。

深度感知的VAE改进看似简单,却带来了纹理质量的显著提升。通过只将特征反投影到可见体素,模型避免了不可见区域的特征污染,使重建图像更加清晰。结合光照增强技术,模型学会预测不受光照影响的"去光照"纹理,使生成的3D资产具有更好的通用性。

模型蒸馏技术借鉴了扩散模型的"捷径模型"方法,通过结合流匹配目标和自一致性目标,成功将推理步数从25步减少到4步,实现10倍速度提升,同时几乎不损失性能。这对于需要在线3D感知能力的应用(如机器人)至关重要。

当然,SAM 3D也存在一些局限性。由于架构超参数的限制,模型的分辨率存在上限。几何模型使用643的粗体素分辨率,每个占用体素最多32个高斯点。这对许多物体足够,但对于复杂形状或人类视觉系统特别敏感的特征,可能导致可察觉的失真或细节丢失。当重建整个人体时,分配给手部或面部的体素/高斯点数量受限于整体身体的尺度,可能产生可察觉的伪影。相比之下,当只关注单只手或头部时,可用的相对分辨率更高,SAM 3D能够重建得显著更好。

物体布局是另一个需要改进的领域。SAM 3D逐个预测物体,没有被训练来推理物理交互,如接触、物理稳定性、相互穿透或共同对齐。多物体联合预测结合适当的损失函数,将允许对场景中多个物体进行联合推理。此外,SAM 3D的纹理预测不知道预测物体的姿态,对于具有旋转对称性的物体,偶尔会预测出实际上将物体旋转到错误方向的纹理。

SAM 3D为3D重建和下游应用开启了新的可能性。在机器人领域,能够从单张图像快速重建场景中物体的完整3D形状和位置,将极大增强机器人的环境理解和操作能力。在增强现实和虚拟现实中,SAM 3D可以实时将真实世界物体转换为虚拟资产,实现更自然的混合现实体验。在游戏和电影制作中,创作者可以快速从参考图像生成高质量3D资产,大幅缩短制作周期。在电子商务领域,商品照片可以自动转换为可旋转查看的3D模型,提升用户体验。

END

本文来自至顶AI实验室，一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破，挖掘其潜在的应用场景，为企业和个人提供切实可行的解决方案。

Q&A

Q1:SAM 3D相比传统3D重建方法有什么优势?

A:SAM 3D的核心优势在于能够从单张自然图像重建完整的3D物体,即使在遮挡和杂乱场景中也表现出色。传统方法主要依赖多视角几何信息或需要在隔离环境中拍摄的物体照片。SAM 3D通过结合识别和上下文理解,能够像人类一样从局部信息推断整体结构。在人类偏好测试中,SAM 3D相对于现有最先进方法获得了至少5:1的胜率,在真实世界场景的表现远超竞争对手。

Q2:模型在环的数据标注流程是如何工作的?

A:这个流程巧妙地将困难的3D建模任务转化为选择和验证任务。系统首先使用多种方法(检索、文本生成3D、图像生成3D)生成6到10个候选3D模型,标注者通过成对比较选出最匹配的一个,然后对其质量评分。达标样本进入下一阶段对齐,不达标样本作为偏好学习的负样本。特别困难的案例会转交专业3D艺术家处理。随着模型改进,它在候选生成中的占比从少数增加到约80%,形成良性循环。整个数据引擎最终产出了314万个形状、123万个布局数据和10万个纹理样本。

Q3:SAM 3D模型在实际应用中的推理速度如何?

A:研究团队通过模型蒸馏技术实现了显著的速度提升。通过采用"捷径模型"方法,将推理所需的函数评估次数从25次减少到4次,实现了10倍的速度提升,同时几乎不损失性能。对于几何模型,使用1步和4步方法分别实现了38倍和10倍的推理速度改进。这使得SAM 3D能够实现亚秒级的形状和布局预测,满足需要在线3D感知能力的应用需求,如机器人操作、增强现实等场景。