在探讨大语言模型的扩展能力时,值得注意的一个关键要素是信息的统一管理。大量来自不同领域的知识被整合进一个统一的输入输出格式——文本。在这一框架下,输入和输出皆为文本,主干模型在这种一致的语境中学习、整合和迁移知识。那么,对于具身智能而言,其实现Physical AGI的“原生统一空间”应该是什么?现阶段的具身智能在感知、行动以及世界变化的表现上,常常依赖不同的表征方式。具体来说,从输入的图像到各类动作的本体表征,再到世界的变化,这一过程宛如在不同的特征空间中不断进行“翻译”。不同的相机参数和本体之间,存在着复杂的映射关系,导致同一推杯动作在不同视角下呈现出不同的像素变化,而甚至相同的像素位移也不一定代表相同的物理距离。如此一来,模型的能量和资源便耗费在“翻译”而非“理解”上。
跨维智能(DexForce)最近发布的论文UNITAS(A 3D-Native World Action Model for Embodied Manipulation)对此提出了新思路:三维物理世界本身。该模型将机器人的视觉输入、运动行为与环境变化统一在一个三维物理表示空间中,通过点的位置及其随时间变化的轨迹,建立起观察、动作和环境反应的统一描述。与文本为大语言模型提供一致输入输出空间的方式类似,UNITAS旨在实现Physical AI的一体化三维物理空间。这不仅仅是一个新的技术构想,UNITAS在多项机器人操作评测中已显现出其卓越实力:仅凭1.7B(17亿)参数,它在LIBERO测试中达成了99.8%的平均成功率,在LIBERO-Plus测试中取得了89.1%。此外,在RoboTwin 2.0的双臂操作中,分别在Clean与Randomized设置下取得了92.94%和93.04%的成功率,超越了6B(60亿)参数的Fast-WAM、8B(80亿)的Motus,及其他相关模型,在多项基准测试中脱颖而出。同时,该模型在实际机器人操作中也展现了优异表现,任务的平均成功率达到了85%。
在讨论“3D原生”的意义时,我们必须澄清这背后的重要差异:UNITAS所描述的三维是作为模型理解世界的根本,而不单纯是辅助信息。过去的许多方法,例如3D感知世界动作模型,虽然加入了深度、点云和几何约束来丰富模型的空间感知,但这些模型的核心仍然建立在二维视觉或其他潜在特征之上。也就是说,尽管这些模型能够“感知”三维信息,却并非以三维作为其理解世界的基本语言。例如,视频世界模型主要依赖连续的图像来预测未来状态,它能够判断图像中物体的变化,但对于物体之间的实际距离、空间关系以及运动规律仍需通过二维视觉信息来推断。 ut88
另一方面,部分3D方法在增强空间理解能力方面取得了一定进展。以PointWorld为例,该模型能够预测三维场景的变化,但动作轨迹仍需外部输入,使得其更像是一个环境变化的模拟器,而非具备对“为何行动”和“行动后世界如何变化”的统一理解能力的模型。其他一些如LingBot-VA、DreamZero等模型则继续遵循二维视觉建模的方案,这种策略虽能借助视频中的丰富数据进行学习,但最终对世界变化的描述依然依赖于二维图像及其潜在特征,而物体之间的距离、位置及运动规律仍需模型进行推导。
而在UNITAS探索的3D原生方法中,核心的转变在于:模型不再依赖二维视觉推断三维世界,而是直接在三维物理空间中进行学习。换句话说,世界模型直接作用于统一坐标系下的三维标记,而不再依赖图像标记作为中介。UNITAS的主干模型直接处理三维标记,以三维空间作为机器人观察、行动及理解环境变化的共同表征。具体而言,观察与视觉信息对应三维位置,行动则涉及操作本体在三维空间中随时间变化的轨迹,而环境变化则为观测点在同一时间空间内的运动轨迹。例如,操控一个杯子时,从夹爪的接近到杯子离开桌面,再到最终的移动距离,均可通过同一真实距离坐标系清晰表达。这使得模型不仅能够生成可执行动作,还能准确预测给定动作对场景变化的影响。