地平线发布 LoFT 原生视频几何基础模型,探索面向物理AI的通用空间表征

2026/11/18

11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

LoFT 原生面向连续视频建模,创新性地采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,充分挖掘视频中的时序关联与多视角几何信息。模型在 SpatialBench、ClassicBench 和 VRBench 等综合评测中的多项指标上取得领先表现,并在机器人操作、第一人称交互、环境探索及多种开放场景中展现出良好的几何重建与跨场景泛化能力。


image.png

项目主页:https://horizonrobotics.github.io/robot_lab/loft


面向物理世界的通用视觉智能


视觉是智能感知和理解物理世界的重要基础。相比语言智能的快速发展,当前视觉智能在三维空间理解、动态场景建模和物理交互等方面仍有很大的发展空间。这也引出了我们希望探索的一个基本问题:面向物理世界的通用智能,我们需要怎样的视觉基础模型?

我们认为,关键在于构建可扩展的视觉表征(Scalable Visual Representation),而视频时序与三维几何是其中两个重要要素。真实世界是三维且动态变化的,连续视频不仅记录了物体的外观,还蕴含着空间结构、运动变化与交互过程。通过联合建模三维几何与时间动态构建视觉基础模型,有望从大规模真实视频中学习可扩展的通用时空表征。  

除了学习什么样的视觉表征,另一个重要问题是如何构建面向未来的可扩展架构。Looped Transformer 通过参数共享扩展计算深度,已在语言模型中展现出良好的参数效率与推理潜力。我们认为,参数共享也能更好地塑造视觉模型的表达能力。这既契合传统视觉的迭代优化思想,也与 Diffusion、Flow Matching 模型的跨状态参数共享机制相呼应,为未来视觉模型更统一的结构和训练范式提供了新的启发。  

综上,我们提出 LoFT(Looped Foundation Transformer for Video Geometry),将视频时序建模、三维几何学习与循环式迭代计算相结合,探索可扩展的视觉架构与空间表征学习方法,迈出构建通用视觉基础模型的第一步。面向未来,我们将从视频重建进一步拓展到联合重建与生成、原生多模态泛化和自监督扩展,为通用智能空间理解、动态预测与自主交互提供核心能力,加速物理 AI 在真实场景中的应用落地。 

 

原生双循环架构,高效建模几何与交互信息

image.png

原生双循环 Transformer:LB1通用几何特征提取,LB2实现Coarse2Fine几何与姿态估计

LoFT 面向连续视频,采用双循环 Transformer 架构。第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,充分利用相邻帧的连续性和跨视角的几何关联。第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,实现视觉特征与几何状态的迭代优化。结合双循环特征,模型进一步预测逐帧深度及其置信度,恢复场景的可见三维结构。

为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列和 9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略,为模型的几何感知能力与跨场景泛化提供数据基础。


多项基准性能领先,展现跨场景泛化能力


LoFT 围绕深度估计、相机位姿与轨迹恢复等核心能力开展系统评测,在多个基准上展现出具有竞争力的几何重建性能,其中深度估计表现尤为突出。

image.png

通用3D空间重建评测SpatialBench,多项指标达到SoTA


image.png

在经典重建ClassicBench 和 连续视频重建VRBench中达到SoTA效果


研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中,将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型进行系统比较。其中,SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景,从不同维度检验模型的几何重建精度、相机运动估计与跨场景泛化能力。

img_v3_0217i_c2d13cf8-f346-4f7b-99d3-2dd0ba1c4fcg.gif


高频动态场景下的精准空间感知


实现文字级精细几何重建


实验结果表明,LoFT 在多项深度估计指标上取得领先表现,在相机位姿与轨迹恢复方面同样展现出良好的性能,为循环式架构在视频几何建模中的有效性提供了实验支持。


从通用空间感知迈向物理 AI 应用


空间与交互表征是机器人感知和理解物理世界的重要基础。对于具身智能而言,机器人不仅需要识别物体,还需要理解物体的位置、距离及其与环境的空间关系,以支持自主移动、物体操作与环境交互。

驾驶场景中对动态车辆的鲁棒视觉重建


复杂生活场景高精度重建


从机器人第一人称视频到动态街道,从室内操作到开放环境探索,LoFT 能够利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,将二维视觉观测转化为空间几何表征。这些能力有望进一步服务于机器人的空间感知、环境理解、空间记忆与动作学习,并为 VLM 和世界模型提供可靠的几何与交互信息。

面向未来,地平线机器人实验室将以 LoFT 为起点,持续探索三维空间与交互表征的学习,以及视觉理解与生成的统一建模,拓展大规模视频自监督学习能力,推动相关技术与空间记忆、世界模型和机器人策略学习深度融合,让视觉模型从几何感知走向对物理世界的理解、预测与交互。同时,面向机器人自主导航、灵巧操作与复杂环境交互等实际需求,加速核心技术向具身智能解决方案转化,推动物理 AI 在真实场景中的落地与规模化应用。




 




分享文章

欢迎订阅地平线相关资讯,您可以随时取消订阅。

立即订阅

同意隐私政策,允许向我推送地平线的新闻、资讯及更多内容。

提交成功!

感谢您的订阅, 我们会第一时间推送地平线最新活动与资讯到您邮箱

6-1.jpg 618db6f9-665a-4ec5-a04a-bb65a3df9030.jpg