“补全”被遮挡的世界：IGFuse利用场景变化照片重建可交互3D空间

概述

• 项目主页：

https://whhu7.github.io/IGFuse/

• 文章链接：

https://arxiv.org/pdf/2508.13153

• GitHub代码：

https://github.com/whhu7/IGFuse-code

• 输入（左）：同一个场景的多次扫描 (Multi-Scans) ，每次扫描中的物体布局都不同。

• 融合与分解（中）：IGFuse通过一个多状态联合优化过程，将所有扫描的信息融合成一个统一的、一致的场景表示，并将其分解为独立的可动物体 (Optimized Objects) 和完整背景 (Optimized Background) 。

• 交互式生成（右）：最终，用户可以随意地重新排列 (Object Rearrangement) 这些物体，生成全新的、高保真的场景状态。

背景方法

在构建可交互的三维高斯场景时，不同范式有着明显差异：

• (a) 传统单次扫描方法：依赖繁琐的多阶段后处理与修复操作，但往往会引入累积误差与伪影；

• (b) 基于物体的重建方法：需要对场景中每个物体进行密集多视角扫描，再进行显式组合，过程复杂且成本高；

• (c) 我们提出的IGFuse：则通过端到端的多次观测融合，在跨状态监督下联合优化多状态高斯场，不仅能有效补偿不同扫描视角下的遮挡，还能实现高质量的可交互三维高斯重建。

总体框架

双向对齐

IGFuse通过物体级变换矩阵来实现高斯状态迁移。随后，利用对齐损失将迁移后的高斯的渲染图像与扫描j下的真实观测对齐，反之亦然。

伪状态引导对齐

双向对齐虽能有效约束，但仅在两个已知状态间提供监督，难以保证模型泛化到任意的、未见的中间状态。为此，IGFuse引入一个虚拟的“伪状态”，相当于一个公共的中转空间，把两个状态都分别变换到这一共享伪状态，再加上额外约束，确保渲染结果完全一致，迫使模型学习更本质、更一致的场景表示，并提升对任意新状态的泛化能力。

协同互斥剪枝

为了消除因分割不准或状态变换不精确而产生的“伪影”和悬浮高斯，IGFuse设计了一种协同剪枝机制。当将变换到的状态时，对于中的每一个高斯，如果它在中找不到一个足够近的“对应点”，那么它就被认为是移动操作遗留下来的“浮动点”，需要被剪枝。这个剪枝过程是双向的，能够共同提升两个高斯场景的几何纯净度。

新状态合成结果

在新状态合成任务中，我们的方法取得了最优表现。相比之下，基于分割的算法如Gaussian Grouping容易在物体边界处产生明显的瑕疵，而DecoupledGaussian采用分割加修补的思路，但在复杂场景中修补区域与真实背景之间依然会出现不协调感。

前背景信息融合

分割与深度结果

总结与展望