K2E-B-G5-11 · Paper Note

NeRF-VINS

Created 2024-03-31Updated 2026-06-11slam / papers / g-geometry-rendering / g5-nerf-slam
  • Description：NeRF-VINS 论文笔记 — 预建 NeRF 地图接入 MSCKF 视觉惯性导航，渲染合成图做 2D-2D 匹配产生地图约束，嵌入式实时 15 Hz
  • My Notion Note ID：K2E-B-G5-11
  • Created：2024-03-31
  • Updated：2026-06-11
  • License：转载欢迎：转载请注明作者 Yu Zhang 并附原文出处（yuzhang.io）

Table of Contents

1. Summary

Title: NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System Authors: S. Katragadda, W. Lee, Y. Peng, P. Geneva, C. Chen, C. Guo, M. Li, G. Huang Paper: arXiv:2309.09295 (ICRA 2024) Github: 无官方代码

NeRF-VINS (UD RPNG 黄国权组， 2023)：把预训练 NeRF 地图接入 MSCKF（Multi-State Constraint Kalman Filter，多状态约束卡尔曼滤波器，用零空间投影高效融合历史帧约束的 VIO 框架）视觉惯性导航系统。思路：NeRF 能从任意视角合成图像 → 在当前估计位姿附近渲染合成图，与实时帧做 2D-2D 特征匹配 → 产生地图约束（等价于对预建地图的连续回环/重定位），有效抑制漂移。强调嵌入式实时：Jetson AGX Orin 上 15 Hz。

与 NICE-SLAM 等"在线建图 SLAM"不同——NeRF-VINS 是用离线预建 NeRF 地图做在线导航 (map-based localization)，更接近实际部署。

AR Table 数据集精度 ~0.44°/1.5 cm，优于 ROVIOLI+Map (1.32°/6.8 cm)，与 HLoc top-50 相当 (~0.45°/1.3 cm) 但 HLoc 鲁棒性差（部分序列 top-5 定位失败率高达 39%），NeRF-VINS 无失败。

NeRF-VINS 系统架构：IMU + 相机 → MSCKF + NeRF 合成图 2D-2D 匹配 → 地图约束融合

2. Key Contributions

  • NeRF 地图约束接入 MSCKF：第一个把 NeRF 渲染合成图作为测量约束融入滤波器的实时 VINS
  • 半分辨率 + FSRCNN 超分：渲染 212×140 (水平减半)，FSRCNN（快速超分辨率卷积神经网络，轻量单图超分模型）上采样至 424×240，在嵌入式平台降渲染开销
  • 嵌入式实时 15 Hz：Jetson AGX Orin，TensorRT 加速，SuperPoint（自监督关键点检测与描述子网络，ResNet18 骨干）特征匹配
  • 鲁棒性：NeRF 合成图视角任意可控 → 适应实图视角受限区域；零定位失败率

3. Method

3.1 MSCKF 框架与状态

状态 xk\mathbf{x}_k = 惯导状态（位姿/速度/IMU bias）+ 历史 IMU 滑窗位姿 + 3D 环境点。

IMU 非线性运动学传播（白噪声 + bias 随机游走）。采用 MSCKF 混合策略：长期跟踪特征保留在状态中，短期特征用 MSCKF 零空间投影、不进状态（靠滑窗多帧约束）— 详见 MSCKF 笔记。

3.2 两类观测：实图 + NeRF 合成图

实图测量（标准 bearing 模型）：

rCk=zCk−hc(x^Tk,p^fG)≈HTx~Tk+Hfp~fG+nCk\mathbf{r}_{C_k} = \mathbf{z}_{C_k} - h_c(\hat{\mathbf{x}}_{T_k}, \hat{\mathbf{p}}_f^G) \approx \mathbf{H}_T\tilde{\mathbf{x}}_{T_k} + \mathbf{H}_f\tilde{\mathbf{p}}_f^G + \mathbf{n}_{C_k}

hch_c 为相机 bearing 测量函数：先将地图点从全局系 {G}\{G\} 变换到 IMU 系 {Ik}\{I_k\}，再经外参 RIC,pIC\mathbf{R}_I^C, \mathbf{p}_I^C 变换到相机系，最后投影：pfCk=RICRGIk(p^fG−p^IkG)+pIC\mathbf{p}_f^{C_k} = \mathbf{R}_I^C \mathbf{R}_G^{I_k}(\hat{\mathbf{p}}_f^G - \hat{\mathbf{p}}_{I_k}^G) + \mathbf{p}_I^C，hc=π(pfCk)h_c = \pi(\mathbf{p}_f^{C_k})（π(⋅)\pi(\cdot) 为归一化投影）；x~Tk\tilde{\mathbf{x}}_{T_k}、p~fG\tilde{\mathbf{p}}_f^G 为误差状态（error state），即真值与估计值之差在切空间上的表示；zCk\mathbf{z}_{C_k} 为实测特征像素坐标；HT/Hf\mathbf{H}_T / \mathbf{H}_f 为对应状态的 Jacobian 矩阵。

NeRF 合成图测量：在当前估计位姿附近渲染合成图 → 与实时帧做 2D-2D SuperPoint 特征匹配 → 关联到 NeRF 地图坐标系中的 3D 点：

zNk=hn(pfG)+nNk,pfG=sRGNpfK+pGN\mathbf{z}_{N_k} = h_n(\mathbf{p}_f^G) + \mathbf{n}_{N_k}, \quad \mathbf{p}_f^G = s\mathbf{R}_G^N\mathbf{p}_f^K + \mathbf{p}_G^N

地图 3D 点 pfK\mathbf{p}_f^K（NeRF 坐标系 {K}\{K\}）通过相似变换对齐到全局导航系 {G}\{G\}：sRGNpfK+pGNs\mathbf{R}_G^N\mathbf{p}_f^K + \mathbf{p}_G^N，其中 ss 为尺度，RGN\mathbf{R}_G^N 为 NeRF 坐标系 {N}\{N\} 到 {G}\{G\} 的旋转，pGN\mathbf{p}_G^N 为平移；该对齐参数离线标定（COLMAP 位姿 → Instant-NGP 训练后，地图坐标系与导航系存在不对齐，需显式修正）。NeRF 测量等价于对预建地图的持续约束 → 抑制全局漂移。

NeRF 地图由 COLMAP（运动恢复结构工具链，含稀疏重建与 Bundle Adjustment 位姿优化）优化位姿后训练（质量最好）；渲染后端 Instant-NGP。

3.3 实时渲染策略

嵌入式实时关键工程：

步骤 细节
渲染分辨率 212×140（原分辨率 424×240 的约半，双边均降）
超分辨率 FSRCNN 上采样至 424×240（还原全分辨率）
特征匹配 SuperPoint 描述子（对低分辨率伪影鲁棒）
加速框架 TensorRT + ResNet18
渲染频率 >10 Hz（独立线程，半分辨率）
整体导航频率 15 Hz (Jetson AGX Orin)

4. Experiments & Results

数据集

数据集 类型 评估
AR Table 真实桌面 AR 序列（8 个子场景） ATE (°/cm)

AR Table 定位精度

Method 旋转误差 (°) 平移误差 (cm) 失败率
ROVIOLI+Map ~1.32 ~6.8 —
HLoc top-5 ~0.45 ~1.3 高（Table2: 37%，Table5: 24%）
HLoc top-50 ~0.45 ~1.3 高（多序列 10-39%）
NeRF-VINS ~0.44 ~1.5 0%

精度与 HLoc top-50 相当，但鲁棒性显著优于 HLoc（无失败序列）；比 ROVIOLI+Map 精度提升约 3×。

NeRF-VINS 合成图像（原始 212×140 + FSRCNN 超分 424×240）及与实图的特征匹配结果

5. Ablation & Discussion

  • 无 NeRF 约束（仅 MSCKF）：精度退化至 ROVIOLI 水平（~1.3°/6.8 cm）；NeRF 地图约束是精度提升的关键
  • 渲染分辨率：半分辨率 + FSRCNN 超分在质量损失极小的情况下将渲染时间降低约 6×（Jetson 全分辨率 ~660 ms/帧 → 半分辨率 + 超分后 ~67 ms/帧）
  • HLoc 失败原因：HLoc 的 top-k 检索在部分序列中无法找到足够的匹配（视角受限）；NeRF 可按需合成对应视角解决此问题

6. Strengths / Limitations / Future Work

Strengths

  • 首个把 NeRF 地图约束融入 MSCKF 滤波器的实时 VINS，定位零失败
  • 嵌入式部署可行：Jetson AGX Orin 15 Hz，功耗低
  • NeRF 地图视角灵活，不受实际数据库视角限制

Limitations

  • 需要离线预建高质量 NeRF 地图（COLMAP + Instant-NGP 训练），部署前成本高
  • 地图静态假设：动态场景（移动物体）可能引发误匹配
  • 仅在 AR Table 数据集验证，未测 ScanNet / TUM 等标准 SLAM 基准

Future Work

  • 在线地图更新（将预建地图与在线建图结合）
  • 更大规模室外场景验证

References