论文记录 · 证据边界公开

Memory Over Maps: 3D Object Localization Without Reconstruction

arXiv v2 technical report · 2026-03-20 · 空间感知与导航

论文元数据

作者: Rui Zhou、Xander Yap、Jianwen Cao、Allison Lau、Boyang Sun、Marc Pollefeys
机构: University of Zurich、ETH Zurich、Microsoft
发布日期精度: 日
研究方向: 空间感知与导航
机器人: Boston Dynamics Spot、HM3D and MP3D simulated agents
DOI: 未披露
arXiv: 2603.20530
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验可访问（使用限制见许可证）
数据: 未核验
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 77/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、开放词汇导航颠覆性分支·视觉记忆替代稠密地图·Spot量化验证

社区证据类型：尚无独立社区验证

Memory Over Maps把对象定位从完整3D重建改成带位姿RGB-D记忆与按需稀疏反投影，索引构建降到35.5秒/1.4GB，并在Spot预扫描场景达到22/25；Apache-2.0代码和导航权重真实开放，是本批最接近可实践的新路线。

近期窗口 · 35/35
发布距评分基准日 4 个月，落入 0–6 个月窗口。
社区可复查验证 · 3/25
固定代码、配置与权重可复查，但没有外部部署、成功率复算或公开失败报告。
跨领域技术创新 · 20/20
把视觉检索、VLM重排、开放词汇分割、深度反投影和对象导航组合成无全局重建管线。
量化实机证据 · 9/10
Spot 25次试验完整方法22次、无VLM重排19次；场景预先扫描且规模小。
开放与可复现 · 5/5
Apache-2.0固定仓含安装、demo、评测和约34MB导航checkpoint；外部模型与场景条款另适用。
工程实用增量 · 5/5
显著压低建图时间/存储，适合已扫描大场景按对象查询；2.92秒查询时延是明确选型代价。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；Spot场景由iPad预扫描；实体试验仅25次且无逐回合日志；每查询约2.92秒；物理扫描与日志未发布；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 for repository-owned code; Qwen, SigLIP, SAM and benchmark assets retain upstream terms · 最近核验 2026-07-22
依赖：Python 3.9、PyTorch、transformers >=4.57、FAISS CPU、Qwen2.5-VL、SigLIP2、SAM3、HM3D/MP3D data for benchmark reproduction；硬件/传感器：CUDA GPU; README recommends about 24GB VRAM、RGB-D keyframes with camera poses、Boston Dynamics Spot only for author-equivalent physical validation；实机证据：Author Spot experiment reports 22/25 complete-pipeline navigation successes versus 19/25 without VLM reranking in an iPad-pre-scanned scene.；开放范围/限制：The repository does not supply the physical Spot scan or 25-trial logs. VLM query latency is about 2.92 seconds, and the Apache code grant does not override external model, simulator or dataset terms.
官方权重 · 许可证 Apache-2.0 repository grant for the bundled file; upstream training asset provenance and benchmark terms remain separate · 最近核验 2026-07-22
依赖：Memory Over Maps fixed code revision、PyTorch、matching point-navigation configuration、external Qwen2.5-VL, SigLIP2 and SAM3 assets for the full pipeline；硬件/传感器：CUDA GPU for full pipeline、no physical robot required for file inspection or simulation evaluation；实机证据：The author pipeline containing this navigation component is used in the 25 Spot trials, but no independent checkpoint ablation or physical reproduction is public.；开放范围/限制：Do not describe this single approximately 34MB file as all model weights. Pin external model revisions and validate observation/action conventions before using it on hardware.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

Memory Over Maps不构建全局点云、体素或场景图，只保存带位姿RGB-D关键帧；查询时用SigLIP2检索、Qwen2.5-VL重排、SAM3分割和深度反投影临时生成目标3D位置。HM3D为76.7% SR/50.7 SPL，MP3D为54.5/31.8；索引构建35.5秒、1.4GB，显著低于分钟级重建。代价是每次VLM查询约2.92秒。Spot在预扫描场景做25次导航，完整方法22/25，去掉VLM重排为19/25；场景预先用iPad扫描，因此不是未知环境在线建图。官方Apache-2.0仓固定提交包含安装、配置、demo、评测和约34MB导航权重，依赖Python 3.9、FAISS、Qwen2.5-VL、SigLIP2、SAM3和约24GB显存。这是开放词汇导航的高价值颠覆性分支，但尚无外部复现。

实机证据：quantified_author_Spot_navigation_trials_in_pre_scanned_scene；25次Spot目标导航中完整方法22次成功，embedding-only 19次；没有置信区间、独立团队或在线未知场景建图，环境在试验前已由iPad扫描。

硬件/本体：Boston Dynamics Spot、iPad pre-scan、RGB-D visual memory

红旗与边界：Spot场景预先由iPad扫描，不是完全未知场景在线导航；VLM查询约2.92秒，显著慢于纯embedding/图式查询；实体试验仅25次且没有逐回合日志；外部VLM/SAM/数据集许可证与Apache-2.0代码许可分离；无独立复现

查看资源 · project · 状态 official_project_page_with_results_and_videos · 许可证 Project-site content license not separately declared
项目页提供方法、视频、结果和代码入口。
查看资源 · code · 状态 official_fixed_revision_runnable_research_code · 许可证 Apache-2.0
77个仓库文件含安装、配置、数据准备、demo、评测和导航模块。
查看资源 · weights · 状态 bundled_navigation_checkpoint_downloadable · 许可证 Apache-2.0 repository grant; upstream model and training-data terms remain separate
pointnav_weights.pth为33,978,797字节，Git blob SHA为21ca2c989b6552be9a6c8c504decbb27f9a61148。
data · 状态 evaluation_scene_inputs_not_released_as_a_dataset · 许可证 Upstream HM3D/MP3D and locally scanned scenes retain separate terms
仓库给数据准备说明，但Spot扫描、逐回合日志和完整缓存没有作为数据集开放。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。