论文记录 · 证据边界公开

GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model

arXiv · 2026-07-08 · 空间感知与导航

论文元数据

作者: Peter Bohm、Saimunur Rahman、Abdelwahed Khamis、Sagun Man Singh Shrestha、Chris McCool、Peyman Moghadam
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 空间感知与导航
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.06882
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 70/100 · 0–1 个月

研发注意力：55/80 · 近期跨域高潜·社区待验证

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：颠覆性分支

路线评审说明：低数据冻结MLLM导航颠覆性分支候选

社区证据类型：尚无独立社区验证

仅8.7小时开放数据、语言塔LoRA和离散航点token即可在四个未见实景20/20 pose-goal成功，并揭示离线ADE更优的帧采样反而实机全失败；但纯图像停止、边缘时延、SLAM依赖和零开放实现限制当前部署。

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–1 个月窗口。
社区可复查验证 · 0/25
代码、LoRA适配器与TokenWalker未开，尚无独立Spot部署。
跨领域技术创新 · 20/20
冻结MLLM、离散动作token、软解码度量损失、数据高效视觉导航与闭环停止统一。
量化实机证据 · 10/10
Spot四个未见环境各5次，pose-goal为20/20自主停止并报告时间、路径与终点误差。
开放与可复现 · 0/5
训练依赖SCAND可得，但GemNav代码、适配器、运行时和新增TokenWalker未发布。
工程实用增量 · 5/5
相对跨本体大数据路线以8.7小时训练达成20/20；同时公开A100、Thor、Orin时延，暴露真实部署边界。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；单一Spot本体；纯图像目标停止不可靠；依赖坐标目标与SLAM；A100优化后421ms；Orin未优化；无代码权重数据；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

GemNav只对Gemma-4-E2B-it语言塔做LoRA，冻结视觉塔，不加辅助3D编码器或连续动作头，用69个保留token表示八个航点、停止和不可达。仅用8.7小时开放SCAND训练，在Spot四个未见物理环境的pose-goal条件各5次全部自主停止，终点误差0.25–0.42m；同时证明固定帧间隔采样虽然离线ADE更好，却在所有实机模态失败，是值得关注的反共识结果。工程限制也很强：优化后A100仍421ms、Thor 1129ms，Orin未完成优化且基线6557ms；纯图像目标停止不可靠、需要坐标目标和LiDAR-inertial SLAM。论文未提供代码或适配器，83分钟TokenWalker只承诺未来开放。

实机证据：quantified_spot_four_unseen_environments_five_trials_each；四个未见环境各5次pose-goal实体试验共20次，GemNav均为5/0/0 stop/partial/miss；Carpark、Obstacle Carpark、Chemical Yard和Warehouse终点误差分别0.39、0.27、0.25、0.42m。OmniVLA在相同pose-goal条件为0次自主成功。

硬件/本体：Boston Dynamics Spot、Intel RealSense color camera, 1280x720 at 2 Hz、continuous-time 3D LiDAR-inertial SLAM、A100/A6000/Jetson Thor/Jetson Orin latency bench

红旗与边界：只在一台Spot上验证；纯图像目标停止不可靠；依赖目标坐标与LiDAR-inertial SLAM；2D航点不能原地旋转且过滤身后目标；A100优化后仍421ms；Orin基线6557ms且无优化结果；代码权重与TokenWalker未开放；无独立复现

code · 状态 no_official_repository_or_project_provided · 许可证 not_disclosed
论文PDF没有GemNav项目页、训练代码、机器人运行时或适配器仓库。
weights · 状态 lora_adapter_not_released · 许可证 not_disclosed
公开Gemma-4基座是外部依赖；论文四阶段warm-start所得LoRA适配器没有下载。
data · 状态 scand_is_external_open_dependency_tokenwalker_release_promised · 许可证 not_disclosed
训练依赖既有开放SCAND；作者新采集TokenWalker为83分钟、9,924个图像/位姿样本，但正文只写will release，未提供数据链接或许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

人工终审论文来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	A100/A6000
训练时长	8.7-hour open corpus
部署推理硬件	Jetson Thor/Jetson Orin
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 medium · 模型 glm-5.3 · 更新 2026-09-01T06:44:49Z

算力与训练档案置信 medium · 模型 glm-5.3 · 更新 2026-09-01T06:44:49Z