论文记录 · 证据边界公开

Visuo-Tactile World Models

arXiv technical report · 2026-02-05 · 灵巧手与视觉触觉操作

论文元数据

作者: Carolina Higuera、Sergio Arnaud、Byron Boots、Mustafa Mukadam、Francois Robert Hogan、Franziska Meier
机构: University of Washington、FAIR, Meta
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: Allegro Hand、Digit 360 tactile sensors、Franka Panda
DOI: 10.48550/arXiv.2602.06001
arXiv: 2602.06001
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 57/100 · 4–6 个月

研发注意力：46/80 · 证据分项观察

工程落地：11/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：视觉触觉WAM主流技术2.0·接触物理预测·零样本规划基线

社区证据类型：尚无独立社区验证

VT-WM 是当前视觉触觉世界模型演进链的早期可量化基线：它将视觉与 Digit 360 接触信号一起用于动作条件想象和 CEM 规划，并在 Franka Panda/Allegro Hand 的五个作者真机初始条件或任务中报告相对视觉世界模型的提升。没有代码、权重、数据或许可证，它的价值是定义“接触物理可信度与零样本规划”评价轴，而非提供可部署方案。

近期窗口 · 28/35
发布距评分基准日 6 个月，落入 4–6 个月窗口。
社区可复查验证 · 0/25
未定位固定版本的官方实现、第三方实机复现或带硬件/指标的部署报告。
跨领域技术创新 · 18/20
把视觉、触觉、动作条件未来预测、对象恒存/运动规律物理一致性和 CEM 规划放入同一多任务世界模型；尚不能证明其优于所有后续架构。
量化实机证据 · 8/10
作者项目页报告 Franka Panda、Allegro Hand、Digit 360 的五个初始条件/任务，接触丰富场景相对视觉世界模型为+10/+35/+31/+11个百分点；缺完整任务分母、失败轨迹及独立重复。
开放与可复现 · 0/5
一手论文与项目页均未提供官方代码、权重、训练数据、传感器标定、环境或许可证入口。
工程实用增量 · 3/5
明确对象恒存、因果合规和零样本接触规划的评估接口；无可安装实现、时延、控制频率或安全控制闭环。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；无官方代码、权重、训练/测试数据、许可证、环境锁或传感器标定材料；无独立团队的 Digit 360/Allegro/Franka 复现、完整试验分母、失败分布、置信区间或长期接触可靠性；无跨触觉传感器、跨手型、跨相机、人形全身、轮臂/轮足或足式本体结论；零样本规划收益只在作者陈述的接触任务/初始条件内，不能当作通用 VLA 或真实部署 SOTA；未披露可复现的端到端推理时延、CEM预算、控制频率、GPU成本、力限幅或急停接口

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

VT-WM 是具备可量化真机验证的多任务视觉—触觉世界模型：以 RGB 全局场景、Digit 360 接触图像和动作条件预测未来潜变量，用 CEM 做零样本规划。作者在 Allegro Hand + Franka Panda 上以五个任务、各五个不同初始条件报告相对视觉世界模型的接触丰富任务改善（推、推送组合、擦拭、堆叠分别 +10/+35/+31/+11 个百分点），并对想象一致性报告对象恒存约 33%、因果合规约 29% 改善。它应作为视觉触觉 WAM 的已核验研究节点和近期路线参照，而非已开放可直接部署的框架：一手论文与项目页均未提供官方代码、权重、训练数据或许可证，也未发现独立团队复现。

实机证据：author_quantified_zero_shot_open_loop_cem_transfer；作者项目页报告五个任务各五个不同初始条件的 CEM 零样本实机规划；VT-WM 相比 V-WM 在 push fruits、reach & push、wipe cloth、stack cubes 分别提高 10、35、31、11 个百分点。执行为开环，任务分母小且未见跨手型或跨传感器复现。

硬件/本体：Franka Panda、Allegro Hand、Digit 360 tactile sensors

红旗与边界：无官方代码、权重、训练数据或许可证；五个初始条件/任务的真机分母小；仅 Allegro+Franka+Digit 360 单一硬件栈；CEM 为开环执行；无独立复现或跨手型、跨传感器证据

code · 状态 no_official_repository_linked_on_primary_project_page · 许可证 No software license verified
作者项目页提供论文、方法与视频，但截至核验日未给出官方仓库链接或代码下载。
weights · 状态 no_official_checkpoint_linked_on_primary_project_page · 许可证 No model license verified
论文和项目页未列 checkpoint、模型卡或权重许可证。
data · 状态 no_official_dataset_linked_on_primary_project_page · 许可证 No dataset license verified
论文描述真机演示和训练参数，但未提供训练轨迹、Digit 360 标定、任务资产或可下载数据许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。