论文记录 · 证据边界公开

Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

arXiv · 2026-06-07 · 灵巧手与视觉触觉操作

论文元数据

作者: Yunfan Lou、Yifan Ye、Yankai Fu、Jun Cen、Xiaowei Chi、Yaoxu Lyu、Peidong Jia、Sirui Han、Zhihe Lu、Shanghang Zhang
机构: Peking University、Hong Kong University of Science and Technology、Nanjing University
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: Franka Emika Panda、two Intel RealSense D435i cameras、two Xense Photon tactile sensors
DOI: 未披露
arXiv: 2606.08737
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 72/100 · 2–3 个月

研发注意力：52/80 · 近期跨域高潜·社区待验证

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代、可能成为新主流

路线评审说明：视觉触觉WAM主流迭代·开源代码·接触真机·待社区复现

社区证据类型：尚无独立社区验证

Dream-Tac 以接触门控和非对称触觉注意力扩展 Cosmos Policy 的视觉 WAM：六个相同 Franka/Xense 任务、每方法每任务20次的作者协议显示 83.3% 平均成功率；固定 Apache-2.0 代码提供训练、预处理和开环评测入口，但没有 checkpoint、真实触觉数据、标定或独立复现。它应作为视觉触觉 WAM 的近期工程机制对照，而非可直接迁移到人形或五指手的成熟方案。

近期窗口 · 32/35
发布距评分基准日 2 个月，落入 2–3 个月窗口。
社区可复查验证 · 0/25
未发现独立团队以相同传感器、数据、checkpoint 或20次/任务协议完成训练或实体复现。
跨领域技术创新 · 20/20
把视频世界模型、双侧触觉接触事件、语言条件、动作块、未来视觉/触觉联合预测、注意力偏置和扩散缓存连接为一个可运行链路；尚未证明跨人形、跨手型或跨传感器泛化。
量化实机证据 · 10/10
六项真实接触操作中每个方法每任务20次，作者报告 Dream-Tac 平均83.3%、视觉 WAM 51.7%、仅视觉触觉融合74.2%；没有置信区间、跨实验室或长期安全统计。
开放与可复现 · 5/5
固定官方 Apache-2.0 仓提供 Docker、训练、触觉预处理和开环评测入口；作者 checkpoint、原始真实触觉语料、完整数据清单、标定与端到端实体部署闭包未发布。
工程实用增量 · 5/5
代码明确给出 Linux/Python3.10/CUDA、Docker、8进程训练示例和缓存推理路径；论文报告将10步去噪的实体设置延迟从1109ms降到619ms并保持85%结果，但约1.6Hz不适用于高频接触闭环。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无独立训练或实体复现；无作者 checkpoint、真实 RGB-触觉动作数据、数据许可证或可核验完整文件清单；只在 Franka 平行夹爪、两枚 Xense Photon 和两台 D435i 上验证；无跨手型、跨触觉传感器、人形、轮臂或轮足泛化；619ms 推理延迟不等于高频接触或关节控制

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

Dream-Tac 把未来 RGB、左右指尖触觉与动作块放进同一个扩散式世界动作模型，并用由触觉帧差计算的接触门控，只在接触显著时增强非触觉 token 对触觉 token 的注意力。原文在同一 Franka、双 D435i、两枚 Xense Photon 的六项真实接触操作中，对每方法每任务各 20 次试验报告平均成功率 83.3%，高于视觉 Cosmos Policy 51.7%、ForceVLA 50.8%、pi0.5 45.0% 和 pi0 版本 45.0%；代码固定提交、训练和开环评测入口与 Apache-2.0 根许可证均已核验。它是近期视觉—触觉 WAM 的可复查候选，但原始触觉数据、checkpoint、机器人标定/安全恢复、完整实时闭环脚本和独立复现均未找到，不能作为可直接部署的人形或五指手方案。

实机证据：author_franka_six_tasks_twenty_trials_per_method_per_task_with_matched_setup；论文图 3 明确写六个真实任务中每个方法、每个任务均为 20 次，且任务定义、成功判据和实体设置一致；作者报告 Dream-Tac 跨六任务平均 83.3%，视觉 WAM 51.7%，带触觉但无 CASA 的消融 74.2%。论文另报告将 10 步去噪降至缓存推理后保持 85% 的实验设置，但 619ms 延迟约等于 1.6Hz，不应直接称为高频或关节级实时控制。

硬件/本体：Franka Emika Panda、two Intel RealSense D435i、two Xense Photon tactile sensors

红旗与边界：只在一套 Franka 平行夹爪与两枚 Xense Photon 触觉硬件验证，不能外推到人形手、五指手、轮臂或全身移动操作；没有作者 checkpoint、原始真实触觉数据、标定包、硬件接线、安全停止或完整闭环部署闭包；推理加速后的作者报告 619ms 延迟，不能与高频力控或关节闭环频率混淆；视觉 WAM、ForceVLA、pi0.5 与 pi0 的预训练、数据、动作接口和重实现细节仍须逐项审计，表中优势不自动构成跨框架总排行榜；无独立团队的完整训练、实体部署或成功率复现

查看资源 · code · 状态 verified_fixed_official_source_with_train_preprocess_and_openloop_entrypoints · 许可证 Apache-2.0 for repository source; inherited Cosmos Policy and third-party dependencies retain their own terms
固定提交含 Docker、CASA/contact gate、Franka 触觉预处理、训练配置、训练入口和开环评测路径；README 的 8-GPU torchrun 仅是训练示例，不代表任意硬件都可复现作者指标。
weights · 状态 no_official_downloadable_checkpoint_link_identified · 许可证 No Dream-Tac checkpoint license identified
论文和固定仓说明模型结构与本地 checkpoint 路径，但未提供作者 Dream-Tac checkpoint 的官方下载入口或许可证。
data · 状态 no_official_raw_franka_visuotactile_corpus_link_identified · 许可证 No Dream-Tac tactile dataset license identified
仓库提供原始 HDF5、左右触觉视频、双相机视频与文本 embedding 的预处理约定，但没有作者采集六任务真实语料的下载地址、清单或许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。