论文记录 · 证据边界公开

TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation

arXiv v1 technical report · 2026-06-09 · 灵巧手与视觉触觉操作

论文元数据

作者: Yujie Zang、Yuhang Zheng、Xian Nie、Yupeng Zheng、Shuai Tian、Songen Gu、Chen Gao、Zining Wang、Shuicheng Yan、Wenchao Ding
机构: TARS Robotics、National University of Singapore、Shanghai Jiao Tong University、Institute of Automation, Chinese Academy of Sciences、Fudan University
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: Robotiq 2F-85 gripper、UFactory xArm7、two Xense tactile sensors
DOI: 10.48550/arXiv.2606.11184
arXiv: 2606.11184
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

高潜待持续验证 · 69/100 · 2–3 个月

研发注意力：52/80 · 近期跨域高潜·社区待验证

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代、可能成为新主流

路线评审说明：视觉触觉世界模型主流迭代·力触觉预测·真机待跨本体验证

社区证据类型：尚无独立社区验证

TacForeSight 以高频腕力矩作为先导条件，预测双指视觉触觉潜变量，再用未来触觉作为 flow-matching 策略的接触先验。作者在同一 xArm7 平台上用五项接触任务和三种过程扰动、每方法每任务 20 次，报告名义任务 79.0%、扰动 86.7% 的平均完成分；官方固定仓已含训练、配置和 zarr 数据接口，但没有根许可证、数据或 checkpoint。它应被优先放入视觉触觉世界模型的当前横评与复核队列，而不是被称作开箱可部署、人形/轮足通用模型或社区验证路线。

近期窗口 · 32/35
发布距评分基准日 2 个月，落入 2–3 个月窗口。
社区可复查验证 · 0/25
官方固定仓可检查训练与评测结构，但数据和 checkpoint 未发布且无根许可证；未见无关团队在相同传感器、xArm7 或替代硬件上报告成功、失败或完整部署复现。
跨领域技术创新 · 20/20
将双指视觉触觉场、120Hz 腕力矩、触觉潜变量世界模型、跨时间触觉注意力、视觉触觉门控、flow-matching 动作策略和过程扰动恢复连接为一条闭环接触预测路线；未证明跨本体或语言任务泛化。
量化实机证据 · 10/10
xArm7、2F-85、D435、六维腕力矩与双 Xense 平台的五任务和三扰动均按每方法每任务 20 次报告，名义任务作者平均 79.0%、扰动平均 86.7%；所有结果来自单一作者平台。
开放与可复现 · 2/5
固定官方仓公开代码、配置、requirements、train.py、zarr 数据结构、预计算与开放环评测入口；根 LICENSE 缺失，数据和 checkpoint 在 README 明确未发布，故不计完整可复现或可商用开放。
工程实用增量 · 5/5
披露 11.8M 世界模型、68.9M 策略、30Hz 图像/触觉、120Hz 力矩、RTX 4090D 20Hz 推理和 8×A100 训练，能比较预测性触觉的性能/算力取舍；传感器标定、安全控制和公开数据闭环仍缺失。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；无训练数据、checkpoint、数据版本/哈希、数据许可证、根代码许可证或可重建的官方数据闭环；无独立团队在原平台或替代触觉/力矩硬件上的复现、失败报告或工程部署反馈；无任何人形、足式、轮臂、轮足、五指手、多传感器或跨实验室结果；扰动测试依赖任务特定恢复演示；无自然 OOD、未见物体、跨手型、长期可靠性或安全边界量化；8×A100 训练、特定双 Xense 与力矩同步要求限制低成本复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

TacForeSight 将双指视觉触觉场、120Hz 腕部六维力矩、短时触觉潜变量世界模型与 flow-matching 策略结合，在 xArm7 真机上评测五项接触丰富任务和三项过程扰动；每方法每任务 20 次。论文报告名义任务平均完成分 79.0%，扰动下三项平均 86.7%，并披露 TacForceWM 11.8M、下游策略 68.9M、20Hz RTX 4090D 推理与 8×A100 训练。官方仓在固定提交中含训练、配置、zarr 数据格式和开放环评测入口，但根目录无 LICENSE，README 仍明确训练数据和 checkpoint 未发布。因此它是视觉触觉世界模型、力—触觉时序预测和接触扰动恢复的近期高潜横评分支；不应被描述为已开放数据/权重、低成本、人形/轮足路线或独立社区验证。

实机证据：quantified_xarm7_five_tasks_three_perturbations_twenty_trials_per_method_per_task；五项任务（擦花瓶、刷卡、管调整/插入、灯泡插入/旋紧、软线插入）和三项过程扰动（高度、角度、位姿）均在 xArm7 平台评测；每方法每任务 20 次。名义任务作者平均 79.0%，三项扰动为 90%/85%/85%；这是作者单一平台的量化实机证据。

硬件/本体：UFactory xArm7 7-DoF、Robotiq 2F-85 gripper、Intel RealSense D435 wrist camera、UFactory 6-axis force/torque sensor、two Xense tactile sensors

红旗与边界：官方仓有代码但无 LICENSE；数据/weights 显式未发布，项目页的将公开措辞不构成可用制品。；所有量化真机证据来自同一 xArm7/2F-85/D435/双 Xense 平台与作者团队，未验证人形、足式、轮足、轮臂、五指手或跨实验室。；8×A100 训练与特定触觉/力矩同步硬件不构成低算力、低成本或即插即用部署结论。；扰动恢复在任务特定恢复演示上训练；不等于自然 OOD、未见物体或安全保证。

查看资源 · paper · 状态 verified_v1_primary_paper · 许可证 arXiv.org perpetual non-exclusive license
v1 于 2026-06-09 提交；原文披露模型规模、任务、每方法每任务 20 次协议、硬件、20Hz 推理、8×A100 训练和开放边界。
查看资源 · project · 状态 verified_official_project_page · 许可证 not an artifact license
作者项目页链接论文与官方仓，展示实时部署、扰动和接触任务；网页按钮不替代数据/权重文件核验。
查看资源 · code · 状态 verified_public_official_repository_no_root_license · 许可证 not_declared; root LICENSE returned 404 at reviewed commit
固定官方仓包含 config、datasets、models、scripts、train.py、requirements、zarr 数据格式和开放环评测命令；根 LICENSE 不存在，不能推断商用或再分发许可。
查看资源 · data · 状态 announced_not_released_in_official_readme · 许可证 not_declared
官方 README release status 明确 training dataset 未发布，只说明所需 zarr replay-buffer 结构；未见可下载数据、版本、哈希或许可证。
查看资源 · weights · 状态 announced_not_released_in_official_readme · 许可证 not_declared
官方 README release status 明确 pretrained checkpoints 未发布；eval 命令中的 checkpoint 路径为本地占位符，不构成可下载模型。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。