论文记录 · 证据边界公开

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

arXiv preprint (v2) · 2025-06-19 · 灵巧手与视觉触觉操作

论文元数据

作者: Liang Heng、Haoran Geng、Kaifeng Zhang、Pieter Abbeel、Jitendra Malik
机构: University of California, Berkeley、Peking University、Sharpa
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: 10 high-resolution fingertip tactile sensors、ZED Mini stereo camera、two Realman robot arms、two development-version 5-finger 17-DoF SharpaWave dexterous hands、two wrist-mounted fisheye cameras
DOI: 10.48550/arXiv.2506.15953
arXiv: 2506.15953
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

观察 · 53/100 · 13–24 个月

研发注意力：35/80 · 证据分项观察

工程落地：14/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：视觉—触觉灵巧操作主流迭代·预测式触觉表征·真机五指手横评

社区证据类型：尚无独立社区验证

ViTacFormer 将 ACT 式示范策略的触觉输入升级为双向 cross-attention、未来触觉预测与课程学习，并有真实双臂五指手的短任务和长程任务量化结果。它适合作为高分辨率触觉手上的工程验证起点，但完整数据、权重、后端和独立复现尚未公开，不能冒充通用触觉大模型、低成本方案或确认里程碑。

近期窗口 · 18/35
发布距评分基准日 14 个月，落入 13–24 个月窗口。
社区可复查验证 · 0/25
作者公开代码与持续维护不等于独立复现；未核验到第三方固定配置、实机日志、失败记录或跨硬件成功报告。
跨领域技术创新 · 17/20
把高分辨率触觉、双向视觉—触觉 cross-attention、未来触觉预测、课程学习、五指手模仿策略与长程接触任务联合，且保留清晰对照和消融轴。
量化实机证据 · 9/10
公开作者实机硬件、四项短任务各 10 次成功率和 11 阶段长程 HNS/严格成功率；小分母、单平台、无独立复现与阶段纠错边界使其不能取满分。
开放与可复现 · 4/5
固定作者提交提供 Apache-2.0 代码、安装、训练和 ZMQ 推理接口；完整数据、权重、后端、安全约束和数据许可证仍缺失。
工程实用增量 · 5/5
明确披露 Python 版本、依赖、2×H20 训练、10 Hz 控制、输入通道和绝对关节角后端协议；仍需自行实现硬件后端、时钟同步和安全层。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无完整示范数据、数据卡、数据许可证、checkpoint、模型卡、哈希或训练配置锁定；无 Realman/SharpaWave 驱动、ZMQ 后端、控制限幅、碰撞与力安全、时间同步和标定闭包；四项短任务每组仅 10 次，缺置信区间、原始逐回合数据、跨实验室和跨手型复现；未证明未见任务、语言条件、多任务迁移、全身人形、轮臂轮足或低成本触觉传感器泛化；长程 HNS 使用阶段失败后人工纠正继续测试，须与严格无人工干预成功率分开报告

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

ViTacFormer 把视觉—触觉融合从把触觉 token 直接拼接到策略输入，推进为贯穿策略的双向 cross-attention、未来触觉自回归预测和两阶段课程学习；它是 ACT 条件 VAE 路线在接触动态上的可检验改进，而非泛化到任意 VLA 的替代品。作者在两台 Realman 手臂、两只开发版 17-DoF SharpaWave 五指手、10 个 320×240 指尖触觉传感器、双腕鱼眼与顶置 ZED Mini 上，报告四项短任务各 10 次中 10/10、10/10、9/10、9/10；汉堡 11 阶段任务作者 HNS 为 0.88，严格无人工干预全程成功率为 70%（基线 ACT 0%、ACT+触觉 10%）。这些均是作者小样本实机结果，四项短任务的测试分母仅 10，且平台、数据、传感器和任务协议均非通用基准，不能与不同手型、触觉模态、VLA 或人形全身系统混排。作者仓库固定提交 d94788272b5f5e18a80bf62e3e5d51e7d2581d77 提供训练、数据加载、实时 ZMQ 推理客户端及 Apache-2.0 许可证；README 仅提供 example data 下载，未核验完整示范数据、数据许可证、checkpoint、模型卡或独立复现。因此它进入“视觉—触觉灵巧操作／预测式触觉表征／真机五指手”横评和近期重点，但不升级为确认里程碑或通用可复现基线。

实机证据：author_quantified_real_bimanual_five_finger_evidence_not_independently_reproduced；短任务 Peg Insertion、Cap Twist、Vase Wipe、Book Flip 每算法每任务测试 10 次；ViTacFormer 分别为 10/10、10/10、9/10、9/10。汉堡任务报告 HNS 0.88，严格无人工干预成功 70%，而 ACT 为 0%、ACT+Touch 为 10%。论文说明阶段完全失败时会人工纠正以继续后续阶段测试，故 HNS 与严格端到端成功率必须分开解释。

硬件/本体：two Realman arms、two development-version 17-DoF SharpaWave hands、10 tactile fingertips、ZED Mini and wrist fisheye cameras

红旗与边界：四项短任务每组仅 10 次，缺少置信区间、逐回合日志、跨实验室复现和跨手型对照；完整演示数据、数据许可证、权重、模型卡、硬件后端及安全控制未核验开放；设备为开发版 SharpaWave 与专用高分辨率指尖触觉，不应外推到商用五指手、低成本力传感器或人形全身系统；论文自身说明对未见新任务不能自主泛化，依赖人工遥操作采集；不能标记为零样本通用策略；汉堡 HNS 的后续阶段允许在完全失败后人工纠错继续测试，不能与严格无干预全程成功率混写

查看资源 · paper · 状态 verified_public_v2_preprint_with_method_hardware_training_and_real_robot_tables · 许可证 arXiv perpetual non-exclusive paper license; not a method-artifact license
arXiv v2 公开方法、硬件、每任务 50 条示范、2×H20 训练、10 Hz 部署和实机表格；作者结论仍须按小分母与单平台解释。
查看资源 · project · 状态 verified_official_author_project_page · 许可证 CC BY-SA 4.0 applies to the website; it does not establish a dataset or model license
作者项目页披露 Realman、SharpaWave、ZED Mini、触觉传感器、遥操作和定性失败视频边界。
查看资源 · code · 状态 verified_official_research_code_fixed_commit · 许可证 Apache-2.0
固定提交包含 train.sh、数据加载、模型、inference.py/inference.sh 与安装说明；2026-05-23 起 README 声称提供实时部署入口。
查看资源 · data · 状态 official_example_data_link_not_full_dataset_verified · 许可证 not declared
官方 README 要求下载 example data，但未核验完整任务数据、文件清单、数据卡、许可、split、失败轨迹或可重复下载闭包；不计为已验证开放数据集。
weights · 状态 not_verified_publicly_released · 许可证 not declared
README 要求用户在 inference.sh 编辑 checkpoint 路径，但未提供已核验 checkpoint、模型卡、哈希或权重许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。