论文记录 · 证据边界公开

FreeTacMan: Robot-free Visuo-Tactile Data Collection System for Contact-rich Manipulation

ICRA 2026 / arXiv v4 · 2025-06-02 · 灵巧手与视觉触觉操作

论文元数据

作者: Longyan Wu、Checheng Yu、Jieji Ren、Li Chen、Yufei Jiang、Ran Huang、Guoying Gu、Hongyang Li
机构: OpenDriveLab
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: robot arm through URDF inverse kinematics; exact downstream robot variants are task-dependent、wearable visuo-tactile gripper
DOI: 10.48550/arXiv.2506.01941
arXiv: 2506.01941
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验未发布
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

观察 · 56/100 · 13–24 个月

研发注意力：39/80 · 证据分项观察

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：视觉—触觉数据采集主流技术迭代·低成本跨本体工具链·社区复现待补齐

社区证据类型：尚无独立社区验证

FreeTacMan 将可穿戴双视觉—触觉夹具、光学追踪、时间同步、URDF 重定向、触觉预训练和接触丰富模仿学习连接为可检查的数据采集路线。固定 Apache-2.0 代码提交与公开 MIT 数据版本使其进入当前实践层；但它不是人形全身、五指手或轮足实机结果，且没有满足同任务/同本体协议的独立复现，因此不得显示为社区验证或通用迁移结论。

近期窗口 · 18/35
发布距评分基准日 14 个月，落入 13–24 个月窗口。
社区可复查验证 · 4/25
固定 Apache-2.0 代码提交、公开非门控数据版本与可读任务目录使工程面可检查；截至核验日未发现无关团队在固定提交、同一采集装置或下游机器人协议上报告量化成功或失败复现。
跨领域技术创新 · 17/20
把视觉—触觉夹具、光学追踪、时间同步、第一人称采集、URDF 逆运动学重定向、触觉表征预训练和接触丰富模仿学习连接；尚未证明全身人形、五指手、轮臂/轮足或未见触觉传感器迁移。
量化实机证据 · 8/10
公开的是实物采集装置和真实接触操作数据，论文报告超过300万图像对、1万轨迹和50项任务；作者平均提升主张缺少已核验统一任务分母、逐任务成功率和独立实机复现，故不按充分策略实机横评给满分。
开放与可复现 · 4/5
Apache-2.0 固定提交包含采集、处理、预训练与 ACT 示例；MIT 数据卡和固定非门控 revision 可浏览。未完成全量数据下载/哈希、环境锁定、作者 checkpoint、标定/隐私、失败轨迹及下游机器人安全闭环核验。
工程实用增量 · 5/5
最低验证可固定代码与数据版本，先下载单任务 MP4/CSV，检查时间同步、TCP/夹距字段和传感掉帧，再在隔离机械臂上比较视觉与视觉—触觉策略。应报告每任务成功/中止、TCP误差、掉帧、恢复次数与分母；没有目标机器人URDF、标定、急停和统一reset/成功定义即停止，不称端到端或人形复现。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；没有无关团队在固定代码、数据版本、同采集装置或同下游机器人协议下的量化正向或失败复现；没有完整数据下载、哈希、文件一致性、隐私、标定、失败轨迹或跨版本处理审计；没有官方版本化触觉编码器或任务策略checkpoint，环境与硬件指南没有形成锁定部署闭环；没有人形全身、五指手、轮臂、轮足、未见传感器或跨实验室实机迁移结果；作者规模和相对提升不替代统一成功率、控制频率、端到端延迟、急停或长期安全证据

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

FreeTacMan 补齐了库中此前缺失的一条可追溯视觉—触觉真机数据采集路线：可穿戴双视觉—触觉夹具、光学追踪与同步视觉/触觉反馈，作者报告超过 300 万对图像、1 万条轨迹、50 个接触丰富任务。官方代码仓在固定提交可读且带 Apache-2.0，官方非门控数据仓在固定版本声明 MIT 并公开任务目录、MP4 与 CSV 轨迹格式。因此可作为“视觉—触觉数据采集/跨本体相关”的可检索工程节点；但它是操作臂/夹具数据与重定向工具链，不是人形真机、五指手或全身控制的直接证据，也未进行完整数据下载、checksum、隐私、失败轨迹、跨机器人迁移或独立实机复现审计。

实机证据：real_data_collection_system_and_author_policy_claims_no_humanoid_evidence；这是实物采集装置和真机操作数据，而非人形移动操作证据。作者 README 报告触觉增强策略相对纯视觉基线平均提升 50%，但公开资料未提供统一试验分母、全部任务成功率、独立复现或跨本体结论。

硬件/本体：wearable dual visuo-tactile gripper、optical tracking、wrist-mounted camera、visuo-tactile cameras、downstream URDF-based robot inverse kinematics

红旗与边界：代码 Apache-2.0 与数据集 MIT 必须分开解释，不能用代码许可代替数据许可；数据卡/file tree 可读不代表全量下载、校验和、长视频一致性或隐私审计完成；非人形、非全身、非五指手实机结论不得向人形移动操作外推；作者“平均 50%”提升缺少已核验分母、任务明细和独立复现；仓库没有版本锁定环境或官方 checkpoint，不能直接称作开箱即用训练栈

查看资源 · paper · 状态 verified_primary_v4_method_scale_and_opening_claim · 许可证 CC-BY-NC-SA-4.0 for the arXiv manuscript
arXiv 当前页显示 v1 为 2025-06-02、v4 为 2026-03-09；摘要称超过 300 万视觉—触觉图像对、1 万轨迹、50 个接触操作任务，并明确主张公开硬件和数据集。
查看资源 · project · 状态 verified_author_project_landing_page · 许可证 not applicable
作者项目页被官方 README 与数据卡交叉链接；不单独作为代码、数据许可或独立复现证据。
查看资源 · code · 状态 open_source · 许可证 Apache-2.0
固定提交包含 data_collection、pretrain、policy、config、requirement.txt 和 Apache-2.0 LICENSE；README 提供采集、CSV/MP4 处理、触觉预训练和 ACT policy 示例。硬件指南为外部文档，完整版本锁、任务重置和真实机器人安全封装仍需部署者自行核验。
查看资源 · data · 状态 verified_public_nongated_dataset_fixed_revision_metadata_and_file_tree · 许可证 MIT
官方 Hugging Face 数据集固定版本公开、非门控；数据卡声明 MIT、50 个任务类别、MP4 同步视频与 CSV TCP/夹距轨迹。文件树可读取并包含任务目录；未全量下载或验证所有大文件 checksum、标定、隐私、失败轨迹与跨版本完整性。
weights · 状态 not_released_as_a_versioned_official_checkpoint · 许可证 not declared
官方仓提供训练与推理脚本，但本次固定提交和数据集卡未定位可下载、版本化的作者预训练触觉编码器或任务策略 checkpoint。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-15。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。