论文记录 · 证据边界公开

Learning Versatile Humanoid Manipulation with Touch Dreaming

IROS 2026 / arXiv · 2026-04-14 · 人形全身运动跟踪

论文元数据

作者: Yaru Niu、Zhenlong Fang、Binghong Chen、Shuai Zhou、Revanth Krishna Senthilkumaran、Hao Zhang、Bingqing Chen、Chen Qiu、H. Eric Tseng、Jonathan Francis、Ding Zhao
机构: Carnegie Mellon University、UT Arlington、Bosch Center for AI
发布日期精度: 日
研究方向: 人形全身运动跟踪
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2604.13015
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 已核验可访问（使用限制见许可证）
数据: 已核验未发布
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

当前可实践 · 66/100 · 4–6 个月

研发注意力：48/80 · 证据分项观察

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：视觉触觉人形操作主流技术2.0候选·未来触觉潜变量·五任务量化实机·核心策略待开放

社区证据类型：尚无独立社区验证

Touch Dreaming不是把触觉直接拼接输入，而是预测未来触觉潜变量辅助动作块学习；五任务均有20次/方法实机协议，但HTD核心训练与数据采集尚未开放。

近期窗口 · 28/35
发布距评分基准日 4 个月，落入 4–6 个月窗口。
社区可复查验证 · 0/25
没有独立团队复现HTD五任务或触觉消融。
跨领域技术创新 · 20/20
把未来触觉潜变量作为辅助预测目标，与视觉、本体和多头动作块联合训练。
量化实机证据 · 10/10
五项真实G1任务、每任务每方法20次；平均较强ACT变体提升30.0个百分点成功率和17.9个百分点任务分。
开放与可复现 · 3/5
MIT主仓和BSD-3-Clause WBC训练、权重、G1部署已开放；HTD策略、遥操作和数据采集仍未发布。
工程实用增量 · 5/5
披露五类接触任务、20次协议、30Hz动作块、50Hz低层控制和触觉消融。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；HTD核心代码未开放；策略权重未开放；遥操作采集未开放；训练数据未开放；单一G1本体；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

算力与训练档案置信 medium · 模型 glm-5.3 · 更新 2026-09-02T00:07:22Z

技术标签: 人形全身运动跟踪, 人形机器人, 灵巧操作, 视觉触觉学习, 全身控制与移动操作, 模仿学习

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	策略 30 Hz，低层控制/IK/手重定向 50 Hz

证据原文:

策略 30 Hz，低层控制/IK/手重定向 50 Hz

已终审工程资源

官方代码 · 许可证 MIT for the parent repository; linked controller and upstream dependencies retain separate terms · 最近核验 2026-08-12
依赖：Git submodule initialization、IsaacLab-Decoupled-WBC、Isaac Sim and Isaac Lab for controller work、physical HTD tactile manipulation stack is not released；硬件/传感器：Unitree G1 for the paper and released controller deployment、NVIDIA GPU for Isaac Lab training、paper tactile hands and sensors are not packaged as a runnable HTD release；实机证据：The authors report physical Unitree G1 validation of the released student controller and five quantified HTD manipulation tasks; no independent reproduction is established.；开放范围/限制：Do not call the HTD manipulation policy, Vision Pro/PICO teleoperation, tactile dataset or full five-task deployment open source. The released subsystem is the controller only.
官方代码 · 许可证 BSD-3-Clause for repository code; CMU/AMASS-derived motions and NVIDIA/Unitree dependencies retain upstream terms · 最近核验 2026-08-12
依赖：Ubuntu 20.04+、Python 3.10+、CUDA 12.x、Isaac Sim 4.5 or 5.0、Isaac Lab 2.1.0 or 2.2.0、Unitree SDK2 for physical deployment、NVIDIA Container Toolkit for Docker path；硬件/传感器：single NVIDIA GPU for the documented training pipeline、Unitree G1 for physical deployment、Linux x86_64 workstation；实机证据：The repository states that the released student policy was validated on the authors' physical Unitree G1 and includes the deployment path; this is official subsystem evidence, not independent reproduction or HTD task-policy validation.；开放范围/限制：This controller tracks locomotion plus torso commands while upper-body joints remain at configured defaults. It does not implement the HTD tactile dreaming policy, dexterous task heads, teleoperation capture or the five manipulation tasks.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

Touch Dreaming 把未来关节力和 EMA 教师产生的触觉 latent 作为单阶段行为克隆的辅助目标，不在推理时增加独立世界模型；五类接触丰富任务各 20 次的实机结果支持“预测触觉优于只拼接触觉输入”。截至 2026-08-12，作者已开放 BSD-3-Clause 的低层 WBC 训练、示例权重和 G1 部署，但 HTD 触觉策略、遥操作与训练数据仍未开放；官方更新不计独立社区验证。

实机证据：quantified_five_task_unitree_g1_real_robot_trials；Insert-T、书籍整理、毛巾折叠、猫砂铲取、端茶五任务，每个方法每任务 20 次。HTD 对最强 ACT 版本平均成功率绝对提升 30.0 个百分点、task score 提升 17.9 个百分点；latent 触觉预测相对 raw 触觉预测的平均成功率提高 30%。策略 30 Hz，低层控制/IK/手重定向 50 Hz。

硬件/本体：Unitree G1 with dual dexterous tactile hands; model identity is confirmed by the current official repository

红旗与边界：已开放的是低层 WBC 子系统，不是 HTD 触觉策略、遥操作或数据采集全链；机器人型号由当前官方仓确认为 Unitree G1，但触觉手和传感器完整采购/标定清单仍未发布；每任务示范数量、总小时数、训练 GPU 和训练时间未披露；触觉布局为每手 1062 维、17 区域，跨传感器迁移尚未证明；项目页承认部分展示期间左手存在间歇通信故障；只比较 ACT 两个版本，尚无与其他触觉 VLA/世界模型的公平横评

查看资源 · code · 状态 partial_release_controller_only_HTD_core_pending · 许可证 MIT parent repository; BSD-3-Clause controller subsystem; upstream terms remain separate
主仓当前固定 head e1ada61707c1da32dee6b710a35f376d33421e8a 已接入 IsaacLab-Decoupled-WBC；低层控制器的教师训练、学生蒸馏、仿真、G1 部署和示例权重已发布，但 HTD 策略与遥操作/数据采集仍在进行中。
查看资源 · weights · 状态 controller_example_weights_released_HTD_weights_pending · 许可证 BSD-3-Clause repository; upstream motion and platform terms remain separate
低层 WBC 仓固定 head d98766115ae78809cc64bf91f8ec689189dd27ff 含三个 .pt/JIT 示例策略；HTD 触觉策略权重仍未发布。
data · 状态 not_released · 许可证 not_disclosed
VR 多视角、关节力和双手 1062 维触觉数据未发布，规模也未披露。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

关系纠错与反面证据

已移除误标来源条目 · 已纠错链接
2026-07-21固定提交确实只是项目壳，但该当前代码关系已被2026-08-12的控制器子系统发布替代。旧提交继续保留在评审和更新时间线中，不应继续触发当前仓库的project_shell_no_code状态。；最近核验 2026-08-12

纠错前关系仅作为审计证据保留；精确纠错不会删除同一 URL 上仍然成立的其他关系。

原始来源

最近核验：2026-08-12。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。