论文记录 · 证据边界公开

Morphology-Consistent Humanoid Interaction through Robot-Centric Video Synthesis

arXiv technical report · 2026-03-20 · 人形全身运动跟踪

论文元数据

作者: Weisheng Xu、Jian Li、Yi Gu、Bin Yang、Haodong Chen、Shuyi Lin、Mingqian Zhou、Jing Tan、Qiwei Wu、Xiangrui Jiang、Taowen Wang、Jiawen Wen、Qiwei Liang、Jiaxi Zhang、Renjing Xu
机构: The Hong Kong University of Science and Technology (Guangzhou)、Harbin Institute of Technology, Shenzhen、Shenzhen University、University of Cambridge
发布日期精度: 日
研究方向: 人形全身运动跟踪
机器人: Unitree G1 29-DoF
DOI: 未披露
arXiv: 2603.19709
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 未核验
数据: 已核验可访问（使用限制见许可证）
许可证: 部分制品许可证缺失/待澄清

当前实践优先级

高潜待持续验证 · 76/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、人形视频到动作颠覆性分支·机器人原生生成＋80次真机·离线闭环与许可证待补

社区证据类型：尚无独立社区验证

Dream2Act把互联网视频先翻译为机器人形态视频，再做姿态、2D到3D和全身跟踪，给出80次G1主试验并开放约5.96GB数据与仿真采集代码；但总体成功率37.5%、规划完全离线，端到端权重/实机栈缺失且数据许可未解决。

近期窗口 · 35/35
发布距评分基准日 4 个月，落入 0–6 个月窗口。
社区可复查验证 · 3/25
官方固定commit代码和数据LFS可复查，但没有独立端到端、姿态、控制或G1复现。
跨领域技术创新 · 20/20
把视频生成、机器人形态约束、姿态估计、2D到3D提升、IK和全身控制连接为zero-shot人形交互路线。
量化实机证据 · 10/10
四任务各20次共80次，另有四位置踢球成功率和末端误差；全部为作者G1离线轨迹试验。
开放与可复现 · 3/5
BSD-3-Clause仿真采集代码和约5.96GB数据真实可下载；端到端模型/实机栈缺失且数据license=other无条款。
工程实用增量 · 5/5
机器人原生视频可减少人类形态差异，但生成时延和低成功率使当前方案更适合离线技能原型。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；总体实机成功率37.5%，抱箱仅10%；Seedance生成和规划均在控制环外，没有视觉闭环重规划；姿态、提升、IK、SONIC适配权重和实机驱动未开放；数据无可执行许可条款，第三方视频与AMASS/GMR衍生权利不清；无独立复现或跨本体验证

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 BSD-3-Clause root code; Unitree G1 asset BSD-3-Clause; AMASS, GMR and other third-party inputs retain separate terms · 最近核验 2026-07-22
依赖：Ubuntu 20.04, 22.04 or 24.04、Python 3.10 or newer、NVIDIA GPU、Isaac Lab 2.1、Isaac Sim 4.5 or compatible 5.x setup、GMR for optional motion retargeting、AMASS-compatible motion inputs；硬件/传感器：CUDA-capable NVIDIA GPU for Isaac Sim、Unitree G1 asset for simulation、physical Unitree G1 is not required for the released path；实机证据：The paper reports 80 main physical G1 trials and a four-position kick study, but this repository does not provide the physical driver or reproduce those trials.；开放范围/限制：Use for generating aligned robot-centric simulation frames and labels. Do not label it as the full video-to-action system or infer that pose lifting, IK, closed-loop control or physical deployment is open.
官方数据集 · 许可证 Dataset card declares license=other but supplies no operative terms; annotation JSON license arrays are empty · 最近核验 2026-07-22
依赖：Hugging Face or direct Git LFS download、tar extraction、JSON parser、independent review of upstream internet-video, AMASS, GMR and robot-asset rights；硬件/传感器：approximately 6 GB download storage plus extracted working space、no GPU needed to inspect the archive、GPU and the missing downstream models are required to reproduce the paper pipeline；实机证据：This archive supports the paper's training inputs but does not include physical G1 trial logs, robot telemetry or failures.；开放范围/限制：The files are verified downloadable, not verified reusable or commercially usable. Hold redistribution and model-training claims until the owner publishes operative terms and resolves rights for third-party source material.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

Dream2Act把生成式视频中的主体直接换成Unitree G1，在机器人原生形态中生成交互，再通过G1专用2D姿态、2D到3D提升、URDF约束IK和SONIC 50Hz全身跟踪执行，避开传统人到机器人重定向的形态差。作者在四类实机任务各做20次：踢球40%、抱箱10%、击袋30%、坐沙发70%，总体37.5%，同口径人类视频重定向为0%；多位置踢球还给出0.90到2.18米任务距离、20%到60%成功率和空间误差。其非连续性在于把大视频模型当离线高层运动规划器，但当前Seedance 2.0推理使系统无法闭环，37.5%也离稳健部署很远。官方仓固定commit仅开放Isaac Lab九相机仿真数据采集与GMR转换，不含Seedance调用、姿态模型训练、IK到实机完整链路、权重或日志。Hugging Face约5.96GB两类图像/标注文件真实可下载，但数据卡只写license: other、样本JSON licenses为空，AMASS/GMR/资产再分发边界未解决。因此它是人形视频到动作的颠覆性分支和强最小验证候选，不是完整开源系统。

实机证据：quantified_author_physical_G1_trials_with_offline_open_loop_planning；四类任务各20次，共80次主表实机试验：踢球8/20、抱箱2/20、击袋6/20、坐沙发14/20；人类视频重定向均为0/20。多位置踢球表还报告四个位置60%、20%、60%、20%及0.09到0.19米误差。系统是离线轨迹生成，没有在线视觉反馈或闭环重规划。

硬件/本体：Unitree G1 29-DoF、SONIC whole-body tracker at 50Hz、third-person camera、Seedance 2.0 image-to-video generation

红旗与边界：总体实机成功率仅37.5%，抱箱只有10%；Seedance 2.0生成在环外运行，系统不是闭环策略；没有端到端代码、姿态/提升权重、实机驱动和失败轨迹；公开数据license: other且样本licenses为空，AMASS/GMR/资产派生权利未澄清；训练集真实帧总数、图像生成成本、Seedance调用成本和时延未完整披露；无独立团队复现或跨本体验证

查看资源 · code · 状态 official_partial_simulation_data_collection_repository_at_fixed_commit · 许可证 BSD-3-Clause root code; Unitree G1 asset BSD-3-Clause; AMASS/GMR/other inputs retain separate terms
固定commit de237312包含Isaac Lab 2.1九相机G1回放/渲染、RGB/深度/实例分割与2D/3D关节导出、GMR到MimicKit转换和格式文档；README与NOTICE明确不含完整Dream2Act、训练日志、checkpoint、完整真实标注和下游学习/实机栈。
查看资源 · data · 状态 public_downloads_verified_at_fixed_revision_but_license_terms_unresolved · 许可证 Dataset card license=other with no operative terms; annotation JSON licenses array is empty
固定revision 39dd65f包含sim与internet两类train/val tar和四个标注JSON，八个数据文件声明总大小约5.96GB；HEAD返回实际200、长度与LFS声明一致，831,631字节internet val JSON抽样可解析。许可证和第三方衍生权利不足，不能把可下载等同可商用。
weights · 状态 no_Dream2Act_pose_lifting_IK_or_end_to_end_checkpoints_released · 许可证 No model license
代码仓和数据仓均没有ViTPose微调权重、2D到3D提升网络、IK参数、SONIC适配权重或论文实机轨迹包。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。