论文记录 · 证据边界公开

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

arXiv · 2026-06-09 · 人形全身运动跟踪

论文元数据

作者: Siqiao Huang、Kun-Ying Lee、Dongming Qiao、Guanqi He、Zhenyu Wang、Yitang Li、Shaoting Zhu、Hang Zhao
机构: Tsinghua University
发布日期精度: 日
研究方向: 人形全身运动跟踪
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2606.10340
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验可访问（使用限制见许可证）
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 74/100 · 0–6 个月

路线标签：颠覆性分支、可能成为新主流

社区证据类型：尚无独立社区验证

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–6 个月窗口。
社区可复查验证 · 6/25
人工复核“社区复现”2/5；未附显式可复查社区证据，本维度封顶 6/25。
跨领域技术创新 · 18/20
沿用人工复核“泛化”9/10。
量化实机证据 · 6/10
沿用人工复核“真机证据严谨性”9/15。
开放与可复现 · 5/5
沿用人工复核“开放与复现”15/15。
工程实用增量 · 4/5
沿用人工复核“同类量化增量”18/20。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 MIT for OMG repository; HoloMotion, Unitree assets, OMG-Data sources and dependencies retain separate terms · 最近核验 2026-07-21
依赖：Python、PyTorch Lightning、Diffusers/Transformers、LeRobotDataset v3、TensorRT/ONNX for accelerated runtime、HoloMotion models downloaded separately、Unitree G1 deployment SDK and network bridge；硬件/传感器：paper pretraining used 8 NVIDIA A800 GPUs for under 10 hours、real-time generator runs on an off-board NVIDIA RTX 4090、HoloMotion tracker runs on G1 onboard NVIDIA Orin、wired Ethernet between generator and robot；实机证据：paper and project show author G1 execution for language, audio, human-reference and Pico inputs, but provide no trial-count success statistics；开放范围/限制：260 tracked files and about 30,570 Python lines include data validation, training, fixed benchmark, TensorRT export, realtime planner, Orin client and real bridge. HoloMotion weights are explicitly not redistributed; a complete physical deployment still requires its separate stack, G1 hardware and calibration.
官方权重 · 许可证 MIT for OMG release artifacts; HoloMotion tracker weights and upstream base components are separate · 最近核验 2026-07-21
依赖：official OMG code、matching OMG-Data windows、PyTorch、released evaluator、HoloMotion for tracker-executed metrics and robot use；硬件/传感器：50M, 100M, 300M and 500M variants、paper optimized runtime reports TensorRT FP16 plus DiT cache、off-board RTX 4090 used for robot generator；实机证据：checkpoints are tied to author G1 media and system description; no third-party physical reproduction was verified；开放范围/限制：The repository contains four generator checkpoints, evaluator, benchmark inputs/results and SHA256SUMS. It does not include HoloMotion tracker weights or substitute for the separate robot-deployment dependencies.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

OMG 以 121,171,939 帧、798,181 episodes 的 G1 统一动作语料预训练 50M–500M diffusion generator，把语言、音频和人类参考动作映射到同一 125D 运动表示，再由 HoloMotion tracker 执行。文本、音频和人类参考基准多数显著优于专用路线；1% 目标数据微调已接近或超过 scratch 100%，并展示零样本语言＋音频组合。官方 MIT 代码、21.62GB 四档权重/评测工件及 139.88GB 数据可下载。实机 G1 证据有官方视频，但生成器用离板 RTX 4090、tracker 用机载 Orin，论文未给重复真机成功率；感知导航 53/90 是仿真，不可当真机。数据无统一 license 字段，源数据逐项条款未展开。

实机证据：author_hardware_video_and_system_description_without_trial_statistics；论文图 4 与项目页展示语言、音频、人类参考和 Pico 条件在实体 G1 的实时执行，并披露部署拓扑；未给每模态真机 trials、成功率、跌倒率或延迟分布。附录 53/90 感知运动结果是仿真 rollout。

硬件/本体：Unitree G1、NVIDIA Orin onboard tracker、off-board NVIDIA RTX 4090 generator、wired Ethernet

红旗与边界：实体性能无 trial 级统计；生成器依赖离板 RTX 4090，非完全机载；训练用 8×A800、最大模型与高性能路线成本高；平地动作占主导；生成器—tracker 模块化误差未闭环联合优化；数据源许可证未逐项展开；无独立复现

查看资源 · code · 状态 open_source · 许可证 MIT for OMG code; HoloMotion, robot assets and dependencies retain separate terms
固定提交 b54b63727839b8b87801954502f2980435db34fc，260 个 tracked files、约 30,570 行 Python，含数据校验、训练、评测、TensorRT 导出、实时 planner、Orin client 与 real-robot bridge。
查看资源 · weights · 状态 download_verified · 许可证 MIT for released OMG checkpoints and evaluator; HoloMotion weights are separate
固定修订 70d63a9a5d6ce72928f7d9579241c97981de0307，8,462 文件、21,623,830,780 bytes；含 50M/100M/300M/500M checkpoint、evaluator、固定 benchmark 输入/结果和 SHA256SUMS。
查看资源 · data · 状态 download_verified_conditional_upstream_terms · 许可证 no unified dataset license field; original source licenses and usage terms apply per motion
固定修订 6e0dfbc1c5298bff14d4e2b1459ad678af0a38e7，75 文件、139,878,868,100 bytes；798,181 episodes、121,171,939 frames@30fps，36D G1 qpos state/action reference，不是低层电机命令。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。