论文记录 · 证据边界公开

Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control

arXiv · 2025-12-29 · 人形全身运动跟踪

论文元数据

作者: Zhe Li、Cheng Chi、Yangyang Wei、Boan Zhu、Tao Huang、Zhenguo Sun、Yibo Peng、Pengwei Wang、Zhongyuan Wang、Fangzhou Liu、Chang Xu、Shanghang Zhang
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 人形全身运动跟踪
机器人: 未关联具体机器人
DOI: 10.48550/arXiv.2512.23650
arXiv: 2512.23650
arXiv 当前版本: 2
arXiv 最近修订: 2026-01-04
arXiv 主分类: cs.RO
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 存在链接线索，尚未核验官方性与可运行性
权重: 未核验
数据: 未核验
许可证: 未核验

当前实践优先级

观察 · 60/100 · 7–12 个月

研发注意力：44/80 · 证据分项观察

工程落地：14/15 · 量化实机证据＋工程实用增量

标准分类标签：颠覆性分支

路线评审说明：音频控制人形颠覆性分支

社区证据类型：尚无独立社区验证

把音乐舞蹈和语音共语手势统一为 audio-to-locomotion，绕过显式动作生成与重定向；完整代码、G1 部署、teacher/student 权重、TensorRT engine 和 579 MB 数据均存在，但 README 的 BSD-3-Clause 链接为 404，代码/权重/数据均未获得可核验许可。

近期窗口 · 24/35
发布距评分基准日 8 个月，落入 7–12 个月窗口。
社区可复查验证 · 0/25
未发现独立团队公开同一音频/动作数据、固定提交、G1 硬件和节奏对齐/稳定性指标；fork、Stars 和转载视频不计分。
跨领域技术创新 · 20/20
音频表征、运动 latent、InfoNCE 对齐、ΔMoE 教师、扩散学生、TensorRT 和人形全身控制被统一为低时延音乐/语音双任务策略。
量化实机证据 · 9/10
论文与项目展示 Unitree G1 音乐舞蹈、语音手势和未见音频部署，并公开实机脚本；传感延迟、板载算力和独立安全/稳定性重复实验未披露。
开放与可复现 · 2/5
训练、推理、导出、MuJoCo 与 Unitree 脚本及多组权重/engine/数据真实可下载；仓库 LICENSE 链接 404，HF 没有权重/数据许可证或数据卡，安装路径也不一致。
工程实用增量 · 5/5
已给出 TensorRT 与 Unitree 接口，能直接对比传统 audio-to-motion-to-retargeting 串联方案的时延和误差；当前许可缺口阻止合规复用。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；代码BSD许可证声明无法律文件；权重/TensorRT/data均无许可证；579MB数据无数据卡与来源边界；安装路径文档不一致；无独立G1复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

工程资源评审结论与反面证据

official_code_weights_and_data_license_missing · hold_missing_code_weights_and_dataset_licenses
审核码：hold_missing_code_weights_and_dataset_licenses; 官方关系：verified_official_repository_but_license_missing; 最近核验：2026-07-20
代码：官方仓库不可变提交 e6e2a0e 包含训练、推理、TensorRT 导出、MuJoCo Sim2Sim 和 Unitree 实机部署脚本。
权重：Hugging Face 端点匿名可访问，包含 teacher_74000.pt、student_80500.pt、两个 TensorRT engine 和动作/音乐 latent；文件大小与 LFS 标识已核验，但没有权重许可证。
数据：Roboperform_Data.pkl 约 579 MB 且匿名可访问；数据卡缺失，页面没有许可证、字段说明、来源清单或隐私/清洗边界。
许可证：not_disclosed；README 徽章和正文声称 BSD-3-Clause 并链接 ./LICENSE，但不可变提交根目录不存在 LICENSE，链接返回 404；Hugging Face 数据/权重页面也没有许可证元数据。因此代码、权重和数据均不晋级为可复现开放资源。
依赖：Python 3.10, Isaac Sim 4.5.0 and Isaac Lab 2.1.0、a manual Isaac Lab rl_cfg.py replacement、MuJoCo, unitree_rl_gym and unitree_sdk2_python for Sim2Sim/Sim2Real、README install command references source/whole_body_tracking although the reviewed root tree exposes whole_body_tracking, creating a documentation-path inconsistency
硬件/传感器：NVIDIA GPU for Isaac Lab training and TensorRT conversion; exact GPU/VRAM and training cost are not disclosed、Unitree G1 plus network interface and matching SDK for physical deployment、audio input and policy compute path are described functionally but sensor latency and onboard compute are not quantified
实机证据：Official paper/project show G1 music-driven dance and speech-driven gestures, and repository contains a Unitree real deployment script.；The presence of a deployment script and author video is not an independent safety, latency or task-success reproduction.
独立复现：未发现固定提交、相同音频/动作数据、G1 硬件和可比音频对齐/稳定性指标的独立复现；本批未运行大模型权重。
限制/反面证据：README 声称 BSD-3-Clause，但仓库没有 LICENSE 文件，不能据此给予代码使用许可。；Hugging Face 权重、TensorRT engine 和数据没有许可证或数据卡。；README 的 arXiv 徽章文字写成 2510.14952，但实际链接和论文身份是 2512.23650。；安装路径文档与仓库根目录结构存在不一致，且没有独立复现。
当前建议：高潜待补许可证；音频直接驱动全身动作是高增量路线，但目前法律和部署复现边界不足；只做隔离研究审阅，等代码与 HF 资源各自补齐许可证、数据卡和修正安装路径后再晋级。
重点标签：recency:2025-2026-release、关联:颠覆性分支、关联:近期热门、关联:可能成为新主流、audio-control:humanoid-locomotion、artifact:files-present-license-missing、hardware:Unitree-G1、reproduction:independent-missing
核验来源：来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5

暂缓或驳回结论不会升级代码、权重或数据开放状态；Stars、转发和演示视频不等于独立复现。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。