论文记录 · 证据边界公开

Unified 4D World Action Modeling from Video Priors with Asynchronous Denoising

arXiv preprint · 2026-04-29 · world action models with 4D spatial prediction and asynchronous action decoding

论文元数据

作者: Jun Guo、Qiwei Li、Peiyan Li、Zilong Chen、Nan Sun、Yifei Su、Heyun Wang、Yuan Zhang、Xinghang Li、Huaping Liu
机构: Tsinghua University、Xiaomi Robotics、Peking University、Chinese Academy of Sciences Institute of Automation
发布日期精度: 日
研究方向: world action models with 4D spatial prediction and asynchronous action decoding
机器人: AC One dual-arm platform、RoboCasa simulation、RoboTwin 2.0 simulation
DOI: 未披露
arXiv: 2604.26694
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验可访问（使用限制见许可证）
数据: 已核验可访问（使用限制见许可证）
许可证: 部分制品许可证缺失/待澄清

当前实践优先级

高潜待持续验证 · 72/100 · 2–3 个月

研发注意力：53/80 · 近期跨域高潜·社区待验证

工程落地：14/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代、可能成为新主流

路线评审说明：4D空间世界动作模型·异步去噪主流迭代·双臂真机·待独立复现

社区证据类型：尚无独立社区验证

将多视角 RGB-D 未来预测、轻量深度支路和异步动作去噪接入可下载代码、权重和后训练数据，并在 AC One 双臂上报告带分母的长程耳机包装与泛化子集；仍缺独立复现和跨本体物理验证。

近期窗口 · 32/35
发布距评分基准日 3 个月，落入 2–3 个月窗口。
社区可复查验证 · 3/25
固定 Apache-2.0 仓、非门控 checkpoint 与两套后训练数据可复查，但未找到独立团队的完整训练、评测或真机复现。
跨领域技术创新 · 18/20
在同一WAM中联结视频先验、未来多视角RGB-D/4D重建、深度监督、异步扩散动作解码、仿真泛化与双臂物理部署；尚无触觉、人形、轮足或跨本体量化迁移。
量化实机证据 · 9/10
AC One双臂耳机包装：双耳机45/48对XR-0 38/48，新摆放17/24对14/24，未见桌布16/24对16/24；采用6 episode聚合进度/时间，单平台单任务族，非独立复现。
开放与可复现 · 5/5
固定提交含训练/评测/config，Apache-2.0，公开非门控checkpoint与RoboCasa/RoboTwin后训练集；仍需Wan2.2基础权重及各上游模拟器/资产条款，真机数据和控制桥未发布。
工程实用增量 · 5/5
源码给出安装、数据、训练和benchmark入口；论文披露RTX 5090 D、8步约300ms/动作块、15Hz RTC和多相机配置。该配置代价和时延不可外推到其他硬件。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；没有独立训练、benchmark或物理部署复现；无AC One SDK、标定/同步、20小时真机轨迹、控制桥、失败日志、安全复位或长期可靠性数据；未见人形、足式、轮臂或轮足真机和跨本体量化泛化；RoboCasa、RoboTwin与真机任务/数据/指标不同，不可混合排行榜；约5,874小时预训练语料和部分上游依赖不能由发布后训练数据替代

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

X-WAM 将多视角 RGB、深度未来预测与动作生成放进同一 Wan2.2-5B 初始化的 4D 世界动作模型：只复制 DiT 末端少量块形成深度支路，并以异步噪声采样让动作先完成去噪、视频继续生成。作者报告 RoboCasa 24 任务均值 79.2%、RoboTwin 2.0 清洁/随机化 89.8%/90.7%，但三者的任务、数据和协议不同，不能组成同一性能排行榜。真实 AC One 双臂耳机包装为 6 个 episode 聚合的进度/时间评测：双耳机 93.8% (45/48) 对 XR-0 79.1% (38/48)，新摆放 70.8% (17/24) 对 58.3% (14/24)，未见桌布为同分 66.7%，说明泛化并非全维度胜出。官方固定仓已含训练、评测、RoboCasa/RoboTwin 配置和 Apache-2.0；Hugging Face 可公开下载 checkpoint 与两套后训练数据，均标注 Apache-2.0，但 Wan2.2、RoboCasa/RoboTwin 及原始资产仍分别受上游条件约束。论文级预训练使用约 5,874 小时、149 万 episode，并在 32 H20 上微调；耳机真机微调用 64 H20、RTX 5090 D 上 8 步每动作块约 300ms、15Hz RTC。没有独立团队复现或公开真机轨迹，故纳入 4D WAM/VLA 横评和高潜观察，不进入确认里程碑。

实机证据：quantified_real_bimanual_AC_One_author_evaluation；耳机包装实机共 6 个 episode；表内以完成进度/成功子步骤计数与到达 100% 的用时汇总。双耳机 45/48 对 XR-0 38/48；新摆放 17/24 对 14/24；未见桌布 16/24 对 16/24。

硬件/本体：AC One dual-arm platform

红旗与边界：没有独立复现、部署 issue 或第三方真机报告；真实结果仅 AC One 双臂耳机包装，不能外推至人形、轮臂或轮足；真实比较只报告 XR-0；pi0.5 在该作者设置下未完成单个完整 episode，未进入表格；约300ms/动作块是 RTX 5090 D + 8 步 + RTC 特定配置，不能与其他硬件的单步延迟混排；开放后训练数据不等于 5,874 小时预训练语料，也不含私有真机数据；Apache-2.0 仅覆盖 X-WAM 发布内容，Wan2.2、RoboCasa、RoboTwin 与三方资产另有条件

查看资源 · paper · 状态 verified_open_arxiv_v2 · 许可证 arXiv nonexclusive distribution license; not a code, weight, or data license
arXiv v2 包含真实机器人附录、训练和数据细节。
查看资源 · project · 状态 verified_official_project · 许可证 project media license not disclosed; software and data are separately reviewed
项目页与论文作者、机构、论文和代码链接一致。
查看资源 · code · 状态 verified_substantive_official_repository_fixed_commit · 许可证 Apache-2.0; vendored RoboTwin, RoboCasa and Wan2.2 components retain upstream terms
固定提交含训练脚本、模型/数据配置、评测客户端、依赖与三方目录；不是只有项目页。
查看资源 · weights · 状态 verified_public_nongated_checkpoint_revision · 许可证 Apache-2.0 model-card metadata; Wan2.2 base weights require their upstream terms
公开 revision 列出 pretrained、RoboCasa SFT、RoboTwin SFT checkpoint 与配置；无门控。
查看资源 · data · 状态 verified_public_nongated_posttraining_dataset_revision · 许可证 Apache-2.0 dataset-card metadata; RoboCasa and source assets retain upstream terms
公开 revision 含 episode JSON、观测与深度文件；作为后训练数据而非原始 RoboCasa 替代品。
查看资源 · data · 状态 verified_public_nongated_posttraining_dataset · 许可证 Apache-2.0 dataset-card metadata; RoboTwin 2.0 and source assets retain upstream terms
README 直接链接该公开后训练集；本轮核验其公开、非门控状态与数据卡许可，未把私有 AC One 真机数据误记为开放。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。