论文记录 · 证据边界公开

Vid2WAM: Distilling Video Diffusion Priors into World Action Models

arXiv preprint · 2026-08-09 · world action model video-teacher distillation and bimanual manipulation

论文元数据

作者: Chenhao Qiu、Ruixiang Wang、Runyi Zhao、Sixu Lin、Songen Gu、Shufeng Nan、Guiliang Liu、Kui Jia、Yanwei Fu、Simo Wu
机构: Fudan University、The Chinese University of Hong Kong, Shenzhen、Shanghai Innovation Institute
发布日期精度: 日
研究方向: world action model video-teacher distillation and bimanual manipulation
机器人: LIBERO、LIBERO-Plus、RoboTwin 2.0、real-world bimanual robot platform、two AgileX Piper arms
DOI: 10.48550/arXiv.2608.08558
arXiv: 2608.08558
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已终审官方权重（模型卡与使用边界见下）
数据: 已核验未发布
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 75/100 · 0–1 个月

研发注意力：55/80 · 近期跨域高潜·社区待验证

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0、可能成为新主流

路线评审说明：世界动作模型主流技术2.0·视频先验离线蒸馏·低数据+新任务·可能成为新主流

社区证据类型：尚无独立社区验证

零目标任务真实示范、九项双臂实机、Apache评测代码和四个真实权重形成罕见的近期工程闭环；训练/伪数据链仍缺、权重无许可证且约48GB。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–1 个月窗口。
社区可复查验证 · 0/25
仓库和权重发布不足24小时，无独立复现。
跨领域技术创新 · 20/20
同时蒸馏未来视觉和本体动作，并对真实/合成动作做源特定残差修正。
量化实机证据 · 10/10
九任务每模型每任务20次，含三个零目标任务示范的新任务和明确延迟表。
开放与可复现 · 5/5
Apache评测代码和四个公开检查点可取；训练链、数据和权重许可证缺失。
工程实用增量 · 5/5
教师只用于离线阶段，学生在RTX 4090约212.5ms/动作块。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；训练/伪数据代码未开放；真实和伪数据未发布；权重无许可证；约48.18GB检查点；14B教师训练成本不完整；真实机器人型号缺失；新任务绝对成功率偏低；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方权重 · 许可证 Not declared for the checkpoint repository; GitHub Apache-2.0 applies to source only · 最近核验 2026-08-13
依赖：Vid2WAM evaluation source、Wan2.2 VAE、UMT5-XXL、matching LIBERO, LIBERO-Plus or RoboTwin environment；硬件/传感器：CUDA GPU、paper reports RTX 4090 inference and eight-GPU suite launchers；实机证据：These checkpoint files cover benchmark regimes only; no released Piper trajectory, calibration or control configuration is present.；开放范围/限制：The download does not include teacher, IDM, pseudo-data or distillation training artifacts and has no declared weight license.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

工程资源评审结论与反面证据

权重 · 已核验官方资源
审核码：verified_official; 官方关系：verified_official_public_nongated_benchmark_checkpoint_revision; 最近核验：2026-08-13
代码：Fixed commit 4fc0a43756d09931cae679d65c4694ad31e0670d provides checkpoint loading and LIBERO, LIBERO-Plus and RoboTwin evaluation. Its release checklist still leaves teacher/IDM, pseudo-data and distillation training code unchecked.
权重：Public non-gated revision lists four .pt checkpoints with matching dataset statistics for the LIBERO and RoboTwin low-data/novel benchmark regimes.
数据：No author real-Piper trajectories, teacher generations, IDM corpus or pseudo-data buffer was released in this audit.
许可证：not_declared_for_weights；The GitHub repository is Apache-2.0, but the public weight listing has no model card or independent weight license; Apache-2.0 must not be inferred for the checkpoints.
依赖：Python and official Vid2WAM environment、Wan2.2 VAE、BF16 UMT5-XXL encoder、LIBERO、LIBERO-Plus、RoboTwin 2.0
硬件/传感器：Single RTX 4090 is the paper's reported 212.5ms student-policy measurement、Eight GPUs are used by the supplied suite launchers、Paper physical platform is two AgileX Piper arms with one overhead and two wrist RealSense D435 cameras
实机证据：The paper reports nine controlled Piper dual-arm tasks with 20 trials per task. The public release contains neither the physical trajectories nor a complete real-robot control path.
独立复现：No qualifying independent fixed-commit reproduction was found.
限制/反面证据：Teacher/IDM/pseudo-data/distillation code absent；Weight license absent；No real-robot data or control stack；Piper dual arm is not humanoid or mobile manipulation；No independent reproduction
当前建议：世界动作模型主流迭代·视频教师离线蒸馏评测可用；先以公开 checkpoint 分别跑 LIBERO 50-trial、LIBERO-Plus 10,030-task 和 RoboTwin 100-episode 协议；停止条件是权重许可、教师训练或真实系统不可复现。不要把离线教师蒸馏说成在线视频生成可部署。
重点标签：视频扩散蒸馏、WAM主流迭代、评测权重已核验、近期热门、部分开放
核验来源：来源 1 · 来源 2 · 来源 3

暂缓或驳回结论不会升级代码、权重或数据开放状态；Stars、转发和演示视频不等于独立复现。

每日候选人工终审

Vid2WAM把视频扩散教师产生的未来潜变量与IDM反推的伪动作共同蒸馏到5B WAM学生，并以source-aware residual adapter隔离真实/伪动作噪声；部署删除教师和IDM。原文在RoboTwin 2.0的15个未见任务报告clean/randomized 54.7/55.3%，较Fast-WAM高9.7/12.5点；LIBERO低数据均值89.7%对Fast-WAM 87.3%。两台AgileX Piper真实双臂九任务、每任务20次，三个无目标任务示例为30/15/30%，优于同表Fast-WAM 5/5/25%。官方仓库为Apache-2.0，提供LIBERO、LIBERO-Plus、RoboTwin评测与公开checkpoint；但发布进度中训练、教师/IDM、伪数据和蒸馏训练均未勾选，真实平台数据和权重数据许可证未披露。因此进入WAM/双臂操作横评和近期主流技术改进版，不作为人形或足式真机证据，也不宣称全流程可复现。

实机证据：quantified_bimanual_real_robot_evidence_20_trials_per_task；九个接触丰富双臂任务按每任务20次报告成功率；六个seen任务每项有60条真实轨迹，三个novel任务没有目标任务真实动作轨迹，只用两张真实初始观察及GPT-Image-2生成的60张初始状态图进行离线教师监督。不能由此推断跨场景、长周期可靠性或人形迁移。

硬件/本体：two AgileX Piper arms、one overhead Intel RealSense D435、two wrist-mounted Intel RealSense D435

红旗与边界：训练、教师/IDM、伪数据和蒸馏训练代码尚未发布；真实平台数据、伪数据及权重的独立许可证未披露；真实实验为受控双臂桌面，不是人形、足式或轮臂移动操作；novel任务使用GPT-Image-2合成初始状态，缺少多视角对齐；仓库创建很新且无独立复现，不能把官方视频当作第三方验证

项目关系/同名消歧：arxiv-2603-16666、arxiv-2608-04657
仅可在相同任务划分、真实示范预算、评测次数和输入模态接近时与Fast-WAM、MobileWAM等比较。RoboTwin、LIBERO与Piper实机不能混入同一排行榜；真实双臂不是人形、轮臂或足式本体。

查看资源 · code · 状态 verified_public_partial_release_evaluation_code_only · 许可证 Apache-2.0
官方公开仓库main分支有2 commits、LICENSE、LIBERO/LIBERO-Plus/RoboTwin评测入口与环境说明；README的Release Progress将checkpoint/evaluation、teacher/IDM、pseudo-data和distillation training均标为未完成，故不是全训练栈公开。
查看资源 · weights · 状态 verified_public_checkpoints_for_benchmark_regimes · 许可证 not declared for weights
官方README指定FaLLAut/vid2wam_ckpts并列出.pt和dataset_stats下载方式；2026-08-12 API核验该仓库公开、非gated、未禁用、9个文件，模型权重的独立许可证未声明。
data · 状态 not_verified_publicly_released_for_real_and_pseudo_data · 许可证 not declared
真实Piper轨迹、GPT-Image-2初始图、教师生成rollout、IDM训练数据和伪数据buffer均未给下载清单或许可证；评测依赖第三方LIBERO、LIBERO-Plus和RoboTwin，须分别遵守其许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。