论文记录 · 证据边界公开

Towards Practical World Model-based Reinforcement Learning for Vision-Language-Action Models

ICLR 2026 Workshop on World Models; ICML 2026 regular submission · 2026-03-21 · 世界模型与动作条件预测

论文元数据

作者: Zhilong Zhang、Haoxiang Ren、Yihao Sun、Yifei Sheng、Haonan Wang、Haoxin Lin、Zhichao Wu、Pierre-Luc Bacon、Yang Yu
机构: Nanjing University、National Key Laboratory for Novel Software Technology、Mila - Quebec AI Institute、Université de Montréal、Polixir Technologies
发布日期精度: 日
研究方向: 世界模型与动作条件预测
机器人: ARX-X5、Galaxy-R1
DOI: 未披露
arXiv: 2603.20607
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 未核验
数据: 未核验
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 77/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、世界模型VLA后训练2.0·多视角UMM＋分支rollout·250次实机·论文权重数据待补

社区证据类型：尚无独立社区验证

VLA-MBPO用多视角生成世界模型与chunk级分支rollout把VLA后训练从离线值学习推向模型式RL，LIBERO和250次双平台实机均有量化增量；Apache仓已开放主要算法，但8×H100依赖、论文权重/数据和实机驱动缺失阻止直接复现。

近期窗口 · 35/35
发布距评分基准日 4 个月，落入 0–6 个月窗口。
社区可复查验证 · 3/25
官方仓可检查策略、世界模型和LIBERO集成；没有外部训练、实机复现或失败日志。
跨领域技术创新 · 20/20
把多视角视频世界模型、VLA action chunk、模型式分支采样、离线RL和on-policy数据聚合纳入统一后训练闭环。
量化实机证据 · 10/10
ARX-X5与Galaxy-R1五任务各50次，共250次，按seen/unseen给出SFT、IDQL和MBPO成功率。
开放与可复现 · 4/5
Apache-2.0固定commit含主要训练/服务代码；论文checkpoint、normalizer、固定数据和实机路径未开放。
工程实用增量 · 5/5
把昂贵真实rollout扩展为可分支的模型rollout并保留真实任务增量，但8×H100和双环境依赖显著提高运维门槛。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；论文世界模型、策略、normalizer和固定数据未发布；250次实机没有逐次日志、误差条或失败视频索引；公开代码重点是LIBERO，双实机驱动与校准缺失；论文训练依赖8×H100，低成本复验边界未建立；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 root; embedded OpenPI, LIBERO, ALOHA and UniPlan/Bagel components retain upstream terms · 最近核验 2026-07-22
依赖：Python 3.11 and JAX CUDA 12 for policy/RL、Python 3.10 and PyTorch 2.5.1 for the world model、flash-attn、OpenPI、LIBERO、Hugging Face base models、user-supplied paper-equivalent checkpoints, normalizers and data；硬件/传感器：eight NVIDIA H100 GPUs reported for paper training、approximately seven to eight hours for the world model and four to six hours for policy training、ARX-X5 and Galaxy-R1 hardware paths are not included；实机证据：The paper reports 250 physical evaluation trials on ARX-X5 and Galaxy-R1, while this fixed repository does not publish their drivers, calibration or experiment orchestration.；开放范围/限制：Use it to inspect or reconstruct the LIBERO algorithmic path. Do not call it paper-reproducible without exact checkpoints, action normalization, fixed datasets and a validated robot stack.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

VLA-MBPO把统一多模态世界模型、交错多视角解码和动作块级branched rollout组合成VLA离线模型式强化学习：LIBERO四套件在相同50条离线轨迹/任务口径下由π0.5 SFT的76.8%提高到85.9%，Long由54.6%提高到66.8%；五项实机各50次，共250次，图5显示VLA-MBPO在ARX-X5插线/叠毛巾和Galaxy-R1插笔/取杯/擦板均高于SFT与IDQL。论文披露每项50条on-policy采集、30 seen加20 unseen评测和8×H100的7–8小时世界模型训练、4–6小时策略优化。官方项目与Apache-2.0仓已在论文后公开，固定commit包含OpenPI策略训练、UMM世界模型训练/服务、LIBERO websocket环境和四套件RL入口；但README明确论文checkpoint、action normalizer、初始策略和转换数据未打包，实机平台驱动/数据路径也未开放，默认launcher仍含作者本地绝对路径。因此它是世界模型VLA后训练2.0的重要实现和重点跟踪节点，但还没有达到一键复现实验表或独立实机验证。

实机证据：quantified_author_multi_platform_250_trial_physical_evaluation；五项任务各50次，30 seen与20 unseen，共250次评测。图5按50次分母给出SFT/IDQL/VLA-MBPO：插线6/12/34%，叠毛巾38/42/56%，插笔28/34/42%，取杯30/42/54%，擦板28/36/58%。SFT专家轨迹分别为50、60、100、100、100，另各采50条on-policy数据。

硬件/本体：ARX-X5 dual-arm 14-DoF with three RealSense D435i at 15Hz、Galaxy-R1 21-DoF mobile whole-body platform with ZED 2i and two D435i、JoyLo teleoperation at 100Hz and recording at 10Hz

红旗与边界：论文实机柱状图无误差条，五项各50次但未发布逐次日志；需要8×H100，世界模型7–8小时、策略4–6小时，低成本复现门槛高；论文checkpoint、action normalizer、初始策略和固定数据均未发布；公开仓主要覆盖LIBERO，ARX-X5/Galaxy-R1驱动与实机训练链路未开放；launcher默认值残留作者本地绝对路径，需手动替换所有制品位置；世界模型未用动作标注机器人数据预训练，仍需每个下游任务微调；无独立训练或实机复现

查看资源 · code · 状态 official_substantial_training_and_serving_repository_at_fixed_commit_without_paper_artifacts · 许可证 Apache-2.0 root; embedded OpenPI, LIBERO, ALOHA and UniPlan/Bagel components retain upstream terms
固定commit e325257含OpenPI策略/RL代码、UMM世界模型训练与websocket服务、LIBERO并行环境、四套件配置和集成launcher。根环境Python 3.11/JAX CUDA12，世界模型环境Python 3.10/PyTorch 2.5.1/flash-attn；论文训练使用8×H100。
weights · 状态 paper_world_model_policy_and_normalizer_artifacts_explicitly_not_bundled · 许可证 No paper checkpoint model card or weight license
README要求用户自备MODEL_CONFIG_PATH、WORLD_MODEL_CKPT、ACTION_NORM_PATH、PRETRAINED_POLICY_PATH，并明确public model artifacts not bundled yet；UniPlan基础权重不能替代VLA-MBPO论文权重。
data · 状态 paper_offline_onpolicy_real_robot_and_converted_LIBERO_data_not_released_as_fixed_dataset · 许可证 No VLA-MBPO dataset license
仓库给出数据格式与上游OpenPI/LIBERO线索，但没有论文的50条/任务离线集、250条实机on-policy采集、实机评测轨迹、action normalizer或固定转换数据。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。