论文记录 · 证据边界公开

Masked Visual Actions for Unified World Modeling

arXiv technical report · 2026-07-21 · 世界模型与动作条件预测

论文元数据

作者: Hadi Alzayer、Wenlong Huang、Haonan Chen、Christopher Luey、Lvmin Zhang、Maneesh Agrawala、Gordon Wetzstein、Li Fei-Fei、Yilun Du、Jiajun Wu、Jia-Bin Huang
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 世界模型与动作条件预测
机器人: BEHAVIOR R1 Pro、DROID Franka robots、Franka Emika Panda、RoboCasa simulated robot
DOI: 未披露
arXiv: 2607.19343
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 70/100 · 0–1 个月

研发注意力：59/80 · 近期跨域高潜·社区待验证

工程落地：9/15 · 量化实机证据＋工程实用增量

标准分类标签：颠覆性分支、可能成为新主流

路线评审说明：世界模型控制接口2.0·跨本体颠覆性分支·Apache源码·权重数据待兑现

社区证据类型：尚无独立社区验证

像素空间部分可见轨迹把同一视频模型变成跨本体前向、规划评价和逆向动作接口，并有Franka真实数据配对评价；当前只有Apache薄层代码，权重401、训练数据和渲染工具未开放。

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–1 个月窗口。
社区可复查验证 · 4/25
固定Apache-2.0提交可检查推理与LoRA训练薄层；权重、数据和独立运行均不可核验。
跨领域技术创新 · 20/20
用视觉动作统一视频世界模型、跨本体条件、模型规划、策略评价和逆向动作恢复。
量化实机证据 · 5/10
Franka四任务各20条真实演示及两任务各40条策略数据可查；验证是实机动作到生成视频的配对，不是世界模型闭环真机控制。
开放与可复现 · 2/5
源码和上游固定提交开放；14B权重当前401，数据、URDF渲染、锁文件、测试和容器缺失。
工程实用增量 · 4/5
像素接口降低动作空间与本体绑定，能复用视频先验；8张H200训练和未披露推理成本限制当前部署。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；权重匿名访问401；训练数据和URDF渲染工具未发布；实机不是世界模型闭环控制；14B推理延迟、显存和成本未披露；存在任务进度正偏差且无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

Masked Visual Actions把机器人或目标物体的部分可见像素轨迹作为统一动作接口，使同一个14B视频模型可充当前向动力学、规划评估器和逆向动作生成器。约15小时、1,000条DROID示范和4,000个RoboCasa样本训练后，它在DROID与未见过的BEHAVIOR双臂本体上显著改善视频重建，并给出Franka真实采集配对评价；这是把视频先验接到跨本体物理操作上的近期重要分支。当前Apache-2.0仓库只有五个源码/说明文件和一个gitignore，是依赖固定DiffSynth-Studio提交的薄层；README声称的Hugging Face权重匿名访问返回401，训练数据和URDF渲染工具也未发布，因此不能标记为完整可复现。

实机证据：physical_robot_data_and_paired_video_evaluation_not_closed_loop_world_model_control；作者用Franka Panda、自制3D打印柔顺末端、GELLO和腕部/外部两台ZED Mini 2采集真实数据。视频模型评价包含四个真实任务，每任务20条演示，并按任务进度逐条对比真实执行与想象结果；另为挂杯和关柜门各采集40条、10 Hz轨迹训练真实机器人策略。这里验证的是由真实动作生成的视频与真实演示进度的对应关系，不是视频模型选出的动作在真机上闭环执行。逆向动作90%成功率来自RoboCasa CoffeeServeMug的20次仿真，不是真机。

硬件/本体：Franka Emika Panda with custom compliant end effector、two ZED Mini 2 cameras、custom GELLO teleoperation

红旗与边界：README声称权重可取，但当前匿名API、页面和命名文件均返回401；论文承诺代码、数据、权重；当前只有薄层代码，数据和URDF渲染管线未发布；14B基模LoRA训练使用8张H200、约10,000步和4天，部署显存、吞吐、延迟与能耗未披露；规划使用Gemini 3.1 Pro Preview作评审器，调用成本和模型可持续性未报告；真实机器人结果是动作到视频的配对评价，不是世界模型规划闭环控制真机；模拟策略评估相关系数r=0.982但存在系统性任务进度正偏差，相关性不证明因果动力学；Ctrl-World曾见过全部DROID场景，跨方法训练暴露范围并不完全一致；无独立复现、公开issue部署记录或权重可用性反馈

查看资源 · code · 状态 official_apache2_thin_training_and_inference_layer_fixed_commit_partial_scope · 许可证 Apache-2.0 repository license; base model and upstream dependencies retain their own terms
固定提交95f7a33c9ccca6c414c4eb068db1b472b01c80e3共6个非git文件：README、LICENSE、推理/下载权重脚本和双专家LoRA训练脚本。它固定DiffSynth-Studio提交3743b1307caf2562af60d475b22d4b6be68e7cd0，依赖PAI/Wan2.2-Fun-A14B-Control、CUDA、PyTorch、DiffSynth和huggingface_hub；14B基模需要CUDA，low-vram模式以磁盘卸载换速度。仓库没有环境锁、测试、CI、容器、示例输入或论文数据构建管线，DROID的URDF控制视频渲染工具仍标为coming soon。
查看资源 · weights · 状态 official_readme_claim_but_anonymous_model_api_and_files_return_401 · 许可证 No accessible model card or weight license could be verified
README点名高噪声和低噪声两份LoRA，但匿名访问模型API、模型页及两份命名safetensors均返回401。当前不能把链接存在写成权重已开放。
查看资源 · data · 状态 paper_promises_training_data_but_no_download_or_versioned_dataset_found · 许可证 No released derived training dataset or data license was found; DROID and RoboCasa upstream terms remain applicable
论文披露约1,000条DROID演示、4,000个RoboCasa样本、成功与失败轨迹及约15小时训练视频，但项目页和仓库没有CSV、处理后的控制视频、真实采集HDF5、校准文件、数据版本或许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	CUDA GPU
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 low · 模型 glm-5.3 · 更新 2026-09-02T05:18:51Z

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-02T05:18:51Z