论文记录 · 证据边界公开

DeVA: Decoupled Video-Action Model with Physical Guidance for Robot Policy Learning

arXiv · 2026-07-27 · 操作

论文元数据

作者: Mengqi Zhang、Sahil Khose、Simar Kareer、Yuchen Song、Unnat Jain、Judy Hoffman
机构: University of California, Irvine、Georgia Institute of Technology
发布日期精度: 日
研究方向: 操作
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.24159
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 已终审官方权重（模型卡与使用边界见下）
数据: 已终审官方数据（下载、格式与上游条款见下）
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 73/100 · 0–6 个月

研发注意力：54/80 · 近期跨域高潜·社区待验证

标准分类标签：主流技术2.0、可能成为新主流

路线评审说明：视频动作模型主流技术2.0·资源闭包开放

社区证据类型：尚无独立社区验证

解耦视频/动作专家、affordance/depth引导、真机YAM和MIT代码/权重/数据形成当前最完整的新发布闭包；代价是7.55B模型、约25GB权重和gated Cosmos基础模型。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 0/25
发布不足一天，未发现独立环境复算。
跨领域技术创新 · 19/20
连接视频扩散、动作专家、多层特征转移、affordance、depth、双臂控制与数据效率。
量化实机证据 · 10/10
YAM三任务每方法每任务10次，DeVA平均0.74。
开放与可复现 · 5/5
MIT固定提交含282文件，五checkpoint和真/仿真处理数据均公开非gated。
工程实用增量 · 4/5
训练、评测、数据转换和客户端/服务器路径完整，但CUDA和基础模型要求高。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；Cosmos需接受条款；7.55B/25GB；CUDA驱动要求高；每任务10次；GPU型号未披露；无独立复算

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 MIT for author code; upstream dependencies separate · 最近核验 2026-07-28
依赖：Python 3.10、CUDA 13/12.6、Cosmos-Predict2-2B-Video2World、LIBERO or RoboCasa or YAM；硬件/传感器：Ampere or newer NVIDIA GPU；实机证据：YAM client/server deployment path is included; author paper provides quantified trials.；开放范围/限制：Requires separately accepted Cosmos-Predict2 terms; no independent physical reproduction.
官方数据 · 许可证 MIT declared by processed dataset card; original RoboCasa assets and benchmark terms separate · 最近核验 2026-07-28
依赖：Hugging Face Hub、DeVA data loader；硬件/传感器：61,543,487,216 bytes；实机证据：未披露；开放范围/限制：Simulation-derived processed data; not physical YAM data.
官方数据 · 许可证 MIT declared by dataset card; YAM platform and pseudo-label dependencies separate · 最近核验 2026-07-28
依赖：Hugging Face Hub、DeVA data loader；硬件/传感器：20,441,321,943 bytes；实机证据：90 real YAM bimanual episodes, 30,749 frames, three views and 14-D actions/states.；开放范围/限制：Small task-specific corpus; no failures/privacy protocol stated on the card.
官方权重 · 许可证 MIT declared by model card; Cosmos base terms remain separate · 最近核验 2026-07-28
依赖：DeVA code、Cosmos-Predict2 base checkpoint；硬件/传感器：25,412,823,243 bytes across five .pt files；实机证据：YAM base and guidance checkpoints correspond to author physical experiments.；开放范围/限制：LIBERO base checkpoint is not present; no independent checksum-to-metric reproduction.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

工程资源评审结论与反面证据

code_weights_and_data · 已核验官方资源
审核码：verified_official; 官方关系：verified_mit_training_evaluation_deployment_code_five_checkpoints_and_three_processed_datasets; 最近核验：2026-07-28
代码：282 tracked files
权重：five public ungated checkpoints, 25,412,823,243 bytes
数据：public processed LIBERO, RoboCasa and real YAM datasets
许可证：MIT；Author code/model/dataset cards declare MIT; Cosmos-Predict2 access terms and original benchmark/platform terms remain separate.
依赖：Linux x86-64、Python 3.10、CUDA 13 or documented 12.6 path、Cosmos-Predict2-2B-Video2World
硬件/传感器：Ampere or newer NVIDIA GPU、Five author checkpoints total 25.41 GB
实机证据：Paper reports three YAM tasks with ten trials per method/task.
独立复现：none
限制/反面证据：Gated Cosmos base dependency；High CUDA/driver requirement；7.55B total parameters；Ten real trials per task；No independent reproduction
当前建议：视频动作模型主流技术2.0·资源闭包已开放；Prioritise a fixed LIBERO smoke test and YAM data audit before costly full deployment.
重点标签：视频动作模型主流技术2.0、code:verified、weights:verified、data:verified
核验来源：来源 1 · 来源 2 · 来源 3 · 来源 4

暂缓或驳回结论不会升级代码、权重或数据开放状态；Stars、转发和演示视频不等于独立复现。

每日候选人工终审

DeVA 把 Cosmos-Predict2 视频专家与动作专家解耦，再用多层特征、affordance 和 depth 引导。RoboCasa 24 任务 72.0%，LIBERO 99.0%，LIBERO-Plus 80.8%；YAM 双臂三任务每项 10 次，平均 74%。MIT 固定提交已有 282 个文件、训练/评测/真机路径；五份 checkpoint 共 25.41GB，YAM 90 episode/20.44GB 和 RoboCasa 1,199 episode/61.54GB 数据均可下载。部署仍依赖需接受条款的 Cosmos-Predict2、CUDA 13/Ampere+，且当前没有独立复算。

实机证据：author_quantified_three_yam_tasks_ten_trials_each；Handover Marker/Lift Pot/Pick Up Bottles 为 0.90/0.68/0.65，平均 0.74；每方法每任务 10 次，样本量仍小。

硬件/本体：I2RT YAM 14-DoF bimanual

红旗与边界：依赖需接受条款的Cosmos基础模型；CUDA/驱动要求高；总模型7.55B；真机每任务仅10次；GPU型号未披露；无独立复算

查看资源 · code · 状态 verified_full_training_evaluation_and_yam_deployment_code · 许可证 MIT_for_repository_code_upstream_dependencies_separate
固定提交含 282 个文件、训练、LIBERO/RoboCasa/YAM 评测、数据转换与文档。
查看资源 · weights · 状态 verified_five_public_ungated_checkpoints · 许可证 MIT_declared_on_model_card_Cosmos_base_terms_separate
五份 .pt 共 25,412,823,243 bytes；LIBERO base 未发布。
查看资源 · data · 状态 verified_public_ungated_real_yam_processed_dataset · 许可证 MIT_declared_on_dataset_card_platform_and_upstream_terms_separate
90 episodes、30,749 frames、三视角、14维动作与状态，约20.44GB；另有可下载的 RoboCasa/LIBERO processed 数据。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-28。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。