论文记录 · 证据边界公开

JEPA-WAM: Stage-Level Joint-Embedding Prediction for World-Action Models in Robot Manipulation

arXiv preprint · 2026-08-11 · 操作

论文元数据

作者: Xiao Liu、Yuguang Yang、Xi Wang、Kai Jiang、Cheng Chi、Yong Xu、Wenchao Ding、Yilun Chen、Yan Wang
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 操作
机器人: RoboTwin 2.0 simulated dual-arm platform、in-house dual-arm LIFT2 (ARX R5)
DOI: 10.48550/arXiv.2608.10780
arXiv: 2608.10780
arXiv 当前版本: v2
arXiv 最近修订: 2026-08-13
arXiv 主分类: cs.RO
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 已在里程碑评审中检查

当前实践优先级

观察 · 65/100 · 0–1 个月

研发注意力：53/80 · 近期跨域高潜·社区待验证

工程落地：12/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：阶段级未来世界动作模型主流技术2.0·双臂真机·社区待验证

社区证据类型：尚无独立社区验证

把 V-JEPA2 的阶段级潜目标接入 Motus 的短视界视频—动作流，在50项 RoboTwin 任务的干净/随机化协议与 LIFT2 双臂真机上均给出定量结果；但实现、权重、数据和独立复现全部尚未公开或核验，故作为近期高优先级验证对象，而非开放框架或严格里程碑。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–1 个月窗口。
社区可复查验证 · 0/25
截至核验日未找到作者仓库、可下载制品或独立团队在固定版本、硬件和指标下的复现；同篇作者基线不能计为社区验证。
跨领域技术创新 · 18/20
将 V-JEPA2 阶段级表征预测、自动任务阶段发现、Wan2.2/Motus 视频—动作生成、语言条件与闭环双臂操作耦合；仍未证明跨机器人本体迁移。
量化实机证据 · 8/10
ARX R5/LIFT2 双臂两个任务各20次；Cube_Grasp/Power_Strip 任务进度为45.0/51.0，对比 pi0.5 的33.5/49.5。指标不是二元成功率，且每任务单独训练，故不计满分。
开放与可复现 · 0/5
未核验到项目页、代码、权重、训练清单、LIFT2轨迹、RoboTwin配置、固定环境或许可证。
工程实用增量 · 4/5
原文披露8×A800 80GB、64帧因果缓冲、8帧384×320输入、8个未来视频帧和16个动作的部署接口；但未给控制频率、端到端延迟、相机配置或安全限幅。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；无公开代码、权重、数据、许可证、容器或依赖锁定；无独立团队复现、部署报告或失败日志；LIFT2 只覆盖两个双臂任务且分别训练，指标为任务进度；RoboTwin 结果不证明接触、场景或本体全面泛化；未披露端侧控制频率、传感器、动作空间、标定和安全边界

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

JEPA-WAM 把 WAM 的短期视频—动作预测与阶段级语义未来显式分开：冻结 V-JEPA2 表征并从当前观测/指令预测下一任务阶段潜变量，再通过有界门控注入 Motus 的视频流。这是近期 WAM 从仅局部未来建模走向“阶段目标＋局部动力学”的主流技术2.0分支。原文在 RoboTwin 2.0 的50个任务、干净和随机化两种设定下，每个任务—设定100次闭环试验，报告总体90.25%；并在 ARX R5/LIFT2 双臂真机两个任务中各评测20次，平均任务进度48.0，对比 pi0.5 的41.5。该结果有清楚的同协议边界和实机证据，但仍是单篇预印本、每项真机任务单独训练、作者团队结果；未核验到作者项目页、仓库、权重、数据或许可证。故纳入“WAM主流技术2.0／阶段级未来／标准泛化评测／待独立复现”，不宣称为已开放或跨本体通用结论。

实机证据：author_quantified_real_bimanual_evidence_not_independently_reproduced；原文附录明确：Cube_Grasp 使用50条训练轨迹，Power_Strip 使用116条；每个真机任务评测20次；采用0—100终态任务进度评分，危险碰撞、失控、工作区违规或急停计0。JEPA-WAM 对 pi0.5 的分数分别为45.0/51.0 对33.5/49.5，平均48.0 对41.5。结果来自作者团队，未见原始日志、失败视频、控制频率、传感器配置、独立复现或跨本体评测。

硬件/本体：in-house dual-arm LIFT2 (ARX R5)、Cube_Grasp、Power_Strip

红旗与边界：同名 JEPA-WAM 已出现不同团队和不同 arXiv ID，必须按 2608.10780 与作者集合区分，不能按标题去重或混并；所有实验来自作者团队；尚无独立复现、代码、权重、数据、环境锁定或许可证；真机仅双臂 LIFT2 的两个任务、每项单独训练，且指标为任务进度，不是可直接与成功率比较的统一指标；RoboTwin 基线数字部分来自 Motus 已发布结果；公平性只在论文给定的同闭环协议范围内成立

项目关系/同名消歧：arxiv-2608-09381
RoboTwin 数值仅能与相同50任务、干净/随机化划分、100次闭环试验、同一 Motus 基线和相近训练协议横比。LIFT2 结果是0—100任务进度而非二元成功率，且只覆盖两个任务、每任务单独训练，不能与其他手型、移动操作、人形全身或跨任务泛化结果混排。另有不同团队的同名论文 arXiv:2608.09381（Learning Vision-Language-Action Policies with Joint-Embedding World Modeling），该工作有独立的项目页、MIT 代码与公开 checkpoint；两者仅按同名消歧关联，不是版本、续作或同一项目，禁止合并或将对方资源归属到本工作。

code · 状态 not_verified_publicly_released · 许可证 not declared
arXiv v1 摘要、HTML 可见正文和 Code/Data/Media 区域未列作者仓库、项目页、固定 commit 或安装入口；这仅表示本次未核验到公开代码。
weights · 状态 not_verified_publicly_released · 许可证 not declared
未核验到 Stage-JEPA、Motus 条件化模型、V-JEPA2 适配器或真机策略权重。
data · 状态 not_verified_publicly_released · 许可证 not declared
未核验到 LIFT2 真机轨迹、RoboTwin 训练清单、自动阶段边界、随机化配置、标定、处理脚本或数据许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。