论文记录 · 证据边界公开

WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos

arXiv · 2026-07-13 · 通用VLA、世界动作模型与人类视频到机器人动作

论文元数据

作者: Jiahao Liu、Zhongpu Xia、Shuai Tian、Huangrui Li、Yuhang Zheng、Ning Ma、Xin Fu、Xiaotian Liu、Jing Li、Yixian Li、ShangQing Zhou、Zebin Xing、Linbo Wang、Chaoyue Li、Haoran Li、Dongbin Zhao
机构: CASIA、Anyverse Dynamics、University of Chinese Academy of Sciences、National University of Singapore、Xi'an Jiaotong-Liverpool University
发布日期精度: 日
研究方向: 通用VLA、世界动作模型与人类视频到机器人动作
机器人: 未关联具体机器人
DOI: 10.48550/arXiv.2607.11397
arXiv: 2607.11397
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 存在链接线索，尚未核验官方性与可运行性
权重: 未核验
数据: 未核验
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 79/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、世界动作模型VLA技术2.0

社区证据类型：尚无独立社区验证

用无动作人类视频学习语义/几何未来差分，四任务每配置120次最高83.3%，RTX4090约70ms；MIT代码可查，但论文checkpoint和数据均缺失。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 6/25
MIT训练和评测代码可审计，但没有独立指标复现。
跨领域技术创新 · 20/20
无动作视频、DINO语义、深度几何、世界动作模型和可执行VLA联合。
量化实机证据 · 10/10
四任务每配置30次，总计多组120次；另一个OOD任务10次。
开放与可复现 · 3/5
源代码可用，但数据、资产、第三方权重和论文checkpoint缺失。
工程实用增量 · 5/5
可用低成本人类视频补充昂贵机器人示范。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无论文checkpoint；数据未开放；基线未全部重跑；OOD仅一任务；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 MIT for repository-owned code; Qwen3-VL, DINOv3, Depth Anything V2, RoboCasa, RoboTwin and other upstream assets retain their own terms · 最近核验 2026-07-22
依赖：Python 3.10、PyTorch and CUDA、DeepSpeed ZeRO-2、Qwen3-VL-4B、DINOv3、Depth Anything V2、RoboCasa or RoboTwin environments supplied separately；硬件/传感器：CUDA workstation for VLA training and inference、paper training hardware is not expressed as a standard GPU model for all experiments、paper latency is 70 ms on an RTX 4090、paper real platform and demonstrations are not included；实机证据：Four tasks with 30 trials per configuration; WALA with 200 robot demonstrations and 400 human videos per task reports 100/120 successes.、A single zero-shot bread task improves from 3/10 to 9/10 after adding 400 action-free human videos; no independent physical reproduction is available.；开放范围/限制：The implementation makes the method and simulator evaluation paths inspectable but cannot reproduce paper numbers without private demonstrations, action-free videos, simulator assets and trained checkpoints.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

WALA从无动作标签视频预测DINOv3语义差分与Depth Anything V2几何差分，再把latent action用于VLA动作与未来动力学联合监督。RoboTwin 50任务Clean/Random为90.6/92.8，RoboCasa 24任务75.2；四项真机每配置120次，200条机器人示范加400条人类视频从pi0.5的58.3%升至83.3%，RTX4090延迟70ms。官方MIT仓库含训练/评测代码，但明确不含数据、模拟器资产、第三方权重、WALA checkpoint或训练输出。

实机证据：quantified_four_tasks_thirty_trials_each_configuration；四任务每配置30次：pi0 62/120、pi0.5 70/120、WALA 200示范无视频90/120、50示范+400视频89/120、200示范+400视频100/120；额外面包OOD任务3/10升至9/10。

硬件/本体：dual-arm real manipulation platform、RTX 4090 inference、action-free egocentric human videos

红旗与边界：论文checkpoint未开放；训练数据和人类视频未开放；基线主要引用公开报告而非全部同协议重跑；OOD真机只有一个任务10次；无独立复现

查看资源 · code · 状态 verified_open_source_code_missing_data_assets_and_checkpoints · 许可证 MIT for repository-owned code; Qwen3-VL, DINOv3, Depth Anything V2, RoboCasa and RoboTwin retain their own terms
固定提交含训练、RoboTwin/RoboCasa评测和示例；不含论文数据、模拟器资产、第三方权重、WALA checkpoint或输出。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。