论文记录 · 证据边界公开

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos

arXiv · 2025-07-16 · 人类视频到机器人动作

论文元数据

作者: Ruihan Yang、Qinxi Yu、Yecheng Wu、Rui Yan、Borui Li、An-Chieh Cheng、Xueyan Zou、Yunhao Fang、Xuxin Cheng、Ri-Zhao Qiu、Hongxu Yin、Sifei Liu、Song Han、Yao Lu、Xiaolong Wang
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 人类视频到机器人动作
机器人: 未关联具体机器人
DOI: 10.48550/arXiv.2507.12440
arXiv: 2507.12440
arXiv 当前版本: 3
arXiv 最近修订: 2025-07-18
arXiv 主分类: cs.RO
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 已终审官方权重（模型卡与使用边界见下）
数据: 已终审官方数据（下载、格式与上游条款见下）
许可证: 部分制品许可证缺失/冲突；已逐项标注

当前实践优先级

观察 · 59/100 · 13–24 个月

研发注意力：49/80 · 近期跨域高潜·社区待验证

工程落地：5/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：人类第一视角预训练VLA主流迭代·社区仿真复算

社区证据类型：独立仿真指标复算

用约50万条人类第一视角图像-动作对预训练人形VLA，完整源码、阶段权重和约519GB仿真数据已开放；社区能复算仿真成功率，但零机器人微调为0%、无任何实机证据。

近期窗口 · 18/35
发布距评分基准日 13 个月，落入 13–24 个月窗口。
社区可复查验证 · 12/25
有独立论文成功率复算和可复查配置/物理反证，但没有真机、跨版本稳定性或完整逐任务日志。
跨领域技术创新 · 19/20
连接人类第一视角视频、手部姿态/动作重建、VLA预训练、灵巧手重定向和人形长时操作。
量化实机证据 · 0/10
十二任务和全部成功率均来自Isaac仿真，论文没有实体H1/G1评测。
开放与可复现 · 5/5
MIT代码、三类阶段模型和约519GB数据可访问；最终模型无许可证且数据卡/查看器质量不足。
工程实用增量 · 5/5
证明人类视频预训练能显著减少机器人数据需求，但仍必须机器人仿真微调才能获得非零成功率。

社区可复查证据：

社区证据 1
独立用户明确报告已复现论文成功率并指出子任务判定误差。
社区证据 2
独立运行发现fisheye配置bug，改为pinhole后行为改善，同时记录物体穿透。
社区证据 3
固定Isaac环境下仍出现已见场景精细交互失败。

证据缺口：量化实机证据不足；无实机评测；zero-shot人类预训练为0%；最终模型无许可证；约519GB高成本；数据卡极简/查看器异常；相机bug；接触穿透与版本敏感

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 MIT root license with third-party notices; VILA, Isaac Sim/Lab, MANO, robot/scene assets and upstream human-video datasets retain separate terms · 最近核验 2026-07-23
依赖：Isaac Sim 4.2.0.2、Isaac Lab 1.2-compatible environment、PyTorch/CUDA、MANO registration、HOI4D, HOT3D, HoloAssist and TACO source datasets under upstream terms、matching Hugging Face checkpoints and simulator data；硬件/传感器：large-memory NVIDIA GPU for VLA training/evaluation、simulation uses Unitree H1 with Inspire hands、no physical robot deployment is supplied or evaluated；实机证据：None. All twelve humanoid tasks in the paper are evaluated in simulation.；开放范围/限制：An independent user reports paper-level success-rate reproduction after setup, while other issues expose camera, physics and version sensitivity. The release does not establish sim-to-real or physical safety.
官方数据集 · 许可证 Hugging Face dataset card declares MIT; Isaac Sim/Lab, Unitree H1, Inspire hand, scene and object assets retain upstream terms · 最近核验 2026-07-23
依赖：huggingface_hub or Git LFS、about 519GB local storage、HDF5 reader and EgoVLA loader、matching Isaac simulation task assets；硬件/传感器：no robot required for offline parsing、large storage and CUDA workstation for benchmark training/evaluation；实机证据：None; the dataset and benchmark are simulation-only.；开放范围/限制：The public files are large and nominally licensed, but the empty/minimal card, broken viewer, missing checksum/split narrative and absence of physical pairing limit auditability.
官方权重 · 许可证 Hugging Face metadata declares Apache-2.0; base VILA/model and source human-video dataset terms remain separately applicable · 最近核验 2026-07-23
依赖：EgoVLA/VILA training stack、matching tokenizer and vision tower、robot simulation fine-tuning before task deployment；硬件/传感器：large-memory NVIDIA GPU for further training、no robot required for checkpoint inspection；实机证据：None. Zero-shot evaluation without robot fine-tuning reports 0% across the twelve simulated tasks.；开放范围/限制：The checkpoint demonstrates a reusable pretraining stage but is not directly task-capable; source human-video data rights and downstream model terms must still be checked.
官方权重 · 许可证 No model card and no license tag on the fixed final-model repository; MIT source license does not automatically grant checkpoint reuse · 最近核验 2026-07-23
依赖：EgoVLA source at reviewed commit、matching Isaac Sim/Lab versions、EgoVLA-Humanoid-Sim task assets、large-memory NVIDIA GPU；硬件/传感器：CUDA workstation、simulated Unitree H1 with Inspire hands；实机证据：None; the final checkpoint is evaluated only in simulation.；开放范围/限制：The files are downloadable, but reuse and redistribution rights are not established. Do not describe this checkpoint as a physical humanoid policy.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

原始来源

最近核验：2026-07-23。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。