论文记录 · 证据边界公开

Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning

arXiv · 2026-07-15 · 人类视频到机器人动作

论文元数据

作者: Zishuo Li、Bowen Yang、Changtao Miao、Kai Zhu、Hao Chen、Qingze Guan、Zhengxing Wu、Wanke Zhan、Yang Sun、Zhiyi Huang、Zitong Shan、Zhenchao Jin、Jiadong Hong、Taowen Wang、Yushi Feng、You Liu、Yibo Wang、Yifan Yang、Zhaowen Zhou、Man Luo、Hao Cheng、Bo Zhang、Jianshu Li、Jiansheng Cai、Guocai Yao、Jize Zhang、Chenhao Lin、Renjing Xu、Lequan Yu、Chao Shen、Chunhua Shen、Zhe Li
机构: Ant Digital Technologies, Ant Group
发布日期精度: 日
研究方向: 人类视频到机器人动作
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.14183
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 未核验
数据: 已核验可访问（使用限制见许可证）
许可证: 部分制品许可证缺失/待澄清

当前实践优先级

当前可实践 · 64/100 · 0–6 个月

路线标签：近期热门、低成本人类视频数据基础设施颠覆性分支

社区证据类型：尚无独立社区验证

消费手机采集、隐私处理、手/相机重建、原子动作、重定向和多类模型适配形成低成本数据闭环；当前真实下载为 819.13GB/2,821 样本根，但许可证缺失、viewer schema 失败且论文规模不能由公开清单重建。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 0/25
未发现独立团队公开完整下载、schema 修复、模型训练和可比机器人结果；数据仓可访问不等于端到端复现。
跨领域技术创新 · 20/20
消费级手机、人类第一视角视频、隐私处理、SLAM/MANO、跨本体重定向、VLA/WAM/世界模型训练配方被统一为低成本数据基础设施。
量化实机证据 · 1/10
数据来自真实人类环境，但不是机器人轨迹；未公开同一制品到物理机器人策略成功率、控制频率或迁移损失。
开放与可复现 · 3/5
Apache-2.0 工具链和 819.13GB 无门槛数据真实存在；数据卡许可证为 other、viewer schema 失败、MANO/部分配方受额外条款约束，论文规模不能由清单独立重建。
工程实用增量 · 5/5
可用 2,821 个已核验样本根做小规模 schema/质量/训练收益实验，再决定是否承担全量下载和许可风险。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；量化实机证据不足；数据制品许可证缺失；HF viewer schema失败；2,000小时/8,000+任务无法独立重建；无量化机器人下游结果；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 for original repository source only; MANO, HaWoR, upstream models, robot assets and generated outputs retain separate terms · 最近核验 2026-07-21
依赖：Python environments vary by subproject、MANO model files require separate registration and license acceptance、upstream model repositories and checkpoints、LeRobot and model-specific converters、large local storage for OpenAoE-2000h；硬件/传感器：Consumer-smartphone source data、CUDA GPU requirements vary across reconstruction, retargeting and model recipes、Robot assets/controllers are not vendored；实机证据：The repository contains robot retargeting and model-conversion recipes, but the reviewed release does not establish a quantified physical robot policy result from the public dataset.；开放范围/限制：Verified at commit 33b8976a72a87b3856cf1462c1371f0366e06ca2 with 698 tracked files and 206 Python files; compileall passed. Only one small matrix-config test was found. LEGAL.md identifies non-vendored and restrictive dependencies, including separately licensed MANO files and a CC-BY-NC-ND 4.0 HaWoR dependency in one H-RDT route.
官方数据 · 许可证 Dataset card declares other and no dataset-specific license text was found; repository Apache-2.0 explicitly covers source code only · 最近核验 2026-07-21
依赖：At least 819.13 GB decimal storage for the current public revision、custom schema-normalization and integrity scan before bulk loading、Open-AoE toolchain、MANO and model-specific upstream dependencies for downstream recipes；硬件/传感器：2,821 sample roots in the current public revision、8,463 MP4, 8,463 JSON, 5,642 NPZ and 2,821 PNG entries、Consumer smartphone capture metadata varies by sample；实机证据：The data are real human egocentric manipulation videos, not physical robot trajectories. The paper provides retargeting/training interfaces but no quantified public-release-to-robot success study.；开放范围/限制：Verified at Hugging Face revision a6e75ab38dce462fc710c624f4fa492059b71e01: public, ungated, 25,391 entries totaling 819,130,770,170 bytes. The inventory independently supports 2,821 sample roots, not the paper's 2,000-hour or 8,000+-task totals. Dataset preview generation fails with ArrowInvalid due to inconsistent schema across samples. Commercial use is blocked pending an artifact-specific license.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

Open-AoE 把手机低成本第一视角采集、隐私处理、MANO 手部重建、相机轨迹、原子动作、跨本体重定向以及 VLA/WAM/世界模型配方串成一条开放数据生产链，属于低成本人类视频数据基础设施的颠覆性分支。官方 Hugging Face 仓库无门槛且真实含 819.13 GB、25,391 个文件和 2,821 个样本根目录，代码仓 Apache-2.0；但当前下载物无法独立核实论文所称 2,000 小时和 8,000+ 任务，论文的数据分析本身只抽取约 100 小时，HF 数据卡许可证是 other、预览因 schema 不一致失败，仓库 Apache 许可明确不覆盖数据。应收录并重点提醒许可/数据质量风险，不进入严格里程碑。

实机证据：real_human_egocentric_capture_without_quantified_robot_policy_deployment；这是现实环境人类第一视角数据，不是真机机器人轨迹。论文提供重建、重定向与训练配方，但没有用公开制品报告同一机器人任务的量化成功率或 sim-to-real 损失。

硬件/本体：400+ consumer smartphone models claimed、human egocentric manipulation、robot retargeting adapters in toolchain

红旗与边界：公开下载只能核验 819.13 GB 和 2,821 个样本根，无法由清单独立重建 2,000 小时或 8,000+ 任务；论文的对比分析实际对 Open-AoE/OpenEgo/EgoDex 各使用约 100 小时子集；HF 数据许可证为 other，仓库 Apache-2.0 明确只覆盖原创代码；商用必须阻断；HF 数据预览因样本 schema 不一致失败，批量加载前需做字段归一化与坏样本扫描；MANO 文件需另行注册授权，部分配方包含非商用或禁止演绎的上游组件；没有量化机器人策略训练/实机迁移结果，也没有独立复现

查看资源 · code · 状态 verified_open_fixed_commit · 许可证 Apache-2.0 for original repository source only; third-party components retain separate terms
固定提交 33b8976a72a87b3856cf1462c1371f0366e06ca2，698 个受控文件、206 个 Python 文件；compileall 通过。LEGAL.md 要求另取 MANO，H-RDT 路线还依赖 CC-BY-NC-ND 4.0 的 HaWoR；上游模型和资产不随仓库分发。
weights · 状态 not_released_uses_upstream_models · 许可证 mixed_upstream_model_terms
仓库提供适配/补丁，不包含下游基础权重。
查看资源 · data · 状态 download_verified_license_missing_and_viewer_schema_failure · 许可证 Hugging Face card declares other; no dataset-specific license text was found; repository Apache-2.0 does not cover dataset distribution
固定 revision a6e75ab38dce462fc710c624f4fa492059b71e01，无门槛、非私有；25,391 个条目、819,130,770,170 bytes，含 8,463 JSON、8,463 MP4、5,642 NPZ、2,821 PNG，对应 2,821 个样本根目录。HF viewer 因跨样本 schema 不一致报 ArrowInvalid。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。