论文记录 · 证据边界公开

EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos

arXiv · 2026-06-21 · 通用或轻量 VLA

论文元数据

作者: Yifan Zhong、Zhang Chen、Tianrui Guan、Fanlian Zeng、Yuyao Ye、Tianjia He、Ka Nam Lui、Jiayi Li、Tingrui Zhang、Ruilin Yan、Xinhao Ji、Guangyu Zhao、Wenjie Lou、Jiayuan Zhang、Yuanpei Chen、Yaodong Yang
机构: Peking University、Beijing Academy of Artificial Intelligence
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.09701
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 已终审官方权重（模型卡与使用边界见下）
数据: 已核验未发布
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 74/100 · 2–3 个月

研发注意力：56/80 · 近期跨域高潜·社区待验证

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0、可能成为新主流

路线评审说明：第一视角视频→跨本体灵巧 VLA·数据策展/纠错闭环·主流技术2.0

社区证据类型：尚无独立社区验证

EgoSteer 将 EgoSmith 人类视频策展、3B 策略、RealMan/G1 部署和 DAgger 纠错串成全栈；官方代码与权重可复查，但完整数据、校准与独立复现未闭合。

近期窗口 · 32/35
发布距评分基准日 2 个月，落入 2–3 个月窗口。
社区可复查验证 · 6/25
代码、权重和多个服务仓库有固定 revision；完整数据和独立部署复现缺失。
跨领域技术创新 · 18/20
把第一视角视频策展、跨本体策略、遥操作和 DAgger 纠错接成全栈。
量化实机证据 · 8/10
论文报告 RealMan 40-task 与 G1 长时结果，但失败分母和原始日志有限。
开放与可复现 · 5/5
模型与核心代码开放；完整训练语料、校准及第三方依赖条款限制复现。
工程实用增量 · 5/5
数据策展/纠错接口可迁移到 G1/H2 受控仿真，不应侵入生产 VLA/WBC。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；完整训练数据未公开；独立复现未报告；真机失败分母与校准文件缺失；第三方数据和硬件许可证需审计

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-03T16:16:00Z

技术标签: 通用或轻量 VLA, VLA, 第一视角视频, 世界模型, 灵巧操作, DAgger, 人形机器人, 数据采集

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

证据材料里未披露这些数值 —— 宁缺勿假, 不填推测值。

已终审工程资源

官方代码 · 许可证 Apache-2.0 for EgoSmith code; HaWoR and MANO include research or non-commercial restrictions · 最近核验 2026-07-21
依赖：CUDA 12.8、PyTorch 2.8、DPVO、Any4D、HaWoR、MANO assets downloaded separately、WebDataset；硬件/传感器：GPU pipeline、multi-GPU and multi-host scripts、CPU decode plus GPU compute；实机证据：pipeline produces human-video pretraining data; it does not itself operate a robot；开放范围/限制：420 tracked files and about 57,573 code lines reproduce the curation pipeline, not the curated 9.6K-hour corpus. Dependency licenses can block commercial use even though EgoSmith's own code is Apache-2.0.
官方代码 · 许可证 Apache-2.0; third-party notices apply · 最近核验 2026-07-21
依赖：Python 3.10、CUDA 12.8、PyTorch 2.10、FlashAttention、Qwen3-VL-2B-Instruct、DINOv3、WebDataset；硬件/传感器：multi-GPU training infrastructure、GPU policy server、RealMan robot out-of-box path、G1 extension path；实机证据：paper reports 40-task RealMan and long-horizon RealMan/AgiBot G1 results; repository includes serving/deployment instructions；开放范围/限制：93 tracked files and about 16,072 code lines implement the model stack. A small example dataset is available, but the full 9.6K-hour and 187-hour corpora are not public, so end-to-end reproduction is incomplete.
官方代码 · 许可证 Apache-2.0; hardware SDK and SteamVR terms apply separately · 最近核验 2026-07-21
依赖：ROS 2、Docker、SteamVR/OpenVR、RealSense、robot arm and hand SDKs、EgoSteer model server；硬件/传感器：RealMan RM75-6F、Ruiyan RY-H2 hands、RealSense D455 head/chest cameras、Vive trackers、data gloves；实机证据：paper uses the stack for 187 hours of collection and DAgger correction; repository includes mock observation flow and actuator replay modes；开放范围/限制：185 tracked files and about 19,938 code lines are substantial. Hardware serial configuration, proprietary devices, SDKs and the unreleased full dataset still prevent low-friction reproduction.
官方权重 · 许可证 Apache-2.0 on model card; Qwen3-VL and DINOv3 upstream terms also apply · 最近核验 2026-07-21
依赖：EgoSteer code、Qwen3-VL-2B-Instruct、DINOv3；硬件/传感器：CUDA GPU; exact minimum VRAM is not documented；实机证据：base weight is intended for downstream fine-tuning, not off-the-shelf hardware deployment；开放范围/限制：The weight exists and is licensed, but reproducing its 9.6K-hour pretraining is impossible until the claimed full human-video dataset is released.
官方权重 · 许可证 Apache-2.0 on model card; Qwen3-VL and DINOv3 upstream terms also apply · 最近核验 2026-07-21
依赖：EgoSteer model server、EgoSteer Robot Stack、matching RealMan observation/action configuration；硬件/传感器：RealMan RM75-6F and Ruiyan RY-H2 reference embodiment、GPU inference server；实机证据：paper reports the 40-task hardware evaluation; no independent deployment reproduction is yet available；开放范围/限制：The RealMan weight is public and deployable through the released stack, but calibration, hardware-specific assets and the original training data are not bundled.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

EgoSteer 将 EgoSmith 人类第一视角数据管线、真机遥操作/DAgger 栈与世界模型增强 VLA 组合成完整系统。论文报告 9.6K 小时、2.09M episodes、1.04B frames 的人类视频预训练，187 小时/193 任务真机数据和 8.3 小时纠错；40 任务每项 10 次随机测试平均 75%，未见任务 62%，两项长程跨本体任务各 24 次达到 75%/83%。三个 Apache-2.0 仓库和两套约 5.58GB 权重真实开放，但所谓完整数据在 Hugging Face 组织中没有公开 dataset 仓，只有小样例入口，必须标为承诺未兑现。

实机证据：quantified_40_task_and_two_long_horizon_embodiment_evaluation；32 已见＋4 组合＋4 未见任务，每项 10 次随机试验，平均 75%，组合 65%、未见 62%；box folding 与 cake unboxing 各 24 次，EgoSteer 75%/83%，DP/IMLE/从零训练均为 0。

硬件/本体：RealMan RM75-6F、AgiBot G1、Ruiyan RY-H2 hands、RealSense D455 head/chest cameras

红旗与边界：论文声称完整数据开源但公开组织暂无数据仓；人类视频由 12 个上游数据集混合，许可证需逐源审查；EgoSmith 依赖含非商业/研究许可；基线使用不同动作表示与分辨率，不能把 74% 对 22/39% 视为单一模型公平增量；无独立复现

查看资源 · code · 状态 official_full_model_training_inference · 许可证 Apache-2.0
固定提交 1a600b3ad531a1ef22d3e5fe1e0c57c3d7d20573，93 文件、约 16,072 行代码，含训练、评测、服务、RealMan/G1 接口与 Docker。
查看资源 · code · 状态 official_data_curation_pipeline · 许可证 Apache-2.0_code_dependencies_include_noncommercial
固定提交 9548b0a9385c2ed4b9a8a599ccbba8a8eda3072e，420 文件、约 57,573 行代码；MANO/HaWoR 等依赖含研究或非商业限制。
查看资源 · code · 状态 official_realman_teleop_inference_correction_stack · 许可证 Apache-2.0
固定提交 5a9b70c2e296bdcb356fe6d193574d680a5ae732，185 文件、约 19,938 行代码，含 RealMan 遥操作、推理、回放与 mock 流。
查看资源 · weights · 状态 public_weight_verified · 许可证 Apache-2.0
固定修订 03aa267334f3108a081fea43c4aa51ca68deeb7c，约 5.58GB，非 gated。
查看资源 · weights · 状态 public_weight_verified · 许可证 Apache-2.0
固定修订 7bb5b2ef038f0fc4ad8e6aae7310683419e3c4ed，约 5.58GB，非 gated。
查看资源 · data · 状态 announced_but_no_public_dataset_repository · 许可证 not_disclosed
截至核验时 Hugging Face API 未返回 EgoSteer 公开数据集；代码仅提供小样例下载，9.6K 小时与 187 小时完整数据未可下载。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-26。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。