论文记录 · 证据边界公开

EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos

arXiv · 2026-06-21 · 灵巧手与视觉触觉操作

论文元数据

作者: Yifan Zhong、Zhang Chen、Tianrui Guan、Fanlian Zeng、Yuyao Ye、Tianjia He、Ka Nam Lui、Jiayi Li、Tingrui Zhang、Ruilin Yan、Xinhao Ji、Guangyu Zhao、Wenjie Lou、Jiayuan Zhang、Yuanpei Chen、Yaodong Yang
机构: Peking University、Beijing Academy of Artificial Intelligence
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.09701
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 存在链接线索，尚未核验官方性与可运行性
数据: 未核验
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 79/100 · 0–6 个月

路线标签：颠覆性分支、可能成为新主流

社区证据类型：尚无独立社区验证

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–6 个月窗口。
社区可复查验证 · 6/25
人工复核“社区复现”2/5；未附显式可复查社区证据，本维度封顶 6/25。
跨领域技术创新 · 20/20
沿用人工复核“泛化”10/10。
量化实机证据 · 10/10
沿用人工复核“真机证据严谨性”15/15。
开放与可复现 · 4/5
沿用人工复核“开放与复现”13/15。
工程实用增量 · 4/5
沿用人工复核“同类量化增量”18/20。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 for EgoSmith code; HaWoR and MANO include research or non-commercial restrictions · 最近核验 2026-07-21
依赖：CUDA 12.8、PyTorch 2.8、DPVO、Any4D、HaWoR、MANO assets downloaded separately、WebDataset；硬件/传感器：GPU pipeline、multi-GPU and multi-host scripts、CPU decode plus GPU compute；实机证据：pipeline produces human-video pretraining data; it does not itself operate a robot；开放范围/限制：420 tracked files and about 57,573 code lines reproduce the curation pipeline, not the curated 9.6K-hour corpus. Dependency licenses can block commercial use even though EgoSmith's own code is Apache-2.0.
官方代码 · 许可证 Apache-2.0; third-party notices apply · 最近核验 2026-07-21
依赖：Python 3.10、CUDA 12.8、PyTorch 2.10、FlashAttention、Qwen3-VL-2B-Instruct、DINOv3、WebDataset；硬件/传感器：multi-GPU training infrastructure、GPU policy server、RealMan robot out-of-box path、G1 extension path；实机证据：paper reports 40-task RealMan and long-horizon RealMan/AgiBot G1 results; repository includes serving/deployment instructions；开放范围/限制：93 tracked files and about 16,072 code lines implement the model stack. A small example dataset is available, but the full 9.6K-hour and 187-hour corpora are not public, so end-to-end reproduction is incomplete.
官方代码 · 许可证 Apache-2.0; hardware SDK and SteamVR terms apply separately · 最近核验 2026-07-21
依赖：ROS 2、Docker、SteamVR/OpenVR、RealSense、robot arm and hand SDKs、EgoSteer model server；硬件/传感器：RealMan RM75-6F、Ruiyan RY-H2 hands、RealSense D455 head/chest cameras、Vive trackers、data gloves；实机证据：paper uses the stack for 187 hours of collection and DAgger correction; repository includes mock observation flow and actuator replay modes；开放范围/限制：185 tracked files and about 19,938 code lines are substantial. Hardware serial configuration, proprietary devices, SDKs and the unreleased full dataset still prevent low-friction reproduction.
官方权重 · 许可证 Apache-2.0 on model card; Qwen3-VL and DINOv3 upstream terms also apply · 最近核验 2026-07-21
依赖：EgoSteer code、Qwen3-VL-2B-Instruct、DINOv3；硬件/传感器：CUDA GPU; exact minimum VRAM is not documented；实机证据：base weight is intended for downstream fine-tuning, not off-the-shelf hardware deployment；开放范围/限制：The weight exists and is licensed, but reproducing its 9.6K-hour pretraining is impossible until the claimed full human-video dataset is released.
官方权重 · 许可证 Apache-2.0 on model card; Qwen3-VL and DINOv3 upstream terms also apply · 最近核验 2026-07-21
依赖：EgoSteer model server、EgoSteer Robot Stack、matching RealMan observation/action configuration；硬件/传感器：RealMan RM75-6F and Ruiyan RY-H2 reference embodiment、GPU inference server；实机证据：paper reports the 40-task hardware evaluation; no independent deployment reproduction is yet available；开放范围/限制：The RealMan weight is public and deployable through the released stack, but calibration, hardware-specific assets and the original training data are not bundled.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

EgoSteer 将 EgoSmith 人类第一视角数据管线、真机遥操作/DAgger 栈与世界模型增强 VLA 组合成完整系统。论文报告 9.6K 小时、2.09M episodes、1.04B frames 的人类视频预训练，187 小时/193 任务真机数据和 8.3 小时纠错；40 任务每项 10 次随机测试平均 75%，未见任务 62%，两项长程跨本体任务各 24 次达到 75%/83%。三个 Apache-2.0 仓库和两套约 5.58GB 权重真实开放，但所谓完整数据在 Hugging Face 组织中没有公开 dataset 仓，只有小样例入口，必须标为承诺未兑现。

实机证据：quantified_40_task_and_two_long_horizon_embodiment_evaluation；32 已见＋4 组合＋4 未见任务，每项 10 次随机试验，平均 75%，组合 65%、未见 62%；box folding 与 cake unboxing 各 24 次，EgoSteer 75%/83%，DP/IMLE/从零训练均为 0。

硬件/本体：RealMan RM75-6F、AgiBot G1、Ruiyan RY-H2 hands、RealSense D455 head/chest cameras

红旗与边界：论文声称完整数据开源但公开组织暂无数据仓；人类视频由 12 个上游数据集混合，许可证需逐源审查；EgoSmith 依赖含非商业/研究许可；基线使用不同动作表示与分辨率，不能把 74% 对 22/39% 视为单一模型公平增量；无独立复现

查看资源 · code · 状态 official_full_model_training_inference · 许可证 Apache-2.0
固定提交 1a600b3ad531a1ef22d3e5fe1e0c57c3d7d20573，93 文件、约 16,072 行代码，含训练、评测、服务、RealMan/G1 接口与 Docker。
查看资源 · code · 状态 official_data_curation_pipeline · 许可证 Apache-2.0_code_dependencies_include_noncommercial
固定提交 9548b0a9385c2ed4b9a8a599ccbba8a8eda3072e，420 文件、约 57,573 行代码；MANO/HaWoR 等依赖含研究或非商业限制。
查看资源 · code · 状态 official_realman_teleop_inference_correction_stack · 许可证 Apache-2.0
固定提交 5a9b70c2e296bdcb356fe6d193574d680a5ae732，185 文件、约 19,938 行代码，含 RealMan 遥操作、推理、回放与 mock 流。
查看资源 · weights · 状态 public_weight_verified · 许可证 Apache-2.0
固定修订 03aa267334f3108a081fea43c4aa51ca68deeb7c，约 5.58GB，非 gated。
查看资源 · weights · 状态 public_weight_verified · 许可证 Apache-2.0
固定修订 7bb5b2ef038f0fc4ad8e6aae7310683419e3c4ed，约 5.58GB，非 gated。
查看资源 · data · 状态 announced_but_no_public_dataset_repository · 许可证 not_disclosed
截至核验时 Hugging Face API 未返回 EgoSteer 公开数据集；代码仅提供小样例下载，9.6K 小时与 187 小时完整数据未可下载。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。