EgoSteer Egocentric & RealMan Training Corpus

EgoSteer 报告 9.60K 小时、2.09M episodes、1.04B frames 的人类第一视角预训练语料，以及 187 小时/193 任务的 RealMan 真机后训练数据。官方已开放三套 Apache-2.0 代码、两份约 5.58GB 的 3B 权重和一个 2.814GB 示例 ZIP；但完整 9.6K 小时与 187 小时语料没有公开数据仓库，不能被‘open-source system’措辞替代。

开放状态: 样例已核验·完整语料未开放
许可证: 三套代码与两个模型卡为 Apache-2.0；Google Drive 示例包没有单独数据许可证；组成 9.6K 小时语料的 12 个上游数据集和 187 小时真机语料条款未发布
商业使用: 代码/权重按各自 Apache-2.0 条款；训练数据商用阻断，需示例包专用许可与 12 个上游语料逐源授权
人工评审结论: sample_zip_code_and_weights_verified_complete_training_corpora_unreleased
机器人: RealMan dual-arm mobile robot、Unitree/AgiBot G1 embodiment shown for adaptation、human egocentric-video embodiment
任务: 人类预训练 12 个来源数据集；真机 193 个桌面任务，含56个常见与137个长尾任务；公开样例仅 Dexterous_grasping
模态: head/chest RGB、optional depth、camera intrinsics/extrinsics、world-frame wrist poses、five-fingertip keypoints、next-frame actions、language instructions、DAgger intervention flag
格式: WebDataset TAR；每帧 image.jpg、可选depth.npy/chest_*、lowdim.npy、meta.json；示例包含 VLA 与 VLM train/val shards
采集/生成方式: EgoSmith 自动处理12个第一视角视频源＋SynGlove-Air/Vive Tracker 遥操作＋共享 Robot Stack 的 DAgger 人在环纠错
已知问题: HF EgoSteer 数据组织页目前显示无公开数据集；2.814GB 示例只覆盖 Dexterous_grasping，不是9.6K小时/187小时语料；示例包无独立许可证；训练需PyTorch 2.10/CUDA12.8/FlashAttention/Qwen3-VL/DINOv3并依赖多GPU FSDP；无独立复现。

论文原文 · 项目官网 · EgoSteer代码 · EgoSmith数据流水线 · Robot Stack · 官方模型组织 · 官方数据组织（当前无公开数据集）