论文记录 · 证据边界公开

Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos

ICRA 2026 · 2025-10-24 · 通用或轻量 VLA

论文元数据

作者: Qixiu Li、Yu Deng、Yaobo Liang、Lin Luo、Lei Zhou、Chengtang Yao、Lingqi Zeng、Zhiyuan Feng、Huizhi Liang、Sicheng Xu、Yizhong Zhang、Xi Chen、Hao Chen、Lily Sun、Dong Chen、Jiaolong Yang、Baining Guo
机构: Microsoft Research
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: Intel RealSense D455、Realman RM75 7DoF arm、XHand 12DoF dexterous hand
DOI: 10.48550/arXiv.2510.21571
arXiv: 2510.21571
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验可访问（使用限制见许可证）
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

观察 · 57/100 · 7–12 个月

研发注意力：42/80 · 证据分项观察

工程落地：10/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：通用VLA主流迭代·人类活动视频预训练·真机手臂灵巧手微调

社区证据类型：尚无独立社区验证

代码、3B模型与带标定字段的真机 TeleData 已可核验，适合验证“人类视频预训练能否降低机器人微调数据量”的路线；其证据仍限于作者协议和右臂手臂—灵巧手平台，不能外推为人形全身或社区已验证方案。

近期窗口 · 24/35
发布距评分基准日 10 个月，落入 7–12 个月窗口。
社区可复查验证 · 0/25
本轮未定位到符合固定版本、硬件/依赖与量化指标要求的独立VITRA复现；官方发布不计为社区验证。
跨领域技术创新 · 18/20
把真实人类活动视频预训练、视觉语言动作建模与具外参/法兰变换字段的真实手臂—灵巧手微调数据连接到同一路线。
量化实机证据 · 6/10
论文报告少量真实机器人动作微调的成功率与新物体泛化改善；当前人工审计未将作者表格外推为跨本体或独立实机结论。
开放与可复现 · 5/5
MIT代码、可下载3B权重和5.57GB MIT TeleData均已核验；PaliGemma2基础访问与人类视频上游许可仍须单独处理。
工程实用增量 · 4/5
官方说明Python 3.10+、CUDA 11.8+/12.1+、至少16GB推理显存，并给出HDF5状态/动作和MP4 RGB的TeleData格式；完整预训练仍建议A100/H100。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无独立团队的任务级真机复现、固定提交和失败报告；VITRA-1M处理人类视频的逐源许可、过滤和可下载闭包未在本次审计完成；TeleData当前仅右臂字段实际发布，不能直接证明双臂、人形全身或轮臂迁移；基础PaliGemma2的访问/许可与VITRA MIT条款必须分别确认；没有经过同数据、同动作空间和同硬件约束的VLA横评

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

VITRA 将未标注的真实人类第一视角手部视频自动转换为与机器人 VLA 训练对齐的图像—语言—动作序列，并公开 VITRA-1M（1,222,918 episodes）、MIT 许可的 3B VLA 权重和官方训练/微调代码。后续还公开了 7DoF Realman Arm + 12DoF XHand + D455 的 5.57GB 真机遥操作数据，包含 HDF5 状态/动作、逐 episode 标定和同步 RGB。它是“人类视频到机器人动作”及低成本跨本体预训练的开放工程基础设施；人类视频预训练和单一 XHand 微调不等同于已证明对人形全身、轮臂或五指手的通用迁移，且 VITRA-1M 上游视频权利需要逐源遵守。

实机证据：official_real_robot_finetuning_and_deployment_stack_documented；论文报告少量真实机器人动作数据微调改善任务成功与新物体泛化；官方 TeleData 公开当前右臂 HDF5+MP4 轨迹及逐 episode 标定。公开卡未提供可直接横比于人形全身/轮臂的统一成功率表。

硬件/本体：Realman RM75 7DoF arm、XHand 12DoF dexterous hand、Intel RealSense D455

红旗与边界：VITRA-1M 由多个上游人类视频源构成，商业与再分发权利不能由 MIT 代码/权重许可证替代；VITRA-VLA-3B 基础模型 Paligemma2 可能需要单独访问许可；当前公开 TeleData 仅右臂，双臂字段为格式兼容预留；未验证独立团队实机复现；不能把 XHand 迁移结果外推成人形全身、轮臂、轮足或五指手通用结论

查看资源 · code · 状态 open_source · 许可证 MIT
官方仓包含人类视频预训练、零样本推理、机器人数据微调和 XHand 部署说明；根 LICENSE.txt 为 MIT。
查看资源 · weights · 状态 verified_downloadable · 许可证 MIT
官方 Hugging Face 模型卡公开 VITRA-VLA-3B、标注 3B 参数和 MIT 许可；基础 Paligemma2 的访问权另行要求，不可忽略。
查看资源 · data · 状态 verified_downloadable_real_robot_finetuning_dataset · 许可证 MIT
官方 TeleData 数据卡公开 5.57GB 真机遥操作集、HDF5+MP4、逐 episode 外参与状态/动作；VITRA-1M 的处理后标注可下载，但原始 Ego4D、EPIC、EgoExo4D 等上游视频仍受各自条款约束。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。