论文记录 · 证据边界公开

VLATest: Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation

Proceedings of the ACM on Software Engineering, FSE 2025 · 2025-06-19 · 通用或轻量 VLA

论文元数据

作者: Zhijie Wang、Zhehua Zhou、Jiayang Song、Yuheng Huang、Zhan Shu、Lei Ma
机构: The University of Tokyo、University of Alberta
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: simulated robotic manipulation arms in ManiSkill2 real2sim environments
DOI: 10.1145/3729343
arXiv: 2409.12894
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

每日候选人工终审

VLATest 是 VLA 从“报告单一成功率”转向可生成扰动场景、系统性暴露可靠性问题的一项工程评测基础设施。论文与作者官方仓库均可核验；固定提交包含复现实验包、JSON 测试场景、Docker/本地安装路径及 RT-1、OpenVLA、Octo 等上游策略的推理接入说明，且仓库 LICENSE 为 MIT。它适合进入“通用或轻量 VLA／标准泛化与失效诊断”横评，用来记录视觉、语言、位置、物体、背景等扰动下的失效发现能力和部署成本。它不是新的机器人控制模型：仓库不随项目发布通用 VLA 权重；测试基于 ManiSkill2 real2sim 机械臂操作环境，不能外推为人形、足式、轮臂、轮足、五指触觉或真实现场的独立证据；README 所列 RT-1/OpenVLA/Octo checkpoint 与其条款必须逐项另审。

实机证据：no_project_specific_physical_robot_result_verified；本次仅核验仿真复现实验与测试基础设施。没有核验到 VLATest 团队在实体机械臂、人形、足式、轮臂、轮足、灵巧手或触觉平台上的独立完成实验；不得把 real2sim 名称、上游模型论文或 README 操作说明写成实机证据。

硬件/本体：ManiSkill2 real2sim manipulation environments

红旗与边界：该条目是评测/失效诊断框架，不是一个新增 VLA、WAM、世界模型或可直接部署的机器人策略；MIT 仅核验仓库；RT-1、OpenVLA、Octo、SimplerEnv、ManiSkill2 real2sim、Docker 镜像、场景资产及其权重/数据/容器条款必须分别审计；README 的 CUDA/NVIDIA GPU 等是文档部署前提，不是吞吐、显存、实时性或现场硬件成本的量化保证；未核验项目团队独立实体实验；仿真结果、上游模型论文和 real2sim 名称不得替代人形或真机证据；只有机器人、任务、观测、动作、策略版本、扰动分布和评测分母一致时才可横比失效或成功率

项目关系/同名消歧：oa-w4411449683
现有记录仅有 DOI/OpenAlex 元数据。arXiv 2409.12894 是同一工作早期公开版本；应归并到同一 VLATest 项目时间线，而不是重复创建论文卡片。

查看资源 · paper · 状态 verified_public_primary_preprint_with_artifact_link · 许可证 arXiv article terms; not a code, model or dataset licence
arXiv 页面和论文将 VLATest 定义为针对 VLA 机械臂操作的生成式测试框架，并链接可复现实验包。
查看资源 · paper · 状态 verified_published_fse_2025_record · 许可证 publisher terms not treated as an artifact licence
DOI 对应 FSE 2025 正式记录；正式出版不改变开源代码、上游权重或数据的各自许可边界。
查看资源 · code · 状态 official_public_fixed_commit_replication_package · 许可证 MIT repository LICENSE verified at the inspected main revision
固定提交公开；README 提供本地与 Docker 安装、JSON 测试场景、最小推理示例和多个上游 VLA 的推理配置。仓库基于 SimplerEnv 与 ManiSkill2 real2sim；这些依赖及其资产须按各自版本和许可证安装。
查看资源 · data · 状态 public_repository_bundled_generated_testing_scene_json · 许可证 MIT for repository content as declared; upstream simulator assets and model data are not thereby relicensed
仓库 README 明确把生成测试场景以 data/ 下 JSON 文件提供；本次核验的是可获取的场景包入口，未将其误写为大型真机训练数据集。
weights · 状态 project_does_not_release_a_new_general_vla_checkpoint · 许可证 not applicable to a VLATest-owned model checkpoint
项目通过 RT-1 系列、OpenVLA、Octo 等已有策略进行测试；README 的下载/配置说明不等于 VLATest 发布了这些模型权重，也不等于其上游权重可商用或可离线部署。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。