论文记录 · 证据边界公开

ChatVLA: Unified Multimodal Understanding and Robot Control with Vision-Language-Action Model

Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing · 2025-11-04 · 通用或轻量 VLA

论文元数据

作者: Zhongyi Zhou、Yichen Zhu、Minjie Zhu、Junjie Wen、Ning Liu、Zhiyuan Xu、Weibin Meng、Ran Cheng、Yaxin Peng、Chaomin Shen、Feifei Feng、Yi Xu
机构: East China Normal University、Midea Group、Shanghai University、Beijing Innovation Center of Humanoid Robotics、Tsinghua University
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: Franka Emika 7-DoF arm、Robotiq gripper、ZED Mini wrist camera、two ZED 2 cameras
DOI: 10.18653/v1/2025.emnlp-main.273
arXiv: 2502.14420
引用元数据: 6
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验可访问（使用限制见许可证）
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

当前可实践 · 65/100 · 7–12 个月

研发注意力：46/80 · 证据分项观察

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：主流 VLA 技术2.0·理解—控制 MoE 统一路线·作者真机可运行

社区证据类型：尚无独立社区验证

ChatVLA 将 Qwen2-VL 视觉语言理解、Phased Alignment、双路 MoE、三相机 15 Hz Franka 操作和 25 项作者真机任务连接为可检查的统一 VLA 路线。MIT 代码和公开权重让其可进入当前实践层，但社区维度不因官方仓、作者项目页或 528 次作者试验而抬高：没有无关团队的固定版本复现，作者轨迹/标定/失败日志也未发布。

近期窗口 · 24/35
发布距评分基准日 9 个月，落入 7–12 个月窗口。
社区可复查验证 · 4/25
固定 MIT 提交、训练/评测入口和公开 checkpoint 可供代码级检查；截至核验日未找到无关团队在固定提交、Franka 硬件与同一任务分母上的量化复现或失败报告。
跨领域技术创新 · 18/20
把视觉语言理解/问答、机器人动作预测、分阶段对齐、MoE 专家隔离、真实三相机操作和多任务长程语言指令连接；未证明触觉、移动导航、全身人形或跨本体迁移。
量化实机证据 · 10/10
论文公开 25 项真实任务与 528 次作者评测；多任务子表给出 ChatVLA 55/107、OpenVLA 20/107、Octo 18/107。硬件和相机/采样率披露充分，但仍为单一作者平台。
开放与可复现 · 4/5
MIT 固定提交含两阶段训练、评测、真机入口和环境定义，ChatVLA 权重公开非 gated；作者 HDF5 轨迹、标定、task split、失败日志、权重许可证、固定 CUDA/GPU 与完整控制桥未公开。
工程实用增量 · 5/5
MoE 与 phased alignment 的消融、25 项真实任务、三相机观测和公开 action-head 提供可执行的理解—控制折衷验证。最低验证应报告端到端时延、动作块、每任务分母、失败类型和相机同步；这些并非论文已披露。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；没有独立团队以固定提交、真实 Franka、同任务分母完成正向或负向复现；作者机器人轨迹、相机/手眼标定、任务 split、失败日志和数据许可证未公开；权重可下载但无模型卡或独立许可证；Qwen2-VL、LLaVA、VLMEvalKit 与机器人硬件各有上游依赖和条款；未披露训练 GPU 型号/显存、推理时延、控制频率、动作块、网络延迟、急停或安全恢复闭环；Franka 固定臂结果不能外推到人形、轮臂、轮足、触觉、移动导航、跨实验室或生产部署

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

ChatVLA 是近期“主流 VLA 技术 2.0”中兼顾视觉语言理解与动作控制的可审计路线：以 Qwen2-VL-2B 为骨干，用先机器人控制、后视觉文本与机器人数据共训的 phased alignment 抑制遗忘，并用双路 MoE 分隔理解/控制 FFN。正式 EMNLP 2025 论文同时报告多模态基准与 25 项作者真机任务；Franka+Robotiq、左右 ZED 2 与腕部 ZED Mini、15 Hz 遥操作数据采集，528 次作者试验。代码仓库、训练/评测脚本和非 gated 权重真实可用，代码为 MIT。它适合进入“统一 VLA 理解—控制/多任务真机操作”横评与近期高权重关注区；但不适用于人形、轮臂或轮足排名：只有单一 7-DoF Franka，真实数据未下载，模型权重无独立许可证，论文没有端侧时延、推理频率、训练 GPU 型号、完整数据量或独立复现。

实机证据：quantified_author_real_robot_single_embodiment；作者报告 25 项真实操作、528 次评测；多任务子表对 ChatVLA 为 55/107，OpenVLA 为 20/107，Octo 为 18/107。该分母仅对应本文的室内桌面、厨房、浴室和玩具场景；没有独立团队复现、长时折衣任务、触觉输入或人形/轮足试验。

硬件/本体：Franka Emika 7-DoF、Robotiq gripper、two ZED 2 cameras、one ZED Mini wrist camera

红旗与边界：权重公开但模型卡和独立许可证为空；作者机器人数据、标定、split、失败日志和数据许可证未发布；528 次和 55/107 是作者单一 Franka 设置，非社区复现；未披露训练 GPU 型号、推理延迟、控制频率、动作块和端侧资源；没有人形、轮臂、轮足、触觉或动态导航证据；仓库 README 的 arXiv 徽标编号错误写作 2502.05855，正式论文、项目页与其他链接均指向正确的 2502.14420；不得用该徽标作身份来源

项目关系/同名消歧：arxiv-2505-21906
DOI 与 arXiv ID 精确匹配既有 ChatVLA 条目；ChatVLA-2 为后续同系工作，建立关系但不把其开放或评测状态反写到本论文。

查看资源 · paper · 状态 verified_peer_reviewed_emnlp_2025_full_text · 许可证 ACL Anthology publication terms
19 页正式论文给出架构、Franka 平台、528 次真机试验、25 项任务、320 GPU-hours、理解基准、局限与试验分子/分母。
查看资源 · project · 状态 verified_official_project_page · 许可证 not applicable
项目页链接论文、代码和模型，并展示作者报告的理解/控制结论；项目媒体不是独立复现。
查看资源 · code · 状态 verified_author_linked_public_fixed_commit_training_evaluation_and_robot_entrypoint · 许可证 MIT for repository-authored code; dependencies retain upstream licenses
固定提交含 conda 环境、两阶段训练脚本、MoE/action head、h5py 数据接口、真机 evaluate_robot.py 和 VLMEvalKit 集成。README 指向同一项目页和权重。
查看资源 · weights · 状态 verified_public_ungated_files_present_without_independent_model_license · 许可证 no model card or independent license declared; Qwen2-VL base model has separate Apache-2.0 terms
HF API 显示公开、非 gated、未禁用，含两分片 safetensors、action-head 参数、config、tokenizer 与 dataset_stats；卡片/许可证字段为空。
data · 状态 robot_demonstrations_not_released; external_llava_and_qwen_dependencies · 许可证 not declared for ChatVLA robot data; external datasets and models require upstream terms
代码要求用户提供 h5py 机器人任务数据，论文只说明 25 项任务与 LLaVA-1.5 的 1:3 共训比例；未发布 15 Hz 真机轨迹、标定、任务 split、成功/失败日志或数据许可。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-15。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	320 GPU-hours
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 medium · 模型 glm-5.3 · 更新 2026-09-01T05:34:22Z

算力与训练档案置信 medium · 模型 glm-5.3 · 更新 2026-09-01T05:34:22Z