论文记录 · 证据边界公开

RoboVista: Evaluating Vision Language Models for Diverse Robot Applications

RSS 2026 · 2026-07-06 · 视觉识别

论文元数据

作者: Shuangyu Xie、Kaiyuan Chen、Ziyang Chen、Simeon Adebola、Yixuan Huang、Zehan Ma、Tianshuang Qiu、Wentao Yuan、Dhruv Shah、Pannag R. Sanketi、Ken Goldberg
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 视觉识别
机器人: ALOHA bimanual platform、da Vinci Research Kit
DOI: 未披露
arXiv: 2607.04610
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 存在链接线索，尚未核验官方性与可运行性
权重: 未核验
数据: 存在链接线索，尚未核验官方性与可运行性
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 74/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、机器人视觉推理评测基础设施技术2.0·近期热门

社区证据类型：尚无独立社区验证

474条高分辨率机器人视频问答把空间、时间、因果和物理推理分开评分；代码和约1.10GB数据真实可取，但代码无许可、聚合视频上游权利需逐项核验。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 5/25
固定代码和固定数据修订可下载并核对规模；尚无独立榜单复算。
跨领域技术创新 · 18/20
机器人视频、时空因果物理推理和可解释评测协议结合。
量化实机证据 · 7/10
数据包含ALOHA和dVRK等真实平台，并报告与机器人结果相关性；它不是闭环控制策略。
开放与可复现 · 4/5
数据卡声明Apache-2.0且数据可取；代码仓无LICENSE，上游视频权利仍需审核。
工程实用增量 · 5/5
可低成本审计VLM是否真正理解机器人视频，而非只看通用问答。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；代码无许可证；62个上游来源权利需逐项核验；数据卡代码链接失效；无独立复算；不是控制数据集

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 No repository license declared · 最近核验 2026-07-22
依赖：Python 3、datasets>=2.14.0、gradio>=4.0.0、httpx、Pillow、tqdm、OpenAI-compatible VLM endpoint or local vLLM/SGLang server；硬件/传感器：no robot required for offline benchmark execution、API-backed evaluation can run without local accelerator、local VLM GPU and memory depend on the evaluated model；实机证据：The paper correlates benchmark behavior with physical ALOHA alignment and dVRK knot-tying studies; the public harness itself is an offline VQA evaluator, not a physical robot controller.；开放范围/限制：Source can be audited and executed but has no LICENSE. The dataset card currently points its Code link to a different 404 repository, and the paper/project versus dataset-card leaderboards use evolving scoring conventions; pin the commit, dataset revision and blacklist before comparison.
官方数据集 · 许可证 Apache-2.0 declared by dataset card; upstream image-source rights unresolved as a single aggregate license · 最近核验 2026-07-22
依赖：Python、Hugging Face datasets、PyArrow/Parquet、Pillow for embedded images、approximately 1.2 GB local storage before caches and results；硬件/传感器：no robot required for dataset inspection、VLM evaluation can use an API or local accelerator、the paper's physical correlation experiments require separate ALOHA and dVRK systems and are not reconstructed by the dataset alone；实机证据：The 474 questions contain images curated from real robot applications, papers and open datasets, but they are VQA records rather than executable trajectories. Physical ALOHA/dVRK correlation experiments remain author evidence.；开放范围/限制：Apache-2.0 is declared at the aggregate dataset card, but images are curated from 62 publication and dataset sources including DROID, Open X-Embodiment and AgiBot. Users must audit each upstream image/data permission, attribution and redistribution restriction rather than assuming one aggregate declaration clears all source rights.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

RoboVista把六类机器人应用中的决策点整理为474道专家VQA，公开约1.1GB Parquet数据和可运行评测器，补足农业、工业、手术等非端到端轨迹场景。物理ALOHA与dVRK试验只验证VLM分数与执行相关性，不是机器人控制策略；数据卡声明Apache-2.0但图像来自62个论文/数据来源，逐源复用权利需单独审计，且数据卡当前Code链接404。

实机证据：physical_robot_correlation_study_not_control_policy；作者用ALOHA双臂距离对齐和dVRK闭环打结检查基准得分与真实任务表现的相关性；它验证评测预测性，不等同于VLM直接控制机器人的成功率。

硬件/本体：ALOHA bimanual platform、da Vinci Research Kit

红旗与边界：GitHub代码无许可证；数据卡Code链接指向404仓库；474条中当前评分口径排除14条；图像上游许可需逐源核验；物理试验是相关性研究非控制策略；无独立复现

查看资源 · code · 状态 source_available_unlicensed_fixed_commit · 许可证 No repository license declared
固定提交b4fa27b含OpenAI兼容API评测器、prompt、Gradio viewer和requirements；没有LICENSE。
查看资源 · data · 状态 downloadable_parquet_fixed_revision_apache2_declared · 许可证 Apache-2.0 declared by dataset card; upstream image-source rights require separate review
固定修订75aa572含474条、三分片Parquet、约1.10GB下载/1.17GB解包；数据卡声明Apache-2.0。图像来自论文与DROID/Open X/AgiBot等来源，不能由聚合许可自动覆盖所有上游权利。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。