论文记录 · 证据边界公开

Active Real-World Factor-Based Evaluation for Generalist Robot Policies

arXiv · 2026-07-16 · 通用或轻量 VLA

论文元数据

作者: Andrew Liao、Hanchen Cui、Karthik Desingh、Aryan Deshwal
机构: University of Minnesota Twin Cities
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.14439
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 69/100 · 0–1 个月

研发注意力：54/80 · 近期跨域高潜·社区待验证

工程落地：15/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：真实机器人评测基础设施技术2.0候选

社区证据类型：尚无独立社区验证

2,331 个 UR5e 真机配置建立完整因素地面真值，Deep Ensemble+BALD 在 100 次预算中通常省 20–40 次 RMSE 试验；但主动收益是事后离线重采样、无代码/数据且只覆盖 π0 三任务，暂列高潜。

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–1 个月窗口。
社区可复查验证 · 0/25
无评测数据、实现、预注册协议、任务权重或独立复现。
跨领域技术创新 · 19/20
把 Bayesian 主动学习、结构化因素设计、连续任务进度和真实机器人策略评测结合为样本高效评估方法。
量化实机证据 · 10/10
UR5e 完整执行 2,331 个配置，每次约 1 分钟，因素和任务进度定义清楚；主动选择比较在结果池上离线完成。
开放与可复现 · 0/5
无代码、2,331 条结果、示范、LoRA 权重、任务配置或许可证。
工程实用增量 · 5/5
100 次预算通常少 20–40 次达到随机 RMSE、少 50–65 次达到随机 log-likelihood，可直接用于评测预算设计。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；主动选择为离线重采样；固定配置随机性假设；仅UR5e/π0/三任务；因素范围有限；无开放制品；人工进度标签；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

该工作把真实机器人评测建模成结构化因素空间上的主动实验设计，在 UR5e 上完整执行 2,331 个配置，再离线比较主动选择与随机抽样；100 次预算内通常少 20–40 次即可达到随机测试的最佳 RMSE，预测对数似然可少 50–65 次，是应对 VLA 小样本评测偏差的重要基础设施路线。优点是连续任务进度、121 物体位置、三机位和三桌高的因素边界清楚；缺点是主动选择并未在线节省本研究的 2,331 次真机采集、策略仅 π0/UR5e 三任务，而且没有代码、评测数据或预注册协议。

实机证据：quantified_full_factor_grid_on_ur5e_then_offline_active_sampling；三任务分别 804、804、723 个有效配置，共 2,331 次、每次约 1 分钟。对象位置 11×11、桌高 1/2/3 英寸、场景相机 Right/Back-right/Back；主动与随机测试从完整真机结果离线无放回抽样，30 点 warm start，100 次预算内 RMSE 通常省 20–40 次、log-likelihood 省 50–65 次。

硬件/本体：UR5e robot arm、scene camera、wrist camera、π0 policy

红旗与边界：主动测试收益是对完整 2,331 次真机结果的离线重采样，本研究本身未节省采集；固定配置下假设策略随机性可忽略，没有重复执行估计方差；只有 UR5e、π0、三项桌面任务；因素范围较窄且照明/朝向等保持固定；没有代码、数据、任务权重、预注册或许可证；连续进度标签含人工主观性；无独立复现

code · 状态 not_released_or_linked · 许可证 not_disclosed
无官方实现、任务配置、BoTorch 脚本或许可证。
data · 状态 2331_evaluation_outcomes_not_released · 许可证 not_disclosed
2,331 个真实结果、因素网格、标签和重复性数据没有开放。
weights · 状态 task_lora_weights_not_released · 许可证 external_pi0_and_openpi_terms
三项任务的 π0 LoRA 权重及 120/136/160 条示范未发布。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

人工终审论文来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 low · 模型 glm-5.3 · 更新 2026-09-03T06:12:30Z

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-03T06:12:30Z