论文记录 · 证据边界公开

Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning

arXiv preprint · 2026-08-13 · 通用或轻量 VLA

论文元数据

作者: Yao Zhou、Hang Gao、Fengge Wu、Changwen Zheng、Wenwen Qiang
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: LIBERO simulated manipulation、RoboTwin 2.0 simulated bimanual manipulation embodiments
DOI: 未披露
arXiv: 2608.13026
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

每日候选人工终审

Temporal GRPO 针对 outcome-only 的 VLA GRPO 把一次 rollout 的最终优势错误施加到整段动作、从而惩罚已经完成的早期阶段这一 credit aliasing 问题，先生成语义阶段，再编译为有前置依赖且可检测的 credit stage，最后只让已经进入同一阶段的 rollout 互比并将优势分配到相应动作区间。论文在 RoboTwin 2.0 中以相同公开 OpenVLA-OFT SFT warm-start、rollout/环境交互/更新预算和三随机种子比较，作者报告宏观成功率 75.8±0.7%，比最强受控基线 SimpleVLA-RL 的 68.8±0.9 高 7.0 点，且短/中/长与超长三档都提高；LIBERO-Long 的消融进一步把增益定位到首次分歧阶段。它是近期 VLA 后训练中可解释的长程信用分配改进，适合进入“主流 VLA 技术迭代／近期热门／长程操作”横评。但训练阶段依赖 privileged simulator state、预定义线性阶段顺序和 stage predicate，论文也承认分支、重复、恢复或模糊边界会失效；没有作者仓、脚本、stage compiler、RynnBrain-4B prompt、训练配置、权重、真机或独立复现。因此不能列为可复现实机 VLA、通用信用分配结论或人形/轮足表现。

实机证据：simulation_only_no_physical_robot_evidence；论文全部核心实验为仿真 benchmark；没有真机型号、传感器、控制率、接触安全、训练采集、部署成功率、失败模式或独立实机复现。

硬件/本体：RoboTwin 2.0、LIBERO-Long

红旗与边界：没有作者代码、权重、数据、资源许可证、环境锁定或独立复现；以 privileged simulator state 参与 credit construction，不能直接宣称无特权真机可用；预定义线性阶段顺序不适合分支、重复、回退或恢复型长程任务；全部结果是仿真，不是人形、足式、轮足或真实双臂证据；不同基础模型和后训练协议的绝对数字不可混排

查看资源 · paper · 状态 verified_v1_full_html · 许可证 CC-BY-4.0 for the arXiv paper only
arXiv v1 公开 temporal credit 方法、RoboTwin 2.0 任务时程分组、三种子表格、同预算协议、LIBERO-Long 消融以及线性阶段顺序限制。
project · 状态 not_found_in_official_paper_v1 · 许可证 not_disclosed
核验 arXiv HTML 未发现作者项目页、发布公告或 Temporal GRPO 官方资源链接。
code · 状态 not_found_in_official_paper_v1 · 许可证 not_disclosed
未发现作者仓、固定提交、stage compiler、relation detector、RynnBrain-4B stage prompt、训练脚本、环境版本或许可证。
weights · 状态 not_released_by_authors · 许可证 not_disclosed
论文使用公开的 task-specific OpenVLA-OFT SFT checkpoint 作为上游 warm-start，但未发布 Temporal GRPO 后训练 checkpoint；上游权重不构成本文结果权重。
data · 状态 uses_external_benchmarks_no_author_data_release · 许可证 external_benchmark_terms_apply
RoboTwin 2.0 与 LIBERO-Long 为外部 benchmark；本文未发布 candidate-stage、credit-stage、predicate、privileged-state trace、rollout、seed、评估 split 或数据许可。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。