论文记录 · 证据边界公开

Diffusion Timestep Modulated Reinforcement Learning

Robotics: Science and Systems 2026 (official project page) · 2026-05-12 · VLA后训练、在线强化学习探索与真实机器人少样本适应

论文元数据

作者: Matthew M. Hong、Jesse Zhang、Anusha Nagabandi、Abhishek Gupta
机构: University of Washington、Amazon Frontier AI and Robotics
发布日期精度: 日
研究方向: VLA后训练、在线强化学习探索与真实机器人少样本适应
机器人: Franka、WidowX 250
DOI: 10.48550/arXiv.2605.12236
arXiv: 2605.12236
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验可访问（使用限制见许可证）
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

当前可实践 · 67/100 · 2–3 个月

研发注意力：50/80 · 近期跨域高潜·社区待验证

工程落地：12/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：VLA后训练主流迭代·扩散时步调制探索·真机少样本适应

社区证据类型：尚无独立社区验证

TMRL 提供可固定版本审计的 Apache-2.0 训练/评测代码和两个公开 checkpoint，并把扩散策略的探索—执行权衡连接到实体机械臂少样本适应；它是近期 VLA 后训练值得跟踪的工程路线，但还没有独立实体复现、完整任务分母或人形/移动本体证据。

近期窗口 · 32/35
发布距评分基准日 3 个月，落入 2–3 个月窗口。
社区可复查验证 · 0/25
本轮未定位到独立团队在固定提交、匹配硬件和可复查指标下的 TMRL 真机复现；官方代码与项目页不计为社区验证。
跨领域技术创新 · 18/20
把扩散去噪步的探索—保守执行调制、critic-guided online RL、VLA/π0 后训练及 state/point-cloud/image 输入放进同一适应路线；因果贡献仍应在同数据同动作空间下复验。
量化实机证据 · 7/10
官方项目页报告 WidowX 与 Franka 的少样本真实微调和近满成功描述，但本轮未核验完整逐任务分母、置信区间、失败日志或独立重复。
开放与可复现 · 5/5
Apache-2.0 固定代码提交、uv.lock 和两个公开非门控 checkpoint 可审计；BridgeData-v2/DROID、OpenPI、LIBERO-PRO、OGbench 的版本与许可证必须单独取得。
工程实用增量 · 5/5
代码给出 Python 3.11、uv、CUDA 12.x 兼容环境和 recursive submodule 路径，适合离线/仿真复跑；真实接入仍未给出统一时延、控制频率、显存、急停或安全限幅。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无独立团队的同协议真机复现、固定硬件清单、失败轨迹或长期可靠性报告；少于一小时/少于四小时的作者项目页结论缺完整每任务试验分母、种子、置信区间和控制栈细节；BridgeData-v2、DROID、OpenPI、LIBERO-PRO 与 OGbench 的可用性、精确版本、许可和数据处理闭包未由本轮 TMRL 审计继承；无已核验的人形全身、轮足、轮臂、灵巧手、跨相机或跨动作空间结果；无统一部署延迟、GPU/显存、网络抖动、限幅、急停与安全接口证据，不能作为直接量产方案

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

TMRL（Diffusion Timestep Modulated Reinforcement Learning）把扩散动作策略的不同去噪步用于探索与保守执行，并以 critic-guided exploration 做在线 RL 后训练；它直接面向 VLA/扩散策略在真实机器人少样本适应中常见的探索稳定性问题。官方项目页报告：在 WidowX 平台的 sausage-in-pot 与 shrimp-in-drawer，以及 Franka 平台的任务上，context-smoothed π0 微调达到接近满成功率，其中 WidowX 少于一小时、Franka 少于四小时；论文作者还报告 state、point cloud、image 输入与仿真基准。官方 Apache-2.0 仓库固定提交包含训练、LIBERO-PRO/OGbench 评测、OpenPI 接口、uv.lock 与 submodule 声明；官方 Hugging Face 上有可公开访问、非门控的 Bridge 与 LIBERO checkpoint。它可作为“VLA 后训练/在线探索”的主流迭代候选，但外部 BridgeData-v2/DROID 数据、OpenPI 与各 submodule 另有版本/许可闭包，真实结果暂无独立团队复现、逐任务分母、失败日志或人形/轮足/轮臂证据，故不能列入社区验证、通用人形控制或直接量产部署排行。

实机证据：author_reported_real_robot_finetuning_without_full_trial_denominators；项目页称三项真实任务的 context-smoothed π0 微调接近完美，WidowX 两项少于一小时、Franka 少于四小时；当前未核验到完整每任务分母、失败轨迹、置信区间、视频全集或独立复现。

硬件/本体：WidowX 250、Franka、RGB/point-cloud/state inputs as reported by paper

红旗与边界：No independent task-level real-robot reproduction, fixed-hardware deployment report, trial denominator, failure corpus or long-duration reliability study located at review time.；Project-page near-perfect and under-one-hour/under-four-hour statements are author-reported aggregate claims; they do not establish cross-robot, humanoid, wheel-legged, wheeled-arm, dexterous-hand or commercial generalization.；The official code uses external OpenPI, LIBERO-PRO, OGbench and data dependencies; their revisions, licenses and availability are not inherited from the Apache-2.0 TMRL repository.；The verified Bridge and LIBERO checkpoints do not prove a released DROID checkpoint, complete training-data closure, policy safety interface or real-robot deployment recipe.；Reported simulation and physical results must not be directly ranked against methods using different robot hardware, data, action spaces, control rates or task distributions.

查看资源 · paper · 状态 verified_primary_paper_v2 · 许可证 arXiv article terms
v1 于 2026-05-12 提交，v2 于 2026-08-12 更新；摘要说明可处理 state、point cloud 与 image 输入及真实机器人微调。
查看资源 · project · 状态 verified_official_project_page · 许可证 not disclosed
官方 RSS 2026 项目页报告 context-smoothed π0 在 WidowX 与 Franka 的少样本真机微调结果；项目页属于作者报告，不是独立复现。
查看资源 · code · 状态 verified_official_source_fixed_revision · 许可证 Apache-2.0
固定提交含 tmrl、tmrl_openpi、LIBERO_PRO、ogbench、训练/评测脚本、requirements 与 uv.lock；README 要求 recursive clone，外部 submodule 需分别取得。
查看资源 · weights · 状态 verified_public_nongated_checkpoint_fixed_revision · 许可证 Apache-2.0 (model card metadata)
官方 Bridge checkpoint 页面可读、非门控；具体模型用途、上游数据与部署兼容性仍需按仓库版本核验。
查看资源 · weights · 状态 verified_public_nongated_checkpoint_fixed_revision · 许可证 Apache-2.0 (model card metadata)
官方 LIBERO checkpoint 页面可读、非门控；其许可不覆盖仓库外的基座、评测资产或真实机器人数据。
data · 状态 external_upstream_datasets_required_not_released_by_tmrl · 许可证 must verify separately
项目页/代码引用 BridgeData-v2 和 DROID；本轮未把它们记为 TMRL 发布的数据集，也未将其下载、许可或处理闭包计为已核验。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。