论文记录 · 证据边界公开

Foresight: Failure Detection for Long-Horizon Robotic Manipulation with Action-Conditioned World Model Latents

arXiv / under review · 2026-06-22 · 通用或轻量 VLA

论文元数据

作者: Haoran Zhang、Yifu Lu、Boyang Wang、Xuhui Kang、Yen-Ling Kuo、Zezhou Cheng、Mengdi Wang、Odest Chadwicke Jenkins
机构: University of Michigan、Princeton University、University of Virginia
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2606.23085
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 63/100 · 2–3 个月

研发注意力：50/80 · 近期跨域高潜·社区待验证

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：技术改进版

路线评审说明：WAM安全监测技术改进版·长时任务故障检测·待开放

社区证据类型：尚无独立社区验证

Foresight 将动作条件世界模型潜变量、因果Transformer故障检测与功能保形预测连接起来，覆盖长时仿真、ReactorX和Franka作者实机检测。它对VLA/WAM部署监测有直接研究价值，但官方项目页仍为Code (TBD)，没有训练、权重、数据或安全恢复闭包；真机结果衡量检测ROC-AUC而非任务成功。因此保持观察优先级，等待可复查制品和独立部署后再升级。

近期窗口 · 32/35
发布距评分基准日 2 个月，落入 2–3 个月窗口。
社区可复查验证 · 0/25
未发现官方可运行制品或无关团队的复现、部署记录、指标核验和失败报告。
跨领域技术创新 · 18/20
动作条件世界模型、V-JEPA 2-AC潜变量、轨迹级弱监督、因果Transformer、功能保形预测、长时操作与多种VLA策略监测连接为一条路线；未证明触觉、全身控制或导航安全闭环。
量化实机证据 · 9/10
作者报告ReactorX上ACT、pi0.5、SmolVLA各三任务每任务40条，外加Franka/GR00T N1.5的44条，共404条真机轨迹，并列跨策略与ReactorX到Franka检测；报警恢复、控制频率、标签审计和独立验证未公开，故不计满。
开放与可复现 · 0/5
官方项目页明确Code (TBD)，未核验代码、权重、数据、容器、配置、许可证或真实日志。
工程实用增量 · 4/5
明确提出在重规划步上根据动作条件潜变量和保形阈值触发报警，覆盖四类长时评测；没有可执行接口、计算开销、时延、安全停止或恢复协议。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；Code (TBD)：无官方仓库、权重、数据、容器、配置和许可证；无独立团队复现或可复查部署失败记录；虽披露404条真机轨迹，仍缺失败标签审计、随机种子、传感器标定、报警后恢复与停机安全协议；故障检测指标不能替代策略成功率、真实部署可靠性或安全认证；ReactorX/Franka实验不能外推到人形全身、足式、轮臂轮足或视觉触觉操作

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

Foresight 把 V-JEPA 2-AC 的动作条件预测 latent 作为跨策略长时失败监测接口，再用因果序列模型与函数共形预测控制误报。它覆盖三类仿真长任务和 404 条真机轨迹，是“世界模型作为运行时安全监控器”的重要颠覆性分支；但代码仍标为 TBD，真实部署需要 2×H200 训练且论文明确承认世界模型延迟不适合高反应任务。

实机证据：quantified_404_real_robot_rollouts；ReactorX 上 ACT、π0.5、SmolVLA 各三任务、每任务 40 条，共 360 条；Franka/GR00T N1.5 为 44 条，总计 404 条。Foresight-Transformer 在 ReactorX/ACT、ReactorX/π0.5、Franka/GR00T N1.5 的 ROC-AUC 分别为 0.93±0.01、0.87±0.03、0.89±0.10；跨策略迁移明显不对称。

硬件/本体：ReactorX-200 with RealSense D435、Franka Emika Panda with RealSense D435

红旗与边界：官方项目页代码仍为 TBD；任务专用 AC predictor 需 1–2 张 H200 训练 200 epochs，检测器另需一张 H200；共形保证依赖校准分布与部署分布匹配；跨策略迁移不对称：ACT 训练到 π0.5 接近随机；论文明确指出世界模型计算和延迟限制高频闭环部署；指标是失败检测 ROC-AUC/平衡准确率，不是策略任务成功率

查看资源 · code · 状态 project_page_code_tbd · 许可证 not_disclosed
官方项目页的 Code 按钮明确标为 TBD，没有可下载实现。
weights · 状态 not_released · 许可证 not_disclosed
检测器和任务专用 AC predictor 未发布。
data · 状态 not_released · 许可证 not_disclosed
自采 ManiSkill-Long 与 404 条真机 rollout 未找到公开下载入口。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	ReactorX-200 with RealSense D435; Franka Emika Panda with RealSense D435
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 low · 模型 glm-5.3 · 更新 2026-09-02T17:27:14Z

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-02T17:27:14Z