论文记录 · 证据边界公开

StageCraft: Execution Aware Mitigation of Distractor and Obstruction Failures in VLA Models

IROS 2026 accepted / arXiv v2 · 2026-03-21 · 通用或轻量 VLA

论文元数据

作者: Kartikay Milind Pangaonkar、Prabin Kumar Rath、Omkar Deepak Patil、Nakul Gopalan
机构: Arizona State University
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: Franka Emika Research 3、RLBench simulated manipulator
DOI: 未披露
arXiv: 2603.20659
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 存在链接线索，尚未核验官方性与可运行性
权重: 未核验
数据: 未核验
许可证: 部分制品许可证缺失/待澄清

当前实践优先级

高潜待持续验证 · 72/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、VLA执行可靠性2.0·训练免调环境整备·量化Franka验证

社区证据类型：尚无独立社区验证

StageCraft不继续堆大VLA，而用VLM、SAM3、校准3D和机器人原语先移除干扰物、重排场景，使Pi0.5/SmolVLA三项真机任务六个条件平均提升40个百分点；这是高收益的系统整备路线，但依赖商业VLM、约200秒整备链与单一工作区。

近期窗口 · 35/35
发布距评分基准日 4 个月，落入 0–6 个月窗口。
社区可复查验证 · 2/25
固定作者分支可审计具体实现，但没有外部团队复现成功率；这不是社区指标复现分。
跨领域技术创新 · 18/20
把VLA失败诊断、视觉语言规划、开放词汇分割、标定点云、IK原语和场景整备闭环组合为训练免调decorator。
量化实机证据 · 9/10
Franka FR3三任务×两模型，每条件15次正式评测且给出六组前后成功率；仍只有一个实验室工作区。
开放与可复现 · 3/5
主StageCraft实现随Apache-2.0 LeRobot分支公开；必需primitive_actions仓无许可证，示范、权重、日志未开放。
工程实用增量 · 5/5
为已部署VLA增加外置整备层即可显著改善复杂环境，不需重训；代价是时延、API成本和额外动作风险。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；primitive_actions依赖没有有效许可证；代码硬编码相机序列号和外参；600条训练示范、权重和逐回合日志未发布；约200秒整备流程没有成本/延迟分布或安全失败率；没有独立复现和跨机器人验证

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 for the LeRobot fork; separately required primitive_actions package has no valid license · 最近核验 2026-07-22
依赖：LeRobot fork、Python、ROS2/rclpy、Franka FR3 interface、Intel RealSense/D435、OpenCV、SAM3、Google GenAI or OpenAI SDK、primitive_actions ROS2 package；硬件/传感器：Franka Research 3、front and wrist Intel RealSense D435、CUDA inference machine for VLA/SAM3、network/API access for documented commercial VLM path、object-disposal bin and calibrated workspace；实机证据：Three tasks times two VLAs use 15 physical evaluation rollouts per condition after ten in-context rollouts; distractor-to-StageCraft gains average 40 percentage points.；开放范围/限制：Recalibrate cameras, replace hard-coded device identifiers, add motion/safety limits and audit the unlicensed primitive dependency. Do not treat environmental object removal as an intrinsic VLA generalization gain or assume cloud-model availability/cost.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

StageCraft不改VLA参数，而是用历史成功/失败视频让VLM找出会导致失败的物体，再通过SAM3、深度反投影和Franka IK primitive先清理工作区。作者用Franka FR3、两台D435、Pi0.5与SmolVLA评测stack-cups、setup-plate、block-in-bowl；每个策略/任务用10条上下文轨迹并评测15次，六组从干扰场景到StageCraft分别92→93、46→86、46→100、46→100、55→70、33→100%，平均绝对增益40个百分点。其价值是把部署环境整备变成训练免调的VLA执行层；代价是额外机器人动作、约200秒整体执行、商业VLM调用和对VLM对象一致性的依赖。官方LeRobot stagecraft分支固定提交确有ROS2/Franka、Gemini/OpenAI、SAM3、标定和pick-place实现；但代码硬编码相机序列号/外参，primitive_actions包的license仍写TODO，未发布600条训练示范、微调权重或逐回合日志，也没有独立复现。

实机证据：quantified_author_FR3_trials_with_clear_denominators；三任务×两VLA，每组10条in-context后15次评测，共90次StageCraft对照口径。干扰到StageCraft成功率六组为92→93、46→86、46→100、46→100、55→70和33→100%。论文没有置信区间、随机化顺序、逐回合日志或安全/额外动作成本统计。

硬件/本体：Franka Research 3、two Intel RealSense D435 cameras、Pi0.5、SmolVLA、Gemini 3.1 Pro、SAM3、ROS2 inverse-kinematics primitives

红旗与边界：方法通过额外清场动作改变任务而非提升底层VLA能力；需要可安全执行的对象移除primitive和收集箱，不能用于不可移动或非离散干扰；依赖商业Gemini/OpenAI VLM及SAM3，未披露API成本、端到端延迟分布和离线替代；官方代码硬编码D435序列号、相机外参和Franka工作区；primitive_actions没有有效许可证；训练数据、微调权重、逐回合结果和独立复现缺失

查看资源 · project · 状态 official_project_page_with_prompts_videos_and_results · 许可证 CC BY-SA 4.0 for website content
项目页公开完整提示词、任务视频、IROS 2026状态和两份代码入口。
查看资源 · code · 状态 fixed_branch_implementation_available · 许可证 Apache-2.0 repository; required primitive package has no valid license
固定stagecraft分支含Gemini/OpenAI规划、SAM3框选、D435点云、Franka FR3部署和pick-place调用；没有专用release，硬编码设备标定。
查看资源 · code · 状态 required_ROS2_primitives_source_available_license_missing · 许可证 No valid license; package.xml says TODO: License declaration
ROS2 Humble/Franka pick-place primitive源码存在，但复用和再分发权利未建立。
weights · 状态 pi05_smolvla_finetunes_and_detector_assets_not_published_as_paper_bundle · 许可证 Upstream model licenses only
未核到作者600条示范微调出的Pi0.5/SmolVLA checkpoint或固定SAM3依赖版本。
data · 状态 600_FR3_demonstrations_and_rollout_logs_not_released · 许可证 No dataset license
10任务×60条双相机、关节空间与Mechanical Turk语言数据只在论文描述。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。