论文记录 · 证据边界公开

Attention from Action, for Action: Emergent Visual Bottlenecks for Policy Learning

arXiv preprint · 2026-08-13 · 视觉识别

论文元数据

作者: Zheyu Zhuang、Ruiyu Wang、Nick Heppert、Johannes Fabian Hahn、Abhinav Valada、Florian T. Pokorny、Danica Kragic
机构: University of Freiburg、Universität Hamburg、KTH Royal Institute of Technology
发布日期精度: 日
研究方向: 视觉识别
机器人: UFactory xArm 7、eye-in-hand RGB camera、fixed third-person RGB camera
DOI: 未披露
arXiv: 2608.13422
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验可访问（使用限制见许可证）
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

每日候选人工终审

Seeker 是不依赖 gaze、目标类别或额外空间标签的视觉瓶颈：从冻结 DINOv3 特征、动作监督和迭代 query 中学习随任务进程变化的 ROI，再把同一接口用于 RGB 裁剪、背景增强和点云过滤。论文在 MimicGen 六类仿真任务与 UFactory xArm 7 三项遥操作任务上给出同协议对比；真机各条件 20 次，平均 ID 成功率由最强基线 48.3% 提升到 76.7%，光照/背景 OOD 由 20.0% 提升到 60.0%。官方仓库已公开 MIT 源码、环境、MimicGen 复现路径、训练/评测命令和 `seeker.mimicgen.pth`，因此可作为视觉感知、数据效率和 OOD 鲁棒性的“近期主流技术迭代 / 社区验证候选”横评项；但截至核验日，公开包主要覆盖 MimicGen 与仿真 checkpoint，真实 xArm 示范、相机标定、真实训练数据和真机控制运行配方未见下载，不能宣称真机可一键复现或跨本体通用。

实机证据：author_quantified_xarm7_three_task_id_and_visual_ood_evidence_not_independently_reproduced；真实任务为 Coffee Transport（50 demos，4 subtask）、Table Cleanup（100 demos，6 subtask）和 Board Assembly（100 demos，6 subtask）。ID、lighting-shift、background-shift 每条件 20 次；论文汇总最强基线到 Seeker 的平均 ID 成功率为48.3%→76.7%，OOD 为20.0%→60.0%。结果来自作者团队，未见独立复现。

硬件/本体：UFactory xArm 7、fixed third-person RGB camera、eye-in-hand RGB camera、10 Hz position-based end-effector control

红旗与边界：MIT 不覆盖 DINOv3、Diffusion Policy、MimicGen 或 xArm 数据；不得把仓库根许可证外推给第三方资源；公开 checkpoint 是 MimicGen 路径，未核验 xArm 真机策略/数据/标定发布；真机只有单臂 xArm7 三任务，不能外推到人形、轮臂、双臂或足式全身控制；论文数值是作者团队的每条件20次结果，尚无独立复现或跨实验室证据；ROI 可视化与成功率不替代对遮挡、传感器失效、长程恢复、安全碰撞的标准评测

查看资源 · project · 状态 verified_official_repository_and_fixed_revision · 许可证 MIT for Seeker original code and declared seeker.mimicgen.pth checkpoint
arXiv HTML 作者链接指向该官方 GitHub。固定提交包含 LICENSE、README、conda 环境、安装脚本、Python package、notebook、训练配置和依赖锁定目录。
查看资源 · code · 状态 verified_public_simulation_training_evaluation_release · 许可证 MIT; vendored/adapted dependencies retain upstream terms
README 提供 mamba 环境、系统依赖、MimicGen HDF5 下载、rerender、可视化、单任务/多任务 Seeker 训练和下游 policy 训练命令。DINOv3、Diffusion Policy 与 patched robosuite/robomimic/mimicgen 的许可证需分别遵守。
查看资源 · weights · 状态 verified_released_mimicgen_checkpoint_via_official_setup · 许可证 MIT declared for seeker.mimicgen.pth; upstream DINOv3 checkpoint has its own license
官方 setup 会下载所需 assets/checkpoints，并说明 `seeker.mimicgen.pth` 的校验和、来源及联合六个 MimicGen 任务训练配方；未核验到 xArm 真机策略或训练 checkpoint。
查看资源 · data · 状态 officially_referenced_upstream_public_mimicgen_data_not_xarm_data · 许可证 verify upstream dataset terms separately
官方 README 给出 MimicGen HDF5 下载与公开托管位置；真实 xArm 三任务演示、相机标定、背景/光照 OOD 采集、遥操作记录和许可未见官方发布。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。