论文记录 · 证据边界公开

Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation

CoRL 2022 / arXiv v2 · 2022-09-12 · 操作

论文元数据

作者: Mohit Shridhar、Lucas Manuelli、Dieter Fox
机构: University of Washington、NVIDIA
发布日期精度: 日
研究方向: 操作
机器人: Franka Panda with parallel gripper
DOI: 10.48550/arXiv.2209.05451
arXiv: 2209.05451
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验可访问（使用限制见许可证）
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

观察 · 43/100 · 37–60 个月

研发注意力：26/80 · 证据分项观察

工程落地：12/15 · 量化实机证据＋工程实用增量

标准分类标签：未达到专项标签门槛

社区证据类型：尚无独立社区验证

近期窗口 · 8/35
发布距评分基准日 47 个月，落入 37–60 个月窗口。
社区可复查验证 · 6/25
人工复核“独立复现”12/15；未附符合独立复现门槛的正向社区证据，本维度封顶 6/25。
跨领域技术创新 · 12/20
沿用人工复核“跨任务跨本体”3/5。
量化实机证据 · 7/10
沿用人工复核“量化实机证据”11/15。
开放与可复现 · 5/5
沿用人工复核“开放与长期复现”10/10。
工程实用增量 · 5/5
沿用人工复核“公平横评增量”14/15。

社区可复查证据：

官方代码、checkpoint、数据入口、Docker和问题文档提供长期可审计的复现面；后续采用证明接口影响，但不替代原始七任务Franka精确复现
不以GitHub热度、项目视频或不同硬件的下游实现代替独立实机验证；旧依赖和数据split差异作为长期反例保留

证据缺口：缺少显式可复查社区复现/部署证据

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

PerAct 将语言目标和多视角 RGB-D 体素观察输入 Perceiver Transformer，以离散化平移、旋转、夹爪和碰撞动作预测把“从语言到6DoF操作”变成三维 action-centric 行为克隆。论文在 RLBench 的18项任务、249种变化中以每任务10/100条示范、每任务25次评测比较C2FARM-BC等基线；同时在单一Franka Panda上训练七项真实任务、总计53条示范。官方 Apache-2.0 仓、固定提交、Colab、Docker、预训练checkpoint、RLBench预生成数据入口、训练/评测脚本和Franka采集/执行附件均可定位，形成真实的历史开源工程节点。它的主体实证仍是无噪声CoppeliaSim/RLBench；真实任务只是一种固定臂、单前视相机、动作由MoveIt/体素碰撞规划接管的设置，不能外推为人形、轮臂、轮足、触觉或开放世界泛化。

实机证据：author_quantified_single_franka_multitask_protocol；论文报告七项真实任务、18种变化和总计53条示范；真实设置使用单一前视相机，动作由观测—体素动作—规划执行闭环构成。原文未将该结果表述为跨机器人、触觉、移动底盘或人形泛化，不能补写为这些能力。

硬件/本体：Franka Panda、parallel gripper、single front RGB-D camera、MoveIt motion planner

红旗与边界：RLBench为无噪声模拟器，18任务/249变化和Franka真实任务不可混成统一实机泛化成绩；官方核心为Apache-2.0，但ARM、RLBench、PyRep、CLIP、checkpoint、数据和Franka附件各有独立许可/访问边界；完整RLBench数据约116GB且官方明确随机生成会改变训练/验证/测试集，复现需锁定预生成数据与split；真实结果来自固定Franka和MoveIt闭环；不能外推到人形、轮足、轮臂、五指手、触觉或开放词汇导航；README指出部分任务不可解、旧依赖及DDP改写风险，长期复跑需锁版本

查看资源 · paper · 状态 verified_public_primary_v2 · 许可证 CC BY 4.0 for article; not artifact license
原文给出18个RLBench任务/249种变化、每任务25次评测与Franka七真实任务/53条示范的协议边界。
查看资源 · project · 状态 verified_official_project · 许可证 not declared for all artifacts
官方页连接论文、视频、代码、Colab和资源入口。
查看资源 · code · 状态 open_source · 许可证 Apache-2.0 for PerAct core; ARM/RLBench/PyRep/CLIP retain listed upstream licenses
固定提交含训练、评测、Docker、Colab、配置、checkpoint下载、RLBench生成流程与依赖/已知问题；不是无依赖单卡即用包。
查看资源 · weights · 状态 verified_official_checkpoint_release · 许可证 checkpoint terms not separately declared; code license does not automatically apply
官方README提供18任务、每任务100示范、600k迭代checkpoint；声明last checkpoint不必然是每任务最佳。
查看资源 · data · 状态 official_rlbench_dataset_link_not_full_download_verified · 许可证 RLBench and Google Drive access/upstream terms apply
官方README描述训练100、验证25、测试25 episode/任务的约116GB预生成RLBench数据；未在本审查中完成整包下载/哈希/许可证审计。
查看资源 · code · 状态 official_real_robot_collection_and_execution_attachment · 许可证 not separately audited
README链接Franka数据采集与执行接口；真实数据Google Drive外链、标定、硬件和数据许可仍需逐项复核。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

关系纠错与反面证据

已移除误标来源条目 · 已纠错链接
该附件是官方 README 链接的 Franka 采集与执行接口，不是已完整下载、许可审计且可复现的真机训练数据集。相同 URL 已保留为代码关系；删除错误的数据关系，避免将接口附件计入已验证开放数据。；最近核验 2026-08-13

纠错前关系仅作为审计证据保留；精确纠错不会删除同一 URL 上仍然成立的其他关系。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。