论文记录 · 证据边界公开

CogACT: A Foundational Vision-Language-Action Model for Synergizing Cognition and Action in Robotic Manipulation

arXiv · 2024-11-29 · 通用或轻量 VLA

论文元数据

作者: Qixiu Li、Yaobo Liang、Zeyu Wang、Lin Luo、Xi Chen、Mozheng Liao、Fangyun Wei、Yu Deng、Sicheng Xu、Yizhong Zhang、Xiaofan Wang、Bei Liu、Jianlong Fu、Jianmin Bao、Dong Chen、Yuanchun Shi、Jiaolong Yang、Baining Guo
机构: Tsinghua University、Microsoft Research Asia
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: 未关联具体机器人
DOI: 10.48550/arXiv.2411.19650
arXiv: 2411.19650
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验开放
数据: 未核验
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 84/100 · 13–24 个月

路线标签：可能成为新主流、认知-动作解耦 VLA 技术2.0

社区证据类型：尚无独立社区验证

CogACT把通用认知骨干与扩散动作头解耦，在Realman/Franka实机显著领先OpenVLA，并开放多档模型；社区证据来自DB-CogACT派生框架，不能冒充原模型精确复现。

近期窗口 · 28/35
发布距评分基准日 19 个月，落入 13–24 个月窗口。
社区可复查验证 · 20/25
公开派生复现在多个benchmark给出正反结果，但原模型精确复现仍缺。
跨领域技术创新 · 17/20
VLM认知、diffusion动作和可变动作块的解耦设计具有清晰可迁移性。
量化实机证据 · 9/10
Realman 24/48/24次和Franka四任务各11次，试验口径较完整。
开放与可复现 · 5/5
MIT代码与Small/Base/Large权重公开，训练依赖和RLDS路径明确。
工程实用增量 · 5/5
A6000约181ms/5.5Hz、动作块可到16，具备明确部署基线。

社区可复查证据：

社区证据 1
DB-CogACT在LIBERO/CALVIN接近报告值、SimplerEnv有落差；这是派生路线复现，不是原CogACT checkpoint等价验证。

证据缺口：独立证据为派生模型；1M+ OXE混合无冻结快照；8×A100预训练；完整机器人适配非开箱即用；不同尺寸模型实机覆盖不一致

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方模型/权重 · 许可证 MIT model card · 最近核验 2026-07-22
依赖：CogACT repository、PyTorch/Transformers、dataset-specific action unnormalization key；硬件/传感器：about 30.5 GB storage、high-memory CUDA GPU recommended、robot-side policy client for real deployment；实机证据：Official paper uses CogACT policies on Realman and Franka platforms; public checkpoint still requires task-specific fine-tuning and robot integration.；开放范围/限制：Independent results currently cover a DB-CogACT derivative, so they support the architectural lineage but not an exact public-base-checkpoint replication.
官方代码 · 许可证 MIT · 最近核验 2026-07-22
依赖：Python、PyTorch、Transformers、diffusers、RLDS/TensorFlow datasets、FlashAttention-compatible environment；硬件/传感器：paper pretraining uses 8 A100 GPUs for about five days、A6000 reports 181 ms / 5.5 Hz BF16 inference、Realman or Franka adapters are not turnkey universal drivers；实机证据：Realman Pick/Stack/Place uses 24/48/24 evaluations and reports 71.2% average versus OpenVLA 12.1%.、Franka comparison uses 11 trials for each of four tasks; DB-CogACT derivative has independent simulation reproductions but is not an exact CogACT checkpoint reproduction.；开放范围/限制：The repository provides policy serving primitives, not production-safe robot integration, collision handling or safety certification.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

CogACT将7B VLM认知骨干与最高300M DiT动作模块组件化，通过单个cognition token生成最多16步动作并做自适应集成。OXE 1M+轨迹、22本体上8×A100约5天训练；Realman三任务共96次/模型中平均71.2%，未见桌面/干扰物58.4%，未见颜色/形状/类别64.6%，Franka四任务各11次也优于OpenVLA/Octo。MIT代码和Small/Base/Large三套约30GB级权重真实开放；AllenAI对其后续独立Dexbotic实现复跑LIBERO 2,000 episode得94.7%、CALVIN 1,000序列得4.02，说明认知-动作解耦路线可迁移，但这不是原始CogACT checkpoint的逐项复现。

实机证据：quantified_realman_and_franka_trials；Realman Pick/Stack/Place每模型24/48/24次，总96次，CogACT平均71.2%对OpenVLA 12.1%；未见桌面/干扰58.4%，未见颜色/形状/类别64.6%。Franka四任务每任务11次。A6000 BF16 100次查询平均181ms、5.5Hz，16步chunk可提高动作吞吐但增加开环误差。

硬件/本体：Realman RM75 7DoF arm、Franka robot、RGB observation、A6000 deployment benchmark

红旗与边界：8×A100约5天预训练；原始实机微调数据与checkpoint未发布；Base模型约30.5GB且A6000单步181ms；action chunk越长开环误差越大；所有原论文实机结果来自作者团队；AllenAI复现是Dexbotic衍生模型而非原CogACT逐项复现

查看资源 · code · 状态 open_source · 许可证 MIT for code, model weights and declared data; OXE and dependencies retain upstream terms
固定提交包含训练、SIMPLER、部署server/client、FSDP和Docker；Python>=3.8、PyTorch>=2.2、CUDA>=12，完整微调示例为单节点8×A100。
查看资源 · weights · 状态 verified_public_non_gated_model · 许可证 MIT model card
CogACT-Base固定revision为6文件约30,521,342,461 bytes；Small/Base/Large三套模型均公开，Base FP32加载约30GB。
data · 状态 oxe_external_public_realman_franka_finetuning_data_not_released · 许可证 OXE source-specific licenses; paper-specific 391 demonstrations not disclosed
基础训练依赖OXE；Realman 391条微调示范、Franka数据和逐次日志未形成项目数据集。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。