论文记录 · 证据边界公开

Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

arXiv preprint · 2026-08-11 · 通用或轻量 VLA

论文元数据

作者: Li Wenjie、Yash Jangir、Ignacy Stepka、Yash Agarwal、Marion Kipsang、Yonatan Bisk
机构: Carnegie Mellon University
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: BridgeV2 WidowX 7-DoF teleoperation data、SimplerEnv visual-matching WidowX suite
DOI: 10.48550/arXiv.2608.10484
arXiv: 2608.10484
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

每日候选人工终审

SALT（Semantically ALigned action Tokenizer）在残差 VQ-VAE 动作 tokenizer 训练时加入冻结视觉语言模型的指令生成目标，针对“动作重建误差低并不等于保留语言动词含义”的接口问题。作者在同一 BridgeV2 数据、miniVLA/Qwen2.5-0.5B 骨干、15k step 和约7 token/8步的受控设置下，SimplerEnv WidowX 四任务共96 rollout 的均值为71.9%，高于重建型 VQ-VAE的42.7%和 FAST 的31.2%；token 宏F1为39.1%，同时重建误差接近 VQ-VAE。该结果对离散动作 VLA 是高价值的近期表示分支，但没有物理机器人实验，所有 headline rollout 均在 SimplerEnv；作者 SALT checkpoint 和 probe code 仅称将来以 research-only license 发布，未给下载或仓库。因此收录为“可能成为新主流／近期热门／主流 VLA 动作表示技术改进版”，进入相同数据与协议的横评观察位，不进入里程碑、社区验证或低成本可部署排序。

实机证据：no_physical_robot_evidence_for_method；BridgeV2 源数据来自 WidowX 真机遥操作，但 SALT 的方法性能评测为 SimplerEnv 四个桌面任务、每任务24个 episode、每策略96 rollout。没有 SALT 真机执行、真实场景试验次数、跨本体或独立团队复现。

硬件/本体：SimplerEnv visual-matching WidowX suite、BridgeV2 historical real-robot teleoperation dataset

红旗与边界：作者代码、权重、派生 token/标签和日志均未发布；作者拟定为 research-only 而非已验证的开源或商业许可；所有 headline 结果均为 SimplerEnv，不是 SALT 真机；BridgeV2 真机来源不能替代方法实机验证；96 rollout 的四项模拟任务仍不足以证明长时程、接触丰富或跨本体泛化；总算力约1500 L40S GPU小时，非低成本复现；无独立复现

code · 状态 promised_future_research_only_release_not_available · 许可证 research-only (planned; not yet released)
附录只称 SALT tokenizer checkpoints 与 probe code ‘will be released’ 且 intended for academic research only；截至核验未提供作者仓库、checkpoint 或可执行代码，因此不能计为已开放。
weights · 状态 not_released · 许可证 research-only (planned; not yet released)
作者 SALT tokenizer checkpoints 未给下载。miniVLA、Stanford VQ-VAE tokenizer、Qwen、DINOv2、FAST 和 SimplerEnv 是论文引用的上游制品，各自许可不能外推给 SALT。
查看资源 · data · 状态 uses_upstream_BridgeV2_dataset_not_new_dataset_release · 许可证 CC-BY-4.0 for BridgeV2 per paper appendix
实验使用既有 BridgeV2，而不是发布新的 SALT 数据集；本条只核验上游训练数据来源与论文披露的 CC-BY-4.0，不宣称作者派生标签、token 或 rollout 日志已开放。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-12。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。