论文记录 · 证据边界公开

SpatialVAM: Spatial-Aware Multi-View Video Diffusion as a Data-Efficient Robot Policy

arXiv preprint · 2026-04-01 · 操作

论文元数据

作者: Peiyan Li、Yixiang Chen、Yuan Xu、Jiabing Yang、Xiangnan Wu、Jun Guo、Nan Sun、Long Qian、Xinghang Li、Xin Xiao、Jing Liu、Nianfeng Liu、Tao Kong、Yan Huang、Liang Wang、Tieniu Tan
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 操作
机器人: Franka Research 3 with parallel-jaw gripper、Meta-World Sawyer simulation、RoboCasa simulation、three static ZED2i RGB-D cameras
DOI: 未披露
arXiv: 2604.03181
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

每日候选人工终审

SpatialVAM（arXiv v1 名称 MV-VDP）把彩色点云与末端位姿投影为多视角 RGB 与 heatmap 视频，用 Wan2.2 5B 视频骨干加 cross-view attention 联合预测未来视频和动作 heatmap，再反投影连续位置并由轻量头输出旋转/夹爪。它是把多视角 3D 几何、视频世界预测和 action chunk 放到同一表示空间的近期 WAM/VAM 主流迭代，而不是普通单视角视频预测。最新版论文在 Franka Research 3、平行夹爪、三台静态 ZED2i 上完成三项基础与四项未见设置，每项十次、每项约十条 SpaceMouse 示范；v1 表中总体 57.1%，对照 BridgeVLA 41.42%，并报告背景、5.5cm 高度、关灯与物体类别变化。v2 还补充相机覆盖/20mm+2度标定扰动和 140 rollout 视频检查的安全分析。工程代价同样明确：真实训练采用 32×H200，推理需大于30GB显存，A100 从点云到24帧动作块平均4.6秒（约5Hz），并非高频灵巧控制；依赖至少一台固定且近似标定 RGB-D 相机。项目页当前存在但未核验到作者源码、checkpoint、训练/示范数据、三相机标定或许可证。因此它进入“主流 WAM/VAM 技术迭代／近期热门／真实多视角操作”重点横评与候选里程碑池，不升格为确认里程碑、开源可复现方案或人形本体成果。

实机证据：quantified_author_real_robot_ID_and_controlled_visual_spatial_OOD_not_independently_reproduced；作者报告 Put Lion、Push-T、Scoop Tortilla 三项基础任务及背景/高度/关灯/类别四项未见设置；每项约10条示范、每项10次。v1 表的总体为 SpatialVAM 57.10%、BridgeVLA 41.42%、UVA 5.70%、π0.5 1.40%、DP3 0；这些作者结果受固定相机、人工场景对齐、任务特定训练和有限分母约束。

硬件/本体：Franka Research 3、parallel-jaw gripper、three static ZED2i depth cameras、SpaceMouse teleoperation、FastAPI server-to-robot client

红旗与边界：作者代码、checkpoint、示范数据、三相机标定、环境和许可证均未核验公开；真实实验只覆盖固定相机的 Franka 桌面任务，不是人形、足式、轮足或触觉操作；10次/格的作者结果无独立复现与置信区间，不能外推为通用低数据 VLA 优势；32×H200 训练和A100 4.6秒/24帧动作块与低算力/高频部署目标冲突；v1旧项目页404且题名已改，后续需监控 v2 项目页是否补出可验证资源；视频检查降低不安全行为的结论来自作者定义的140 rollout，不等于正式安全认证或急停机制

查看资源 · paper · 状态 verified_v2_full_html_with_v1_title_lineage · 许可证 CC-BY-4.0 for the arXiv paper only
arXiv v2 确认 SpatialVAM 为同一 arXiv 项目更新版，包含多视角视频—heatmap 动作模型、Franka 真实协议、相机/标定消融、训练 GPU、A100 时延和局限。
查看资源 · project · 状态 verified_official_project_page_no_public_artifact_link_verified · 许可证 not_disclosed
最新 arXiv 记录链接到作者项目页；页面存在但本次核验未找到可下载的作者源码、权重、数据或许可证链接。旧 v1 项目 URL https://lpy1219.github.io/MV-VDP-Web/ 返回 404，保留为版本变更/链接失效证据。
code · 状态 not_verified_publicly_released · 许可证 not_disclosed
未核验到作者 GitHub、固定 commit、训练或推理脚本、Wan2.2 适配、FastAPI robot client、标定/投影实现或软件许可证。
weights · 状态 not_verified_publicly_released · 许可证 not_disclosed
Wan2.2 是上游骨干；未核验到 SpatialVAM LoRA、3D VAE、DiT、rotation/gripper head、Franka checkpoint 或模型许可证。
data · 状态 not_verified_publicly_released · 许可证 not_disclosed
论文描述每真实任务约十条 SpaceMouse 示范和七项十次评测，但未发布示范、RGB-D、三相机内外参、点云、任务资产、失败片段、split 或数据许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-14。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。