论文记录 · 证据边界公开

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

arXiv · 2026-03-24 · 灵巧手与视觉触觉操作

论文元数据

作者: Haoran Yuan、Weigang Yi、Zhenyu Zhang、Wendi Chen、Yuchen Mo、Jiashi Yin、Xinzhuo Li、Xiangyu Zeng、Chuan Wen、Cewu Lu、Katherine Driggs-Campbell、Ismini Lourentzou
机构: Shanghai Jiao Tong University、Stanford University、University of Illinois Urbana-Champaign
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2603.23481
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 58/100 · 4–6 个月

研发注意力：45/80 · 证据分项观察

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：视觉触觉世界动作模型·真实机械臂接触操作·主流技术2.0·待开放

社区证据类型：尚无独立社区验证

多视角视频—GelSight触觉—动作条件世界模型加入虚拟力正则，针对接触时视觉主导问题；作者四任务80次/模型结果可比较，但代码、权重、数据和独立复现均不成立。

近期窗口 · 28/35
发布距评分基准日 5 个月，落入 4–6 个月窗口。
社区可复查验证 · 0/25
官方链接存在但匿名raw、codeload和git远端都未给出公开可读源；未发现独立复现。
跨领域技术创新 · 17/20
多视角视频预测、GelSight触觉预测、动作生成和虚拟力监督融合；没有语言泛化、跨本体或长期任务证据。
量化实机证据 · 10/10
芯片抓放、削皮、平面/倾斜擦拭各20次，共80次/模型；作者报告90%平均成功，具体协议内芯片90%、削皮85%、擦拭95%。
开放与可复现 · 0/5
无可匿名读取的代码、固定提交、权重、数据、许可证、容器或完整标定闭包。
工程实用增量 · 3/5
论文披露4×A100 40GB训练与1Hz推理，但未公开真实机械臂型号、端侧硬件、时延分解或安全复位流程。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；官方仓库公开性、固定commit、许可证、模型和数据均待重新核验；真实机械臂型号/控制接口未精确披露；无同步/标定、容器、训练数据、失败轨迹、隐私或安全边界；无独立复现或失败报告；无人形、轮臂、轮足或足式真机结果

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

工程资源评审结论与反面证据

code_weights_data · verified_hold
审核码：verified_hold; 官方关系：author_project_links_repository_but_anonymous_public_bytes_unavailable; 最近核验：2026-08-13
代码：official link exists but raw main README and codeload archive returned 404 at review
权重：not released
数据：not released
许可证：not_disclosed；No publicly readable repository or hosted artifact license was verified.
依赖：Genie Envisioner/GE-base video prior、LTX-Video transformer、DeepSpeed ZeRO Stage 2、π0.5 fine-tuning path、GelSight and multi-view camera synchronization
硬件/传感器：Paper world-model training uses 4 NVIDIA A100 40GB GPUs、undisclosed real robot arm with GelSight and two camera views
实机证据：Four real tasks × 20 trials per model = 80 author trials; reported 90% average success at 1Hz inference.
独立复现：None verified.
限制/反面证据：No anonymously downloadable method code；No checkpoints or data；No license；Single unspecified arm embodiment；No independent reproduction
当前建议：视觉触觉世界动作模型主流技术2.0·待开放；Follow the official repository for a real public commit, then reproduce a 20-trial chip protocol and report all failures before use.
重点标签：世界动作模型、视觉触觉、真实机械臂、官方链接未公开可读、社区验证待补
核验来源：来源 1 · 来源 2 · 来源 3

暂缓或驳回结论不会升级代码、权重或数据开放状态；Stars、转发和演示视频不等于独立复现。

每日候选人工终审

VTAM把多视角视频、GelSight触觉流和动作条件预测放进世界动作模型，并用虚拟力正则抑制视觉主导。作者在芯片抓放、黄瓜削皮、平面与倾斜白板擦拭共四个真实任务、每任务20次（每模型80次）上报告90%平均成功；但项目页链接的官方GitHub仓库在匿名raw与归档入口均为404，代码、权重、数据、许可证和独立复现均不能计为已开放。

实机证据：author_quantified_eighty_trials_per_model；四个真实任务每项20次、每模型共80次、推理1Hz。报告VTAM平均90%；芯片90%、削皮85%、擦拭95%。这些是作者协议内的成功率，不是独立复现或人形/轮足证据。

硬件/本体：single robot arm embodiment not precisely named in paper、GelSight tactile sensor、two visual camera views

红旗与边界：官方仓链接匿名不可读；无公开代码/权重/数据/许可证；单一未精确披露机械臂本体；1Hz推理；无独立复现；没有人形、轮臂或足式实机验证

查看资源 · project · 状态 official_project_page_verified · 许可证 Project page license does not grant method artifacts
作者项目页链接arXiv和haorany7/VTAM官方仓库，并提供作者视频。
查看资源 · code · 状态 official_repository_linked_but_public_bytes_not_available · 许可证 No repository license could be verified because anonymous raw README, codeload archive and git remote access did not expose public repository contents
2026-08-13核验时，raw main README和codeload main均返回404，git remote要求认证；不计为公开代码。
weights · 状态 not_released · 许可证 No model artifact license
项目页和论文未提供可下载checkpoint。
data · 状态 not_released · 许可证 No dataset artifact license
论文描述真实触觉数据，但未给出可下载数据、标定包或许可。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。