论文记录 · 证据边界公开

RoboInter1.5: A Holistic Intermediate Representation Suite for Embodied World Modeling and Robotic Manipulation

arXiv technical report · 2026-07-21 · 世界模型与动作条件预测

论文元数据

作者: Ziqin Wang、Hao Li、Weijun Wang、Junhao Cai、Jia Zeng、Yilun Chen、Jiangmiao Pang、Si Liu
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 世界模型与动作条件预测
机器人: DROID embodiments、Franka Research 3、RH20T embodiments、WidowX
DOI: 未披露
arXiv: 2607.18709
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 存在链接线索，尚未核验官方性与可运行性
权重: 存在链接线索，尚未核验官方性与可运行性
数据: 存在链接线索，尚未核验官方性与可运行性
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 79/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、中间表征VLA与世界模型技术2.0·可能成为新主流·近期热门·开放边界红旗

社区证据类型：尚无独立社区验证

235,920段/407.79GB数据、三套VLM权重和Franka闭环结果使中间表征成为可实测的VLA/世界模型接口；但7月VLA与World实现未发布，社区复现仍为空。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 6/25
固定代码、三个固定权重修订、643项/407.79GB数据和抽样文件可复查；尚无独立闭环复现。
跨领域技术创新 · 20/20
密集空间与时间中间表征同时约束VLM理解、VLA动作和世界模型未来预测。
量化实机证据 · 9/10
Franka四类任务按ID/OOD各15次/图表条件，另有WidowX扩展结果；均为作者实验。
开放与可复现 · 4/5
数据工具、VLM源码和权重可用；VLA/World缺失且数据许可证冲突。
工程实用增量 · 5/5
同一标注层可直接比较隐式、显式和模块化plan-then-execute，并提供3B低成本检查点。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；VLA代码和权重未发布；RoboInter-World实现与权重未发布；数据许可证元数据冲突；235,920段不是全新独立采集；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 MIT root license; Apache-2.0 in VLM subprojects; embedded upstream components retain separate terms · 最近核验 2026-07-22
依赖：Python 3.8+、PyTorch、Transformers、DeepSpeed、Qwen2.5-VL or LLaVA-OneVision dependencies、LeRobot v2.1/v3.0、LMDB、PyArrow/Parquet、OpenCV/AV、SAM2 for annotation tools；硬件/传感器：multi-GPU CUDA training environment for VLM fine-tuning; Qwen README defaults to 8 GPUs、large local storage for the 407.79GB dataset、no robot required for offline VLM/data tooling、Franka or WidowX deployment adapters for the July VLA experiments are not released；实机证据：The July paper reports author Franka and WidowX experiments, but the fixed repository is not a complete reproduction package for those deployments.；开放范围/限制：Use this artifact for RoboInter data processing, annotation inspection and VLM experiments. Do not label it a complete RoboInter1.5 VLA/world-model release. Audit subdirectory and upstream licenses separately.
官方数据集 · 许可证 Conflicting aggregate metadata: no standard license field; hidden gate prompt says CC BY-NC-SA 4.0; README defers to RoboInter, DROID and RH20T upstream licenses · 最近核验 2026-07-22
依赖：Hugging Face Hub、approximately 408GB storage for the current payload、LeRobot v2.1、PyArrow/Parquet、MP4/AV、LMDB、RoboInterData loaders and conversion tools、upstream DROID and RH20T access/attribution compliance；硬件/传感器：large local or object storage、CPU/RAM appropriate for 37.29GB LMDB or 20GB-class pickle processing、GPU not required for metadata inspection、policy training hardware depends on selected VLM/VLA；实机证据：Underlying episodes come from DROID and RH20T physical robot datasets; the project adds dense annotations and LeRobot packaging rather than collecting 235,920 wholly independent new physical episodes.；开放范围/限制：The Hugging Face viewer exposes only the 7,246-row validation list while the repository files total about 408GB. Audit DROID and RH20T rights per source; RH20T contains both commercial-share-alike and noncommercial scene subsets. Do not infer a single commercial-use grant from the hidden gate prompt.
官方权重 · 许可证 Apache-2.0 model-card declaration; Qwen2.5-VL base-model terms also apply · 最近核验 2026-07-22
依赖：Transformers with Qwen2.5-VL support、PyTorch、safetensors、AutoProcessor、RoboInter QwenVL evaluation source for project-specific tasks；硬件/传感器：approximately 16.6GB checkpoint download before caches、CUDA GPU capacity appropriate for an 8.29B-parameter BF16 VLM、minimum tested VRAM and robot-loop latency are not disclosed；实机证据：This is an intermediate-representation VLM checkpoint, not the RoboInter1.5 VLA controller or world-model checkpoint.；开放范围/限制：Published in February 2026 and tied to the earlier RoboInter paper; use as the VLM component only, not as proof that all July 1.5 modules are open.
官方权重 · 许可证 Apache-2.0 model-card declaration; LLaVA-OneVision/Qwen2 base-model terms also apply · 最近核验 2026-07-22
依赖：RoboInterVLM-LLaVAOV custom model classes、PyTorch 2.1.2、Transformers pinned to commit 1c39974、DeepSpeed 0.14.4、decord、OpenCV、safetensors；硬件/传感器：approximately 16.1GB checkpoint download before caches、CUDA multi-GPU stack for training、minimum inference VRAM and robot-loop latency are not disclosed；实机证据：Offline VLM checkpoint only; the project-specific LLaVA code does not supply the July VLA/World deployment.；开放范围/限制：Custom classes and pinned dependencies increase integration cost. This is an alternative VLM backbone, not a VLA policy or world model.
官方权重 · 许可证 Apache-2.0 model-card declaration; Qwen2.5-VL base-model terms also apply · 最近核验 2026-07-22
依赖：Transformers with Qwen2.5-VL support、PyTorch、safetensors、AutoProcessor、RoboInter QwenVL evaluation source；硬件/传感器：approximately 7.51GB checkpoint download before caches、lower accelerator memory than the 7B variants but exact tested VRAM and latency are not disclosed、no physical robot required for offline VQA；实机证据：The checkpoint predicts intermediate representations; it is not a standalone physical controller.；开放范围/限制：This is the lowest-cost verified RoboInter checkpoint, but low-cost deployment claims require local latency/VRAM measurement and a separately implemented control adapter.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

RoboInter1.5把密集时空中间表征同时用于VQA/VLM、VLA执行和动作条件世界预测，并以同一230k级数据底座连接理解、规划、控制和未来状态生成。官方数据固定修订确有643项、约407.79GB和235,920段质量统计，三个VLM检查点也可下载；但这些制品发布于2026年2月的RoboInter1.0阶段。7月论文对应的VLA目录仍明确写待发布，现有脚本来自CogACT框架，RoboInter-World实现和权重也未出现，因此不能把1.5整套标为完整开源。

实机证据：quantified_author_franka_closed_loop_plus_additional_widowx_results；作者在Franka Research 3上使用固定第三视角和腕部相机做四类闭环任务，每个图表条件含15次ID和15次OOD试验；IC-E2E为ID 77.3%/OOD 58.3%，vanilla为65.0%/38.3%，EC-E2E为68.3%/60.0%。论文另报告WidowX扩展任务；这些均是作者证据，没有独立复现。

硬件/本体：Franka Research 3、WidowX

红旗与边界：RoboInter1.5论文发布时间晚于当前代码、权重和数据固定修订约五个月；VLA目录明确仍为待发布，现有部署骨架不是完整1.5实现；RoboInter-World没有公开实现或权重；数据卡标准license字段缺失，隐藏许可文本与README的上游许可指引不一致；235,920段由DROID/RH20T原始轨迹扩展到多视角/标注单元，不能直接当作新增独立机器人采集；无独立复现

查看资源 · code · 状态 official_fixed_commit_partial_release_robointer10_code_not_complete_15 · 许可证 MIT at repository root; RoboInterVLM subprojects declare Apache-2.0; embedded upstream components retain their own terms
固定提交481acfb包含数据转换/加载、SAM2标注工具、Gradio演示以及Qwen2.5-VL和LLaVA-OneVision训练评测源码。RoboInterVLA的README只有57字节并写明代码待发布，pyproject和部署脚本基于CogACT；没有RoboInter-World目录。
查看资源 · weights · 状态 three_public_ungated_vlm_checkpoints_fixed_revisions_not_vla_or_world_weights · 许可证 Apache-2.0 declared by the three model cards; base-model terms also apply
7B Qwen检查点固定修订b9573c9约16.58GB，3B Qwen固定修订fc758e0约7.51GB，LLaVA-OneVision 7B固定修订11db38d约16.06GB，均为BF16 Safetensors、公开非门控。没有VLA或RoboInter-World权重。
查看资源 · data · 状态 downloadable_fixed_revision_407786031053_bytes_license_metadata_conflict_upstream_terms_apply · 许可证 No standard license field; hidden gate text says CC BY-NC-SA 4.0 while README defers to RoboInter, DROID and RH20T licenses
固定修订0208b79公开非门控，643项总计407,786,031,053字节；抽样下载的质量统计JSON为1,350字节并确认235,920段。数据建立在DROID与RH20T上，RH20T还按场景混合CC BY-SA 4.0和CC BY-NC 4.0，不能用一个总许可证覆盖。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。