论文记录 · 证据边界公开

Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

arXiv · 2026-07-14 · 通用或轻量 VLA

论文元数据

作者: Zebin Yang、Qi Wang、Yunhe Wang、Xiurui Guo、Bo Yu、Shaoshan Liu、Jiafeng Xu、Hao Dong、Meng Li
机构: Peking University、AIRS、PrimeBot Research Institute
发布日期精度: 日
研究方向: 通用或轻量 VLA
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.12659
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 已终审官方权重（模型卡与使用边界见下）
数据: 已核验未发布
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 73/100 · 0–1 个月

研发注意力：56/80 · 近期跨域高潜·社区待验证

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代、可能成为新主流

路线评审说明：低算力VLA主流迭代·板端异步校正与提示词修复

社区证据类型：社区仅请求开放制品

把π0.5板端反应延迟压到165.1ms/6.06Hz，并在Orin布料任务给出每子任务10次分母；开放LIBERO与边缘运行时，但真机闭包未发布。

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–1 个月窗口。
社区可复查验证 · 1/25
只有发布渠道请求，无独立运行日志、延迟复算或机器人结果。
跨领域技术创新 · 20/20
连接VLA训练、未来动作校正、CUDA图复用、缓存、扩散展开和llama.cpp式边缘运行时。
量化实机证据 · 8/10
X2-W三子任务各10次；Orin为10/10、8/10、9/10，并与4090和朴素异步同表。
开放与可复现 · 4/5
Apache/MIT代码和12.60GB权重可取；无X2-W控制器/数据/权重且需自行转GGUF。
工程实用增量 · 5/5
Orin从0.70Hz升至6.06Hz，Thor升至7.59Hz，直接针对机器人反应延迟。

社区可复查证据：

社区证据 1
— external request for a Hugging Face release; not an execution or metric report.

证据缺口：缺少显式可复查社区复现/部署证据；无独立板端复现；X2-W数据/控制器/策略私有；无预转换GGUF；物理任务只布料流程；上游模型许可需拆分；无正式Release

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-01T04:59:08Z

技术标签: 通用或轻量 VLA, 视觉语言动作模型, 低算力高性能, 边缘部署, 异步推理, 世界模型与未来表征

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

证据原文:

deploying VLA models on low-power onboard devices, such as the Jetson Orin
Orin 0.70→6.06 Hz

已终审工程资源

官方代码 · 许可证 Apache-2.0 for project code; bundled Gemma, openpi and LIBERO components retain separate terms · 最近核验 2026-07-21
依赖：Ubuntu 22.04、Python 3.11、JAX 0.5.3、CUDA 12.x、OpenPI / π0.5、LIBERO、MuJoCo/EGL or Xvfb、Orbax；硬件/传感器：At least 48 GB GPU memory recommended for batch-16 three-stage training、NVIDIA A100 used in the paper、NVIDIA Jetson Orin/Thor or desktop NVIDIA GPU for deployment/evaluation；实机证据：The paper reports X2-W cloth folding at 15 Hz with three cameras and 10 trials per subtask; the repository itself exposes only the demo media and LIBERO release, not the private X2-W robot stack.；开放范围/限制：Verified at commit 35de6060003f6260df293771ef083ff1033c99b6. The repository contains 160 tracked files, including 101 Python files; Python compileall passed. It open-sources LIBERO training/evaluation and policy serving, but not the X2-W physical dataset/controller. There is no formal GitHub release, and upstream component licenses remain separate.
官方权重 · 许可证 Mixed terms: ModelScope declares Gemma; pi05_libero retains openpi and Gemma terms; the future correction module follows the Jetson-PI Apache-2.0 project terms · 最近核验 2026-07-21
依赖：Jetson-PI repository、JAX/Orbax loader、OpenPI π0.5 configuration、LIBERO norm statistics、approximately 12.60 GB local storage；硬件/传感器：29 downloadable blobs totaling 12,603,238,852 bytes、GPU with sufficient memory for π0.5 inference、GGUF conversion required for Jetson-PI-Edge；实机证据：The published bundle is a LIBERO checkpoint plus the future correction module; it is not the paper's X2-W XR-1 physical checkpoint and does not reproduce the physical trial without a robot-specific policy and controller.；开放范围/限制：Verified at latest ModelScope revision 95207c5790aacbb3722b009111bbca1578993b3b. The 29 blobs include the π0.5-LIBERO backbone and a step-65000 future correction module. The model page is publicly accessible, but its card contains a stale Hugging Face download placeholder; use the ModelScope snapshot command documented in the official code repository. License obligations must be applied per component.
官方代码 · 许可证 MIT for the repository, with bundled llama.cpp and third-party notices retained · 最近核验 2026-07-23
依赖：CMake、C/C++ toolchain、CUDA for Jetson/NVIDIA acceleration、Python/NumPy for managed client、PI0 or PI0.5 source checkpoint、separate LLM/action and SigLIP GGUF conversion；硬件/传感器：NVIDIA Jetson Orin in the reported MAXN latency benchmark、Jetson Thor or CUDA desktop GPU、CPU builds are supported but not the reported real-time target；实机证据：The runtime accompanies the X2-W/Jetson Orin cloth-folding experiment; no independent robot deployment at the fixed commit was found.；开放范围/限制：No preconverted GGUF weights or formal release are supplied. Users must patch matching source-model metadata, split the vision tower and convert two files. The physical X2-W dataset, controller and checkpoint remain private.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

Jetson-PI 同时处理异步 VLA 的感知—执行错位和边缘端系统瓶颈：未来表征校正、置信度调度、CUDA 图复用、GPU 常驻缓存与 flow unroll 使 Orin 上控制频率从 0.70 Hz 提升到 6.06 Hz，并在 LIBERO 长延迟条件下保持 92.5% 平均成功率，属于低算力 VLA 部署 2.0、可能成为新主流。X2-W 折衣三子任务各 10 次达到 10/10、8/10、9/10；训练/评测代码、llama.cpp 边缘运行时和 12.60 GB 权重均已核验开放。局限是训练仍需 48 GB 显存/A100，边缘运行时要自行转换 GGUF，权重含 Gemma/openpi 混合条款，且独立复现尚未出现。

实机证据：quantified_x2_w_cloth_folding_on_jetson_orin；折衣分拣放三阶段各 10 次：RTX 4090 为 10/10、7/10、10/10；Orin naive async 为 6/10、0/10、5/10；Jetson-PI 为 10/10、8/10、9/10，动作执行 15 Hz。LIBERO 与系统表另分别报告 50 次/任务和 Orin 0.70→6.06 Hz。

硬件/本体：PrimeBot X2-W with head and two wrist cameras at 224×224、NVIDIA Jetson Orin、RTX 4090 comparison deployment

红旗与边界：完整三阶段训练推荐至少 48 GB 显存，论文训练用 A100，低算力优势主要发生在部署端；ModelScope 权重不是单一 Apache-2.0：π0.5/Gemma 与校正模块条款必须分开；Edge 仓库没有预转换 GGUF，用户需补配置、拆分并转换两个模型文件；实机只验证一个折衣流程、每子任务 10 次，跨机器人泛化仍未量化；两个代码仓均无正式 release，主仓仍有权重镜像和封闭评测相关开放事项；尚未发现独立团队固定版本复现

查看资源 · code · 状态 verified_open_fixed_commit · 许可证 Apache-2.0 for project code; Gemma, openpi and LIBERO terms remain separate
固定提交 35de6060003f6260df293771ef083ff1033c99b6，160 个受控文件、101 个 Python 文件；Python 静态编译通过。包含三阶段训练、LIBERO 评测、策略服务和 50 次/任务默认配置。
查看资源 · code · 状态 verified_open_fixed_commit · 许可证 MIT with bundled third-party licenses
固定提交 04de0b3bdee3f45aa848cc92b51fffe0655317bb，3,031 个受控文件；支持 PI0/PI0.5、CUDA/CPU、HTTP、Python 与 FlashRT 接口。需将策略和 SigLIP 分别转换为 GGUF。
查看资源 · weights · 状态 verified_open_modelscope_revision · 许可证 Mixed: ModelScope metadata marks Gemma; pi05_libero retains openpi/Gemma terms; future correction module follows Jetson-PI Apache-2.0
固定最新 revision 95207c5790aacbb3722b009111bbca1578993b3b，29 个 blob、12,603,238,852 bytes；包含约 12 GB π0.5-LIBERO 和约 157 MB future correction module。
data · 状态 uses_upstream_libero_no_new_dataset_release · 许可证 LIBERO and upstream terms
项目使用上游 LIBERO 数据，没有发布新的物理折衣数据或专属训练集。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-23。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。