论文记录 · 证据边界公开

RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

arXiv · 2026-07-07 · 世界模型与动作条件预测

论文元数据

作者: Haoyu Zhao、Xingyue Zhao、Hangyu Li、Biao Gong、Kehan Li、Siteng Huang、Xin Li、Deli Zhao、Zhongyu Li
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 世界模型与动作条件预测
机器人: 未关联具体机器人
DOI: 未披露
arXiv: 2607.06558
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验开放
数据: 已核验可访问（使用限制见许可证）
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

高潜待持续验证 · 75/100 · 0–6 个月

路线标签：近期热门、可能成为新主流、数字遥操作世界模型主流技术2.0候选

社区证据类型：尚无独立社区验证

把生成世界模型从离线数据增强推进到单H100约40FPS数字遥操作；代码、两套权重真实开放且生成数据有真机收益，但完整域适配数据和独立复现缺失。

近期窗口 · 35/35
发布距评分基准日 0 个月，落入 0–6 个月窗口。
社区可复查验证 · 0/25
尚无独立团队完成两套大权重和真机策略的端到端复现。
跨领域技术创新 · 20/20
人类视频预训练、手势条件世界模型、流式蒸馏、动作重定向与真机策略学习统一。
量化实机证据 · 10/10
TIANJI M6 四类双臂任务给出纯生成和增强训练的成功率。
开放与可复现 · 5/5
Apache-2.0 代码、SFT/Causal 权重与样例可取；完整训练数据缺失。
工程实用增量 · 5/5
单H100约40FPS把生成器推进到交互时延，并提供SFT/LoRA/蒸馏/FP8路径。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；完整1800条域适配数据未开；64×H100训练；模型卡arXiv标签错误；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0; upstream Wan2.2, human datasets and dependencies retain their terms · 最近核验 2026-07-21
依赖：Python、PyTorch CUDA 12.1、diffusers>=0.31、transformers>=4.44、DeepSpeed>=0.14、flash-attn>=2.5、Wan2.2-TI2V-5B-Diffusers、optional torchao for Hopper FP8；硬件/传感器：paper full training uses 64 NVIDIA H100 GPUs、streaming inference is measured on one H100、FP8 path requires H100 or H800；实机证据：paper evaluates four bimanual tasks on a TIANJI M6 mobile robot with dual WUJI dexterous hands and RealSense D435i；开放范围/限制：Code includes training, LoRA/SFT, distillation and streaming inference. The complete 1,800-episode robot adaptation dataset is not included, and no independent end-to-end reproduction has been verified.
官方数据 · 许可证 Apache-2.0 repository license; source human datasets and generated content terms require separate review · 最近核验 2026-07-21
依赖：RynnWorld-Teleop repository、safetensors、matching pretrained model and text encoder；硬件/传感器：repository documents an 8-GPU training pipeline test、samples can be inspected without reconstructing the full paper dataset；实机证据：sample files are not synchronized physical robot trajectories and do not reproduce the 1,800-episode adaptation corpus；开放范围/限制：Only quick-test samples are public. Do not label this as the paper's 1,800 real-robot episodes, VITRA/EgoDex pretraining data or generated policy training corpus.
官方权重 · 许可证 Apache-2.0 on model card; Wan2.2 base-model terms also apply · 最近核验 2026-07-21
依赖：RynnWorld-Teleop repository、Wan-AI/Wan2.2-TI2V-5B-Diffusers、diffusers、CUDA GPU、approximately 20 GB local checkpoint storage；硬件/传感器：large-memory CUDA GPU required、paper training uses 64 H100 GPUs、minimum working VRAM is not documented；实机证据：checkpoint lineage supports the paper's TIANJI M6 generated-data and augmentation experiments; direct robot-control actions are produced by downstream policies, not this video checkpoint；开放范围/限制：The Hugging Face card incorrectly tags arxiv:2602.14979 rather than the paper's 2607.06558. The binary files are present, but this metadata conflict and upstream base-model terms must remain visible.
官方权重 · 许可证 Apache-2.0 on model card; Wan2.2 base-model terms also apply · 最近核验 2026-07-21
依赖：RynnWorld-Teleop repository streaming entry point、Wan-AI/Wan2.2-TI2V-5B-Diffusers、diffusers、CUDA、optional torchao FP8；硬件/传感器：paper/project report approximately 39 to 40+ FPS on one H100、Hopper-only FP8 optimization path、lower-cost GPU latency is not documented；实机证据：used as the interactive digital-teleoperation generator whose synthetic trajectories are evaluated through downstream TIANJI M6 policies；开放范围/限制：This is a video-generation world-model checkpoint, not a ready robot policy. The advertised real-time rate is a single-H100 result and does not establish edge deployment.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

每日候选人工终审

RynnWorld-Teleop 把人类手势流转成机器人第一视角交互视频，蒸馏到单 H100 约 39–40+ FPS，并用纯生成数据训练的策略做 TIANJI M6 双臂真机零样本迁移。官方 Apache-2.0 代码、两套非 gated 权重和样例已开放，是数字遥操作/世界模型数据引擎的近期重要基础设施；但全模型训练需 64×H100，完整 1,800 条实机域适配数据未开放，模型卡还误标另一 arXiv ID。

实机证据：quantified_four_task_bimanual_physical_robot_evaluation；四个真实双臂任务；生成数据单独训练的策略在 Block Pushing/Bimanual Lifting 达 82.86%/77.14%，混入生成数据把 π0 从 42.86% 提至 62.86%、π0.5 从 34.29% 提至 54.29%。

硬件/本体：TIANJI M6 mobile robot、dual arms、dual WUJI dexterous hands、RealSense D435i

红旗与边界：完整训练使用 64×H100；完整 1,800 条机器人数据未开放；权重依赖约 5B Wan2.2 基座；HF 模型卡错误标 arxiv:2602.14979；39/40+ FPS 只在单 H100 上；没有独立端到端复现

查看资源 · code · 状态 official_substantive_fixed_commit · 许可证 Apache-2.0
固定提交 503333bd4cd42e79d680f26298ea5e5625831dc6；8 commits、121 个工作树文件，含训练、SFT/LoRA、蒸馏、流式推理和 3 个 quick-test 样例入口。
查看资源 · weights · 状态 official_public_sft_revision_verified · 许可证 Apache-2.0 model card; Wan2.2 upstream terms also apply
固定修订 99c33540d8cd028aaf29dd6ee9bfba7e6d00cb76，5 文件约 20.004GB，非 gated。
查看资源 · weights · 状态 official_public_causal_revision_verified · 许可证 Apache-2.0 model card; Wan2.2 upstream terms also apply
固定修订 b7bdf02f6f19f57a424bae80a71f48e58dbdb4de，6 文件约 12.267GB，非 gated。
查看资源 · data · 状态 official_three_sample_quick_test_only · 许可证 Apache-2.0 repository license; upstream human datasets retain terms
仓库说明仅提供 3 个 quick-test sample，不是论文 1,800 条机器人域适配集或人类预训练数据。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。