论文记录 · 证据边界公开

EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents

arXiv · 2026-02-26 · 人类视频到机器人动作

论文元数据

作者: Wenjia Wang、Liang Pan、Huaijin Pi、Yuke Lou、Xuqian Ren、Yifan Wu、Zhouyingcheng Liao、Lei Yang、Rishabh Dabral、Christian Theobalt、Taku Komura
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 人类视频到机器人动作
机器人: 未关联具体机器人
DOI: 10.48550/arXiv.2602.23205
arXiv: 2602.23205
arXiv 当前版本: 2
arXiv 最近修订: 2026-04-02
arXiv 主分类: cs.CV
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已终审官方代码（开放范围与依赖见下）
权重: 未核验
数据: 已终审官方数据（下载、格式与上游条款见下）
许可证: 制品许可证已逐项核验（不等于可商用）

当前实践优先级

观察 · 61/100 · 4–6 个月

研发注意力：48/80 · 证据分项观察

工程落地：9/15 · 量化实机证据＋工程实用增量

标准分类标签：颠覆性分支

路线评审说明：低成本具身数据采集颠覆性分支

社区证据类型：尚无独立社区验证

双 RGB-D iPhone 同时采集人体、相机和场景几何，约 41 GB 数据与 Apache-2.0 代码真实可取；依赖文件存在语法/版本冲突，机器人下游栈和独立端到端复现缺失。

近期窗口 · 28/35
发布距评分基准日 6 个月，落入 4–6 个月窗口。
社区可复查验证 · 0/25
没有独立团队公开双 iPhone 标定、固定提交、41 GB 数据处理和可比 4D/机器人指标；作者发布请求不计社区复现。
跨领域技术创新 · 20/20
移动 RGB-D 采集、人体姿态/形状、动态场景重建、相机轨迹与人形动作控制数据被统一为场景感知 4D 表征。
量化实机证据 · 4/10
论文报告采集动作驱动下游人形 sim-to-real 控制，但公开仓库主要是采集与重建工具，不含完整机器人控制和部署链。
开放与可复现 · 4/5
Apache-2.0 代码、固定提交、约 39.49 GB 完整包和 1.87 GB 演示包可匿名获取；requirements.txt 仍需人工修复且上游人体/模型条款独立。
工程实用增量 · 5/5
两台消费级 RGB-D 手机可替代专用动作捕捉系统做场景对齐采集，演示包允许在全量下载前执行低成本冒烟测试。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；量化实机证据不足；无独立端到端复现；requirements.txt 有语法和版本冲突；完整数据未在本次核验中下载；SMPL 系列与上游模型/资产许可证需单独处理；完整机器人控制栈未发布

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

已终审工程资源

官方代码 · 许可证 Apache-2.0 · 最近核验 2026-07-20
依赖：Python 3.11 and CUDA-matched PyTorch、COLMAP and multiple vision submodules、requirements.txt requires manual correction before installation；硬件/传感器：CUDA-capable GPU; minimum VRAM not disclosed、two RGB-D iPhones for matching data collection；实机证据：Paper reports downstream humanoid sim-to-real motion control; public repository is primarily the capture/reconstruction pipeline.；开放范围/限制：Apache-2.0 covers repository code; third-party models, SMPL-family assets and datasets retain separate terms. The published requirements file has a syntax error and was not runtime-reproduced.
官方数据 · 许可证 Apache-2.0 declared on dataset card; upstream asset terms remain separate · 最近核验 2026-07-20
依赖：about 39.49 GB for dataset_release.tar、about 1.87 GB for dataset_demo.tar、repository preprocessing and visualization pipeline；硬件/传感器：large local storage and transfer bandwidth、CUDA-capable GPU for matching reconstruction workflow；实机证据：Paper uses collected motions for downstream humanoid control; dataset endpoint itself is not an independent real-robot reproduction.；开放范围/限制：Anonymous endpoint, file tree and sizes were verified without downloading the full payload. Dataset-card Apache-2.0 does not automatically relicense embedded third-party models or human-body assets.

“官方”表示归属与论文关系已核验；仍应按所列依赖、硬件和许可证复现。

工程资源评审结论与反面证据

official_code_and_dataset · 已核验官方资源
审核码：verified_official; 官方关系：verified_official_repository_and_dataset; 最近核验：2026-07-20
代码：已核验开放。作者项目页直接链接官方仓库；不可变提交 fff6c25 包含主流水线、安装文档、可视化工具、子模块配置和 Apache-2.0 LICENSE。
权重：Hugging Face 发布项包含 12.81 GB 的 ckpt_lazypack.tar，但该归档混合多个上游模型检查点，本批不把它单独提升为 EmbodMocap 自有权重。
数据：已核验匿名可访问的 Hugging Face 数据集页面、文件树和下载端点：完整数据归档约 39.49 GB，演示归档约 1.87 GB；本批未下载全部 41 GB 数据。
许可证：Apache-2.0；根目录代码许可证为 Apache-2.0；Hugging Face 数据卡也声明 Apache-2.0。VGGT、SAM、ViTPose、LingbotDepth、SMPL/SMPL-X、COLMAP 及其他第三方模型、人体资产和数据仍适用各自条款。
依赖：Conda/Python 3.11、PyTorch 2.4.1 with CUDA 12.4 or PyTorch 2.7.0 with CUDA 12.8、COLMAP, Open3D, SMPL-X, VGGT, LingbotDepth, Lang-SAM and ViTPose submodules、requirements.txt is not cleanly reproducible: it contains an invalid bare line '0.0.27.post2', duplicate packages and conflicting broad/pinned requirements
硬件/传感器：two moving RGB-D iPhones for the paper's capture workflow、CUDA-capable GPU for the documented reconstruction and learned-model pipeline; minimum VRAM is not disclosed、no physical robot is required for capture/reconstruction, while the paper reports downstream humanoid motion-control experiments
实机证据：The paper reports sim-to-real humanoid control trained from captured human motions; the public repository chiefly releases capture and reconstruction tooling rather than a complete robot deployment stack.
独立复现：未发现第三方在固定提交、同等双 iPhone 标定条件和可比 4D 重建/机器人指标下完成独立复现；本批未安装重依赖或运行 41 GB 数据流水线。
限制/反面证据：requirements.txt 当前存在语法错误和版本冲突，不能把“有安装文档”直接等同于一键可复现。；本批只核验了匿名下载端点、文件清单、大小与许可证声明，没有下载完整 39.49 GB 数据归档。；数据包和检查点包可能含受独立条款约束的上游模型或人体资产，Apache-2.0 不自动覆盖这些内容。；没有满足门槛的独立机器人复现。
当前建议：高价值数据采集路线（环境修复后试用）；低成本双手机采集兼具人类动作、场景几何和机器人迁移价值，值得优先跟踪；实践前先修复依赖文件并只用演示数据做环境冒烟测试。
重点标签：recency:2026、关联:颠覆性分支、关联:近期热门、关联:可能成为新主流、data-collection:dual-iphone-rgbd、artifact:official-code-data-open、license:Apache-2.0-with-upstream-boundaries、reproduction:environment-defect
核验来源：来源 1 · 来源 2 · 来源 3 · 来源 4 · 来源 5 · 来源 6

暂缓或驳回结论不会升级代码、权重或数据开放状态；Stars、转发和演示视频不等于独立复现。

原始来源

最近核验：2026-07-21。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。