论文记录 · 证据边界公开

LIME: Learning Intent-aware Camera Motion from Egocentric Video

arXiv technical report · 2026-07-02 · 人类视频到机器人动作

论文元数据

作者: Boyang Sun、Jiajie Li、Yung-Hsu Yang、Chenyangguang Zhang、Tim Engelbracht、Sunghwan Hong、Cesar Cadena、Marc Pollefeys、Hermann Blum
机构: 机构尚未补齐
发布日期精度: 日
研究方向: 人类视频到机器人动作
机器人: Boston Dynamics Spot with arm、InteriorGS simulated camera agent、LIBERO simulated manipulator
DOI: 未披露
arXiv: 2607.02417
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

观察 · 62/100 · 2–3 个月

研发注意力：54/80 · 近期跨域高潜·社区待验证

工程落地：8/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：主动感知技术2.0·跨域VLA前置·作者Spot演示·制品待开放

社区证据类型：尚无独立社区验证

从被动第一视角视频学习语言意图到SE(3)视点，LIBERO配对rollout从26%升到74%并有Spot定性演示；但训练约480 GH200 GPU小时、单次决策2.83秒，代码权重数据均未开放。

近期窗口 · 32/35
发布距评分基准日 2 个月，落入 2–3 个月窗口。
社区可复查验证 · 2/25
全文、项目媒体和人工裁判审计可查；没有实现、权重、benchmark或独立运行。
跨领域技术创新 · 20/20
把第一视角视频、VLM观察增益、SE(3)流匹配、主动导航、VLA操作前置和结果核验统一为语言视点接口。
量化实机证据 · 4/10
Spot机械臂真实媒体和1,700对实机LoRA数据可查，但没有任务数、重复分母、失败率或端到端时延。
开放与可复现 · 0/5
项目页Code按钮为#；无LIME代码、权重、派生数据、benchmark、日志或方法许可证。
工程实用增量 · 4/5
主动视点能显著改善部分遮挡操作，但当前2.83秒/步和高训练成本只适合低频旁路，不适合高频视觉闭环。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；量化实机证据不足；16张GH200约30小时训练；RTX4090上2.83秒/决策；Gemini裁判比人工总体宽松6.4个百分点；Spot实机无任务与成功分母；无代码、权重、数据、benchmark、许可证和独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

LIME把被动人类第一视角视频转成语言意图、观察增益描述和连续SE(3)相机目标位姿，给导航、操作前视点选择、结果核验与EQA提供统一主动感知接口。约300万意图样本训练后，InteriorGS 425例三次运行总体SR/碰撞感知SR为47.7/34.4%，明显高于适配后的公开基线；LIBERO 10任务50次配对rollout从26%升到74%。但主要训练需16张GH200约30小时，RTX 4090上每次决策仍2.83秒，不是低算力实时方案。Gemini裁判总体比人工宽松6.4个百分点，物理Spot只展示定性视频且实机LoRA另用1,700对数据和4张未说明型号的GPU。官方项目页Code/Video按钮都指向#，未发布LIME代码、权重、300万派生样本、425例benchmark、Spot日志或许可证。

实机证据：author_qualitative_spot_arm_active_camera_and_vidbot_media_without_trial_denominator；作者在Spot机械臂手眼相机上展示查看物体下方、烤箱左侧、操作前揭示目标和操作后核验等序列；实机使用约1,700个Aria Gen 1起终点对做rank-64 LoRA适配并在4张GPU上训练3轮。论文和项目页未给物理任务数、每任务重复、成功/失败分母、碰撞、控制时延、急停或相机标定误差。

硬件/本体：Boston Dynamics Spot with arm、RGB-D hand camera、VidBot manipulation policy

红旗与边界：16张GH200约30小时，约480 GPU小时；部署成本并不低；RTX 4090上平均2.83秒/决策，不能直接作为高频闭环主动视觉；主要benchmark只有425例，成功允许轨迹任一帧满足且运动预算达6米/600度；Gemini总体SR比人工高6.4个百分点，探索/视角变换宽松8至9.3个百分点；基线都需动作/相机接口适配，虽做适配消融但不是原生同构方法；LIBERO每任务只有5个起点、单次rollout，共50次且是仿真；Spot实机为作者定性媒体，没有任务分母、碰撞或端到端时延；代码、权重、派生数据、benchmark、日志和方法许可证均未开放；无独立复现

查看资源 · project · 状态 official_project_media_page_with_code_and_video_buttons_pointing_to_hash_placeholders · 许可证 Project website footer is CC BY-SA 4.0; this does not license the unreleased method, model, data or benchmark
项目页含方法图、Spot/LIBERO/EQA媒体和论文链接，但Code与Video按钮href均为#。作者公开仓列表和题名检索未发现LIME实现。
code · 状态 no_official_lime_training_inference_robot_adapter_or_evaluation_repository_found · 许可证 No LIME software license is disclosed
未开放Qwen3-VL-4B训练层、观察增益标注器、流匹配头、InteriorGS rollout、Spot适配器、LIBERO集成、Gemini/人工裁判协议或环境锁。
weights · 状态 no_main_or_spot_lora_checkpoint_found · 许可证 No checkpoint license or base-model derivative terms are disclosed
主模型、4B/8B消融、Spot LoRA和推理配置都未下载开放。
data · 状态 derived_three_million_intent_examples_benchmark_and_robot_adaptation_pairs_not_released · 许可证 No derived-dataset license or upstream redistribution matrix is disclosed
约300万RoomTour3D/Nymeria意图样本、425例InteriorGS benchmark、90例人工审计子集、1,700对Aria实机适配数据和Spot/LIBERO原始日志均未开放。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	4张GPU
训练时长	3轮
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 medium · 模型 glm-5.3 · 更新 2026-09-01T07:54:35Z

算力与训练档案置信 medium · 模型 glm-5.3 · 更新 2026-09-01T07:54:35Z