论文记录 · 证据边界公开

Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing

ICRA 2024; arXiv v3 · 2024-05-13 · 灵巧手与视觉触觉操作

论文元数据

作者: Ying Yuan、Haichuan Che、Yuzhe Qin、Binghao Huang、Zhao-Heng Yin、Kang-Won Lee、Yi Wu、Soo-Chul Lim、Xiaolong Wang
机构: University of California San Diego、Tsinghua University、University of Illinois Urbana-Champaign、University of California Berkeley、Dongguk University
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: 16 Force-Sensing Resistors、16-DOF Allegro Hand、Microsoft Azure Kinect、XArm6 robot arm
DOI: 10.1109/icra57147.2024.10610532
arXiv: 2312.01853
引用元数据: 33
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验开放
权重: 已核验未发布
数据: 已核验未发布
许可证: 许可证条款已核验（不等于可商用）

当前实践优先级

观察 · 51/100 · 25–36 个月

研发注意力：34/80 · 证据分项观察

工程落地：13/15 · 量化实机证据＋工程实用增量

标准分类标签：主流迭代

路线评审说明：视觉触觉融合·点云教师学生蒸馏·灵巧手 Sim2Real·主流迭代

社区证据类型：尚无独立社区验证

Robot Synesthesia 将 Azure Kinect 深度点云、16 个 FSR 触觉接触点和本体坐标统一到 PointNet，再以 Isaac Gym oracle teacher PPO、BC/DAgger student 连接到 XArm6+16-DOF Allegro Hand 真机手内旋转。它是可复查的视觉触觉融合与 Sim2Real 工程基线，但只有一种手型/任务簇，无发布 checkpoint、真机轨迹包或跨本体证据，不是触觉基础模型或 VLA。

近期窗口 · 13/35
发布距评分基准日 27 个月，落入 25–36 个月窗口。
社区可复查验证 · 3/25
作者链接的 MIT 仓含训练、rollout 和消融路径，但未发现跨手型独立复现。
跨领域技术创新 · 18/20
把视觉深度、FSR 接触点、本体坐标、oracle PPO teacher 与 BC/DAgger 感知 student 统一成可部署的视觉触觉接口。
量化实机证据 · 8/10
XArm6+Allegro 在论文定义的五个任务进行每项五次、60秒真机评测；无跨场景/跨本体分布。
开放与可复现 · 4/5
MIT 代码与 Isaac Gym 配置可核验，但 checkpoint、真机/教师轨迹和对象资产数据未打包。
工程实用增量 · 5/5
适合作为灵巧手触觉 adapter、点云接口与 Sim2Real 回归基线；需冻结传感标定、接触延迟和安全平面。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；无可下载 teacher/student checkpoint；无真机传感日志和教师轨迹数据包；仅 XArm6+Allegro 一种手型；跨物体/跨场景/跨本体多 seed 缺失；不含 WBC、语言或世界动作模型

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

Robot Synesthesia 是视觉—触觉一体化灵巧操作的可复查工程基线：以 Azure Kinect 深度点云、由 16 个 FSR 触发的触觉点云和机器人本体生成的增广点云在手掌坐标系输入同一 PointNet，而非事后拼接两个特征；低维 oracle teacher 以 PPO 在 Isaac Gym 训练，再经 BC 与 DAgger 蒸馏为感知 student。它在 XArm6 + 16-DOF Allegro Hand、16 个 FSR 与 Azure Kinect 上做了真实单/双物体和三轴手内旋转，并在论文定义的 5 个任务分别进行 5 次、60 秒真机评测。该项目有 MIT 代码、训练/数据采集脚本与传感消融开关，适合作为“主流视觉触觉融合迭代/Sim-to-Real 工程框架”比较基线；但没有可下载已训练 checkpoint 或原始真机/教师轨迹数据，评测只覆盖一种手型和该任务簇，不能写成通用触觉基础模型或跨本体泛化。

实机证据：author_real_xarm6_allegro_hand_visuotactile_sim_to_real_with_small_fixed_trial_protocol；作者将仿真训练的 student 部署到上述实机；控制频率为 10Hz。真实比较覆盖四向扳手、双球和多物体 x/y/z 轴旋转。表 III 明确每个策略在每任务测试 5 个 episode、每次 60 秒，指标为累计旋转角/落下前时长；例如完整 Touch+Cam+Aug+Syn 在双球为 22.9 圈/36.6s。论文还以八个真实物体及多种双球组合展示未见形状/尺寸/密度的定性泛化。它没有任务成功率、置信区间、跨实验室复现、跨手型/相机/FSR 布局测试或可下载失败日志。

硬件/本体：XArm6、16-DOF Allegro Hand、16 FSR tactile sensors、Microsoft Azure Kinect

红旗与边界：MIT 仅覆盖该仓库；不能延伸为 Allegro/XArm、Azure Kinect、FSR、训练数据或论文视频的商业许可；真实协议为每策略每任务 5 次、60 秒，适合横评但样本小；没有成功率与跨操作者统计；泛化是同一 Allegro 手和同一传感布置下的未见物体；没有跨手型、跨臂、跨人形本体或跨传感器迁移；方法是 PointNet 点云融合与 RL/蒸馏，不是触觉基础模型、VLA、世界模型或自然语言任务框架；无已发布 checkpoint、真机轨迹、训练对象资产包和数据许可证，外部复现须自行训练及处理仿真/标定缺口

查看资源 · paper · 状态 verified_primary_versions_identity_and_article_license · 许可证 CC BY 4.0 article license; separate from code and artifacts
arXiv 提供 v3 全文、方法、硬件、仿真和真机协议。
查看资源 · project · 状态 verified_official_author_project_page · 许可证 not an artifact license
作者项目页链接论文、视频和代码，并展示未用真机数据训练、在真实不同物体上的旋转实验和传感消融。
查看资源 · code · 状态 open_source · 许可证 MIT
作者项目页直链的仓库自称 Robot Synesthesia Codebase，包含 Isaac Gym 环境、URDF、teacher RL、仿真 rollout 收集、BC/DAgger student 与视觉/触觉消融脚本。
weights · 状态 no_trained_teacher_or_student_checkpoint_release_verified · 许可证 not disclosed
仓库的训练和 rollout 命令要求用户指定自身 checkpoint/logdir；未核验到作者提供的可下载 teacher、student 或 PointNet 权重。
data · 状态 no_packaged_real_robot_or_teacher_trajectory_dataset_verified · 许可证 not disclosed
代码可以从训练教师采集仿真轨迹，论文报告对象集与真机评测，但未核验到可下载的教师轨迹、真机传感日志、对象资产打包或数据集许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-25。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	10Hz

论文元数据

算力与训练档案 置信 medium · 模型 glm-5.3 · 更新 2026-09-02T00:29:15Z

算力与训练档案置信 medium · 模型 glm-5.3 · 更新 2026-09-02T00:29:15Z