论文记录 · 证据边界公开

TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects

arXiv preprint · 2026-03-14 · 灵巧手与视觉触觉操作

论文元数据

作者: Fengguan Li、Yifan Ma、Chen Qian、Wentao Rao、Weiwei Shang
机构: University of Science and Technology of China
发布日期精度: 日
研究方向: 灵巧手与视觉触觉操作
机器人: 16-DOF dexterous hand、7-DOF humanoid robotic arm、PaXini tactile arrays、two Intel RealSense D435 cameras
DOI: 10.48550/arXiv.2603.13869
arXiv: 2603.13869
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验可访问（使用限制见许可证）
权重: 已核验未发布
数据: 已核验未发布
许可证: 未核验

当前实践优先级

当前可实践 · 62/100 · 4–6 个月

研发注意力：49/80 · 近期跨域高潜·社区待验证

工程落地：11/15 · 量化实机证据＋工程实用增量

标准分类标签：技术改进版

路线评审说明：主流视觉触觉技术改进版·透明物体点云预训练·臂手协同

社区证据类型：尚无独立社区验证

TransDex 将透明物体点云重建预训练、细粒度视觉—触觉表征、多轮注意力与臂/手差异化动作头接入同一策略，并在专有7-DoF臂、16-DoF手与PaXini触觉阵列上报告透明物体操作。公开仓提供训练和ROS/TwinCAT部署入口，但没有许可证、权重或可下载数据，主比较没有任务试验分母；所以它是可用于阅读与本体自建数据复测的视觉—触觉技术改进版，不是社区验证、可商用开源方案或人形全身泛化证据。

近期窗口 · 28/35
发布距评分基准日 5 个月，落入 4–6 个月窗口。
社区可复查验证 · 2/25
官方仓包含具体训练、PointOps编译和ROS/TwinCAT部署路径；未发现独立硬件适配、指标复现或失败报告，仓库Stars/Forks不计入本维度。
跨领域技术创新 · 19/20
透明物体点云重建预训练、视觉触觉表征、遮挡/噪声建模、腕手差异化动作、多轮注意力、双相机与触觉力阵列结合为一个策略；没有触觉基础模型、语言、全身控制或跨本体量化证据。
量化实机证据 · 7/10
专有7-DoF臂、16-DoF手、PaXini指尖/指腹阵列、双D435、Manus-Metaglove与OptiTrack完成倒水、摇瓶和旋杯；作者主表为100/80/70%、均值83%，泛化每情景5次。主表没有任务次数、示范数、随机种子或置信区间，因此不按完整严格实机证据计满。
开放与可复现 · 2/5
官方仓公开代码、配置、PointOps、训练与本体部署说明；仓库无LICENSE，权重与示例/真实数据均未开放，用户必须自建本体数据并修改特定函数，因此不构成可商用或端到端复现闭包。
工程实用增量 · 4/5
Ubuntu 20.04、CUDA 12.9.1、Python 3.9、PointOps、pinocchio、ROS与TwinCAT构成可读的自建本体验证入口；训练示例要求4张GPU，模型大小、显存、时延、控制频率和安全边界未披露。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；无独立团队复现、硬件适配、失败记录或跨实验室对照；仓库无LICENSE；代码可访问不等于可商用、可再分发或长期维护；无公开权重、预训练示例数据、真实示范、任务切分、数据许可证或完整数据卡；主表无试验分母、示范数、随机种子和置信区间；只对泛化子实验的每情景5次给出分母；专有臂手、PaXini、TwinCAT与本体特定函数阻止直接外推到人形全身、五指手、足式、轮臂轮足或其他触觉传感器

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

TransDex以PyBullet中由ClearPose物体生成的手—物交互点云做遮挡/噪声重建预训练，再把预训练点云编码器、细粒度视觉—触觉表征、多轮注意力和臂/手差异化动作头合成端到端策略。真实平台是7-DoF humanoid arm、16-DoF灵巧手、PaXini指尖与指腹阵列（12×6和10×6，三轴力）、双RealSense D435、Manus-Metaglove和OptiTrack；透明杯倒水、锥形瓶摇晃、玻璃杯旋转的表内成功率为100/80/70%，均值83%，对3DTacDex-P的70/50/20%、均值47%。复杂背景、复杂照明和未见物体实验均披露每情景5次，均值80/73/80%；但主表未披露每任务次数、训练示范数、随机种子或置信区间，不能与有严格分母的灵巧手基准直接排名。官方仓库提供代码、配置、PointOps编译与训练/部署说明，但没有LICENSE文件、可下载示例数据或权重；README明确示例数据“later”发布、要求用户自建本体数据并修改特定函数。因此进入视觉—触觉、透明物体灵巧操作与真机臂手协同横评，标为近期主流技术改进版/部分开放，不作为人形全身、足式或多本体泛化证据。

实机证据：quantified_real_arm_hand_evidence_primary_trial_denominator_undisclosed；主任务为倒水、摇瓶、旋转透明杯，表报TransDex 100/80/70%、均值83%。主比较表未给每项次数；泛化部分明确复杂背景两类、复杂光照一类以及每任务两种未见物体各5次，因此仅这些泛化结果有可见分母。没有人形全身运动、足式、轮臂移动或跨本体实验。

硬件/本体：7-DOF humanoid robotic arm、16-DOF dexterous hand、PaXini tactile arrays、two Intel RealSense D435 cameras、Manus-Metaglove、OptiTrack

红旗与边界：仓库无LICENSE，代码商用/再分发权利未声明；示例预训练数据承诺将来发布，当前没有下载；真实示范和任务切分未发布；没有可下载权重或权重许可证；主比较表未披露试验分母、示范数、随机种子或置信区间；依赖专有臂手、PaXini触觉、TwinCAT和本体特定代码，不能直接迁移到人形或五指手；无独立团队复现或可核验失败报告

项目关系/同名消歧：arxiv-2607-29687、arxiv-2608-08904
仅在相同透明物体任务、相近臂手自由度、相同触觉阵列/力维度、训练示范预算和试验分母充分披露时，与3D-ViTac、3DTacDex-P、ReTouch等比较。论文主表没有试验分母；复杂背景/光照/未见物体各5次的结果应独立显示。

查看资源 · code · 状态 verified_official_public_repository_training_and_deployment_code_without_license · 许可证 not declared; repository has no LICENSE file
项目页直接链接该公开仓库；main有README、requirements和policy_ws源码，提供预训练、策略训练、ROS/TwinCAT实机部署与PointOps编译说明。2026-08-12仓库8 stars、1 fork、0 issues、最新提交2026-07-22；无LICENSE文件，不能推断商用或再分发权利。
weights · 状态 not_verified_publicly_released · 许可证 not declared
README只说明训练产生ckpt-last.pth和ckpts目录，未提供可下载checkpoint或模型许可证。
data · 状态 not_verified_publicly_released_example_dataset_pending · 许可证 not declared
README称PyBullet预训练示例数据将来才在Google Drive发布，链接仍被注释；策略训练依赖用户以自身本体采集数据。论文使用ClearPose物体和自建真实示范，但没有发布处理后数据、采集记录、任务切分或许可证。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

最近核验：2026-08-13。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。