论文记录 · 证据边界公开

Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences

arXiv technical report · 2026-07-14 · preference aligned robot policy and offline reinforcement learning

论文元数据

作者: Taehyung Kim、Gwangmo Lee、Minjun Chang、Sunghyun Lim、Jongeun Choi
机构: 机构尚未补齐
发布日期精度: 日
研究方向: preference aligned robot policy and offline reinforcement learning
机器人: D4RL MuJoCo Ant、D4RL MuJoCo HalfCheetah、D4RL MuJoCo Hopper、D4RL MuJoCo Walker2d
DOI: 未披露
arXiv: 2607.12466
引用元数据: 0
记录状态: included
质量检查: 无自动质量红旗

工程资源状态

代码: 已核验未发布
权重: 未核验
数据: 未核验
许可证: 未核验

当前实践优先级

观察 · 55/100 · 0–1 个月

研发注意力：51/80 · 近期跨域高潜·社区待验证

工程落地：4/15 · 量化实机证据＋工程实用增量

标准分类标签：主流技术2.0

路线评审说明：偏好学习技术2.0·极低算力路线·真机待验证

社区证据类型：尚无独立社区验证

跨用户共享SPR表征与leaky EM奖励分群把逐人策略压缩为少量代表策略，4核CPU/24 GB即可完成论文实验；但30名用户全为脚本生成，真实用户和物理机器人仍是未来工作。

近期窗口 · 35/35
发布距评分基准日 1 个月，落入 0–1 个月窗口。
社区可复查验证 · 2/25
论文披露环境、用户/反馈规模、100,000步IQL和CPU软件栈；没有公开实现或独立运行。
跨领域技术创新 · 14/20
把个性化偏好学习、聚类、SPR表征、EM和离线RL连接到部署策略验证负担。
量化实机证据 · 0/10
全部为D4RL MuJoCo仿真和脚本用户。
开放与可复现 · 0/5
无代码、配置、种子、checkpoint、派生数据或许可证。
工程实用增量 · 4/5
少量簇策略降低逐用户训练和验证成本，且无需GPU；真实偏好漂移与安全验证尚未覆盖。

社区可复查证据：尚未收录；Stars、forks 与作者演示不计社区验证。

证据缺口：缺少显式可复查社区复现/部署证据；开放与复现条件不足；量化实机证据不足；无真人偏好；无物理机器人；噪声完全合成；无公开制品；无独立复现

当前实践分只决定今天的阅读与最小验证优先级；近期、社区验证和跨领域创新合计 80/100，不会把前沿观察条目自动升级成候选或确认里程碑。社区维度只有显式独立证据才能得高分，只有失败记录时必须标为社区反证。

每日候选人工终审

PREC把逐用户偏好学习改造成少量代表性奖励簇：先用跨用户无标签轨迹预训练共享SPR表征，再用leaky EM联合分群和训练奖励头，最后每簇训练一条IQL策略。30名脚本用户、四个D4RL MuJoCo环境和两级合成噪声显示其在稀疏反馈下改善聚类及三类社会福利，且只用4核CPU/24 GB；这是低算力偏好学习的近期方法增量。但论文没有真实用户、真机、代码、数据处理脚本或许可证，标题中的Deployable描述的是验证负担设计目标，不是已部署证据。

实机证据：simulation_only_scripted_users_no_physical_robot；所有偏好来自30名脚本用户，不是真人标注；四个D4RL环境的random/medium/expert轨迹按1:2:2混合，每用户用于聚类的反馈量为50，福利实验为Hopper/Walker2d各50、HalfCheetah/Ant各100段。每簇策略用IQL训练100,000步，效用按每簇20个rollout估计。正文明确未来才扩展到真实人类偏好和物理机器人。

硬件/本体：D4RL MuJoCo locomotion simulations

红旗与边界：全部30名用户均为脚本标签器，没有真人偏好或人机研究；只在四个D4RL MuJoCo环境验证，没有真机、外骨骼或物理助行设备；16%和28%噪声由B-Pref规则合成，不能替代真实标注噪声；没有代码、配置、种子、训练日志、模型、派生数据或制品许可证；每簇效用只由20个rollout估计，完整福利图的逐比较置信区间没有统一披露；无独立复现

code · 状态 no_official_repository_data_or_model_release_found · 许可证 No code, configuration, model, derived data or artifact license is disclosed
论文和arXiv记录没有项目或仓库链接；按标题、arXiv ID和作者检索未发现官方实现。论文披露Python 3.9.25、PyTorch 2.7.1、MuJoCo 3.2.5等版本，全部实验使用Intel Xeon Gold 5320节点、每任务4核CPU和24 GB内存、无GPU，但没有环境锁、种子、脚本或checkpoint。

论文入库不等于代码、权重或数据开放；“承诺开放”“声称开放”和“已核验可下载”严格分开。

原始来源

人工终审论文来源

最近核验：2026-07-22。链接存在不等于官方仓库、可运行、已开放权重/数据或许可证允许使用。

训练算力(显卡)	未披露
训练时长	未披露
部署推理硬件	未披露
显存/内存/CPU 占用	未披露
运行效率(Hz)	未披露

论文元数据

算力与训练档案 置信 low · 模型 glm-5.3 · 更新 2026-09-02T16:28:58Z

算力与训练档案置信 low · 模型 glm-5.3 · 更新 2026-09-02T16:28:58Z