跳转至

Experiments

实验沿完整闭环展开:

task + scene
  -> Kinematic Generation: SMPL-X human/object motion
  -> Teacher Model: full-reference physics tracking and refinement
  -> gate-passed rollout dataset
  -> Student Model: reference-free autonomous control

Kinematic Generation 先产出 motion;Teacher 把它变成物理上可信的 rollout; Student 再学习只凭当前状态、物体/场景信息和任务目标完成交互。

三个实验阶段

阶段 核心问题 主输出
Kinematic Generation 从 task 和 scene 生成的 SMPL-X human/object motion 是否满足时间、几何和 grasp contract? canonical motion、contact/grasp hints 与输入 QA
Teacher Model 给定同一条 generated motion,哪种控制器能稳定完成 tracking、contact 与 object task? 可复核的 physics rollout 与 teacher dataset
Student Model 不给 dense reference,只给当前状态和目标,能否自主完成 loco-manipulation? reference-free policy、recovery 与 held-out evaluation

三部分必须分开报告:Kinematic motion 合法不等于 Teacher 可执行;Teacher tracking 成功也不等于 Student 能自主完成任务。Student 训练数据不能来自未通过 physics gate 的轨迹。

论文要回答的问题

问题 对应实验
task 与 scene 是否能生成满足 hand/object contract 的 kinematic interaction? Kinematic Generation、Grasp refinement 与 external-generator comparison
generated motion 能否被稳定地转成物理可执行的人–物交互? Teacher Model 的主比较与 baseline comparison
哪些 observation、action correction 与 contact/object information 真正有用? GRAIL、ResMimic、InterMimic、OmniGrasp、RePHO 和 scratch 对照
去掉 dense reference 后,student 是否仍能完成任务并在扰动下恢复? Student distillation、state-based RL、scratch RL 与 held-out evaluation

实验入口

部分 主要页面 对照与输入 统一规则
Kinematic Generation 主实验 Grasp refinementExternal generators Evaluation Protocol
Teacher Model 主实验:计划、baseline 与结果 GRAIL–PULSE-XOmniGrasp Evaluation Protocol
Student Model 计划与门槛 teacher dataset、distillation、state-based RL Evaluation Protocol

数值、视频和已闭合结论进入 Results。本区保留实验设计、 运行条件、原始 artifact 和失败记录。

当前工作

  • Teacher 与 Student 的输入边界、评测协议和 evidence gate 已冻结。
  • 完成 Kinematic Generation 的 temporal QA,以及 shape、scene/object 与 role contract。
  • 完成 Teacher 的 direct lower bound、PHC-X residual 对照和 HOI/refinement 对照。
  • 只用通过 teacher gate 的成功与失败 rollout 冻结 teacher dataset。
  • 训练 reference-free Student,完成 reference-leakage audit 和扰动恢复测试。
  • 在固定 held-out object、scene、motion 与 goal split 上评测 Student。

各项的细粒度 TODO 和绿色 完成记录保留在 Kinematic Generation、Teacher Model、Student Model 及各 baseline 页面;这里仅说明它们之间的先后关系。

报告原则

  1. 统计单位是 case;frame、phase、seed 不是独立样本。
  2. failed、terminated 与 unavailable rollout 保留在分母。
  3. direct、native reproduction、adaptation 与新方法结果分开报告。
  4. 主表只比较输入、任务、shape、scene/object contract 与 evaluator 可匹配的方法。