Experiments
实验沿完整闭环展开:
task + scene
-> Kinematic Generation: SMPL-X human/object motion
-> Teacher Model: full-reference physics tracking and refinement
-> gate-passed rollout dataset
-> Student Model: reference-free autonomous control
Kinematic Generation 先产出 motion;Teacher 把它变成物理上可信的 rollout; Student 再学习只凭当前状态、物体/场景信息和任务目标完成交互。
三个实验阶段
| 阶段 | 核心问题 | 主输出 |
|---|---|---|
| Kinematic Generation | 从 task 和 scene 生成的 SMPL-X human/object motion 是否满足时间、几何和 grasp contract? | canonical motion、contact/grasp hints 与输入 QA |
| Teacher Model | 给定同一条 generated motion,哪种控制器能稳定完成 tracking、contact 与 object task? | 可复核的 physics rollout 与 teacher dataset |
| Student Model | 不给 dense reference,只给当前状态和目标,能否自主完成 loco-manipulation? | reference-free policy、recovery 与 held-out evaluation |
三部分必须分开报告:Kinematic motion 合法不等于 Teacher 可执行;Teacher tracking 成功也不等于 Student 能自主完成任务。Student 训练数据不能来自未通过 physics gate 的轨迹。
论文要回答的问题
| 问题 | 对应实验 |
|---|---|
| task 与 scene 是否能生成满足 hand/object contract 的 kinematic interaction? | Kinematic Generation、Grasp refinement 与 external-generator comparison |
| generated motion 能否被稳定地转成物理可执行的人–物交互? | Teacher Model 的主比较与 baseline comparison |
| 哪些 observation、action correction 与 contact/object information 真正有用? | GRAIL、ResMimic、InterMimic、OmniGrasp、RePHO 和 scratch 对照 |
| 去掉 dense reference 后,student 是否仍能完成任务并在扰动下恢复? | Student distillation、state-based RL、scratch RL 与 held-out evaluation |
实验入口
| 部分 | 主要页面 | 对照与输入 | 统一规则 |
|---|---|---|---|
| Kinematic Generation | 主实验 | Grasp refinement、External generators | Evaluation Protocol |
| Teacher Model | 主实验:计划、baseline 与结果 | GRAIL–PULSE-X、OmniGrasp | Evaluation Protocol |
| Student Model | 计划与门槛 | teacher dataset、distillation、state-based RL | Evaluation Protocol |
数值、视频和已闭合结论进入 Results。本区保留实验设计、 运行条件、原始 artifact 和失败记录。
当前工作
- Teacher 与 Student 的输入边界、评测协议和 evidence gate 已冻结。
- 完成 Kinematic Generation 的 temporal QA,以及 shape、scene/object 与 role contract。
- 完成 Teacher 的 direct lower bound、PHC-X residual 对照和 HOI/refinement 对照。
- 只用通过 teacher gate 的成功与失败 rollout 冻结 teacher dataset。
- 训练 reference-free Student,完成 reference-leakage audit 和扰动恢复测试。
- 在固定 held-out object、scene、motion 与 goal split 上评测 Student。
各项的细粒度 TODO 和绿色 ✅ 完成记录保留在 Kinematic Generation、Teacher
Model、Student Model 及各 baseline 页面;这里仅说明它们之间的先后关系。
报告原则
- 统计单位是 case;frame、phase、seed 不是独立样本。
- failed、terminated 与 unavailable rollout 保留在分母。
- direct、native reproduction、adaptation 与新方法结果分开报告。
- 主表只比较输入、任务、shape、scene/object contract 与 evaluator 可匹配的方法。