Physics Teacher Selection
最后更新:2026-07-24。
本实验负责选择把 canonical generated SMPL-X pick–place motion 变成 executable teacher rollout 的方法。当前没有 winner:native InterMimic reproduction 已通过,但 project-motion 的公平比较仍在进行。
目标与假设
主假设是 RePHO-style alternating per-sequence refinement 比 fixed-reference tracker 更能吸收 generated motion 的 wrist/finger/contact 噪声;次假设是 pretrained HOI prior 比 scene-agnostic human prior 或 scratch expert 更节省 per-motion adaptation。
Baseline 与实验方案
baseline tier、统一指标和 stop gate 只在 评测策略 定义。最小比较组:
| 条件 | Family | 当前接入 |
|---|---|---|
| A0 | reference PD/open-loop | 待正式运行 |
| A1 | frozen PHC-X/ProtoMotions | direct pipeline 已有,正式同序结果待补 |
| A2/A3 | action/reference residual | 设计已冻结,实现/结果不完整 |
| A4 | pretrained OmniGrasp/InterMimic | adapters 与运行存在 |
| A6 | RePHO alternating refinement | official repo 已拉入,adapter 待实现 |
| A8 | scratch InterMimic/PhysHOI-style | InterMimic current full-sequence run 进行中 |
| A9 | shared multi-motion refiner | 未开始 |
公平比较约束
- project ranking 只使用 597-frame canonical motion、同一 body shape 和 exact scene/object geometry;
- native woodchair reproduction 只验证 upstream training path,单独成表;
- 所有 shape-mismatched、截短 reference 或旧 geometry contract 的 adapted 结果只作历史诊断;
- deterministic evaluation 与训练 stochastic mean 分开;
- completion、lift/hold/place、human tracking、object tracking 和 contact telemetry 必须齐全。
结果
Native reproduction
InterMimic official-aligned native woodchair single 在 4096 env / 500 epochs / 65.01M transitions 下完成 deterministic 268/268:
| 结果 | 数值 |
|---|---|
| deterministic success | 268/268, 100% |
| episode reward | 120.19 |
| human MPJPE | 14.54 cm |
| object position mean / RMSE | 7.27 / 8.35 cm |
| object rotation mean | 13.46° |
| contact P/R/F1 | 0.960 / 1.000 / 0.979 |
这证明 InterAct correction + official packing + InterMimic PPO 的 native 闭环可收敛,不证明未经 correction 的 KIMODO motion 会同样成功。
Historical OmniGrasp diagnostic
旧 163-frame cup transfer 在 zero fine-tuning 下完成 object trajectory,但 body shape/reference contract 与当前公平比较不一致。它仅支持“该 cup/scene 的 pretrained object-control 具有可运行信号”,详细边界见 OmniGrasp Cup Transfer。
Current strict OmniGrasp run
在保持 observation、reward、48D latent action、PPO、target-attributed contact
和 0.50 m object termination 不变的前提下,从 human-only epoch 400
恢复,并增加 0.25 m whole-body mean human tracking termination。连续训练到
epoch 700 后,[0,219) deterministic evaluation 为:
| Metric | Result |
|---|---|
| completion | 219/219 |
| human body mean / p95 | 12.03 / 24.06 cm |
| active arm-hand mean / p95 | 12.00 / 21.44 cm |
| object position mean / RMSE / p95 | 4.75 / 6.36 / 11.16 cm |
| max / final lift | 58.00 / 38.58 cm |
| longest lift hold | 108 frames |
| sustained lift success | 1 |
| target-contact gate ratio | 1.0 |
| human/object/fall early termination | false / false / false |
| passed | true |
epoch 500 仍只到 130/219,epoch 600 已推进到 198/219 并完成 lift,
但因 human mean error 达到 25.59 cm 被新 boundary 终止。epoch 700
在不放宽 boundary 的情况下完成全 clip,最后十帧 human mean error 从
19.60 cm 回落到 18.33 cm。这证明 mean human termination 能阻止此前
object-first policy 的严重人体漂移,同时保留 OmniGrasp latent manipulation
能力。它只通过了 219-frame pick clip;按本页公平比较约束,尚不能替代
597-frame full-sequence teacher gate。
Current full-sequence InterMimic
20260724_intermimic_latest_motion_full_0_596_scratch_5000e 正在训练,日志已超过 epoch 200;尚无稳定 checkpoint 的 deterministic full-sequence evaluation,因此所有 task metric 为 Unavailable。
GRAIL 与 RePHO
- GRAIL-Min 当前已有
trace_contract、E1/P0/collector 实现且 29 项定向 contract tests 通过;hash-bound E0 需随最新源码重跑,仍无正式 runtime/GPU outcome。 - RePHO official source 位于
submodules/RePHO,但 PhysHSI motion/body/object adapter 与输出 metric 尚未实现。
结论
- 已验证: official-aligned native InterMimic 能在其 native corrected reference 上训练出完整 physics rollout。
- 阶段性: shape-aligned strict OmniGrasp 已通过 219-frame pick clip,并同时满足 human boundary、target contact 和 lift/hold;仍需扩展到 597-frame full sequence,不能据此选定最终 teacher。
- 当前推断: project motion 的主要 gap 集中在 finger/contact 与 noisy reference,而非纯 locomotion;这支持优先实现 RePHO-style refinement 和 fingertip/contact ablation。
- 不能支持: 当前没有证据选择最终 teacher,也没有 shared teacher 或 student 结果。
输出路径
output/auto_experiments/20260717_intermimic_official_single_woodchair_5000e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_500e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_resume500_600e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_resume600_700e/
output/auto_experiments/20260724_intermimic_latest_motion_full_0_596_scratch_5000e/
submodules/RePHO/
待补证据
- 冻结 current 597-frame teacher manifest。
- 完成 A0/A1 deterministic lower bounds。
- 完成 current InterMimic deterministic evaluation。
- 实现 RePHO canonical reference/object/body-shape adapter。
- 以相同 seed/budget 运行 fixed-reference 与 alternating-refinement。
- 扩展到多 object/motion split 后再决定 shared teacher。