跳转至

Physics Teacher Selection

最后更新:2026-07-24。

本实验负责选择把 canonical generated SMPL-X pick–place motion 变成 executable teacher rollout 的方法。当前没有 winner:native InterMimic reproduction 已通过,但 project-motion 的公平比较仍在进行。

目标与假设

主假设是 RePHO-style alternating per-sequence refinement 比 fixed-reference tracker 更能吸收 generated motion 的 wrist/finger/contact 噪声;次假设是 pretrained HOI prior 比 scene-agnostic human prior 或 scratch expert 更节省 per-motion adaptation。

Baseline 与实验方案

baseline tier、统一指标和 stop gate 只在 评测策略 定义。最小比较组:

条件 Family 当前接入
A0 reference PD/open-loop 待正式运行
A1 frozen PHC-X/ProtoMotions direct pipeline 已有,正式同序结果待补
A2/A3 action/reference residual 设计已冻结,实现/结果不完整
A4 pretrained OmniGrasp/InterMimic adapters 与运行存在
A6 RePHO alternating refinement official repo 已拉入,adapter 待实现
A8 scratch InterMimic/PhysHOI-style InterMimic current full-sequence run 进行中
A9 shared multi-motion refiner 未开始

公平比较约束

  • project ranking 只使用 597-frame canonical motion、同一 body shape 和 exact scene/object geometry;
  • native woodchair reproduction 只验证 upstream training path,单独成表;
  • 所有 shape-mismatched、截短 reference 或旧 geometry contract 的 adapted 结果只作历史诊断;
  • deterministic evaluation 与训练 stochastic mean 分开;
  • completion、lift/hold/place、human tracking、object tracking 和 contact telemetry 必须齐全。

结果

Native reproduction

InterMimic official-aligned native woodchair single 在 4096 env / 500 epochs / 65.01M transitions 下完成 deterministic 268/268

结果 数值
deterministic success 268/268, 100%
episode reward 120.19
human MPJPE 14.54 cm
object position mean / RMSE 7.27 / 8.35 cm
object rotation mean 13.46°
contact P/R/F1 0.960 / 1.000 / 0.979

这证明 InterAct correction + official packing + InterMimic PPO 的 native 闭环可收敛,不证明未经 correction 的 KIMODO motion 会同样成功。

Historical OmniGrasp diagnostic

旧 163-frame cup transfer 在 zero fine-tuning 下完成 object trajectory,但 body shape/reference contract 与当前公平比较不一致。它仅支持“该 cup/scene 的 pretrained object-control 具有可运行信号”,详细边界见 OmniGrasp Cup Transfer

Current strict OmniGrasp run

在保持 observation、reward、48D latent action、PPO、target-attributed contact 和 0.50 m object termination 不变的前提下,从 human-only epoch 400 恢复,并增加 0.25 m whole-body mean human tracking termination。连续训练到 epoch 700 后,[0,219) deterministic evaluation 为:

Metric Result
completion 219/219
human body mean / p95 12.03 / 24.06 cm
active arm-hand mean / p95 12.00 / 21.44 cm
object position mean / RMSE / p95 4.75 / 6.36 / 11.16 cm
max / final lift 58.00 / 38.58 cm
longest lift hold 108 frames
sustained lift success 1
target-contact gate ratio 1.0
human/object/fall early termination false / false / false
passed true

epoch 500 仍只到 130/219,epoch 600 已推进到 198/219 并完成 lift, 但因 human mean error 达到 25.59 cm 被新 boundary 终止。epoch 700 在不放宽 boundary 的情况下完成全 clip,最后十帧 human mean error 从 19.60 cm 回落到 18.33 cm。这证明 mean human termination 能阻止此前 object-first policy 的严重人体漂移,同时保留 OmniGrasp latent manipulation 能力。它只通过了 219-frame pick clip;按本页公平比较约束,尚不能替代 597-frame full-sequence teacher gate。

Current full-sequence InterMimic

20260724_intermimic_latest_motion_full_0_596_scratch_5000e 正在训练,日志已超过 epoch 200;尚无稳定 checkpoint 的 deterministic full-sequence evaluation,因此所有 task metric 为 Unavailable

GRAIL 与 RePHO

  • GRAIL-Min 当前已有 trace_contract、E1/P0/collector 实现且 29 项定向 contract tests 通过;hash-bound E0 需随最新源码重跑,仍无正式 runtime/GPU outcome。
  • RePHO official source 位于 submodules/RePHO,但 PhysHSI motion/body/object adapter 与输出 metric 尚未实现。

结论

  • 已验证: official-aligned native InterMimic 能在其 native corrected reference 上训练出完整 physics rollout。
  • 阶段性: shape-aligned strict OmniGrasp 已通过 219-frame pick clip,并同时满足 human boundary、target contact 和 lift/hold;仍需扩展到 597-frame full sequence,不能据此选定最终 teacher。
  • 当前推断: project motion 的主要 gap 集中在 finger/contact 与 noisy reference,而非纯 locomotion;这支持优先实现 RePHO-style refinement 和 fingertip/contact ablation。
  • 不能支持: 当前没有证据选择最终 teacher,也没有 shared teacher 或 student 结果。

输出路径

output/auto_experiments/20260717_intermimic_official_single_woodchair_5000e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_500e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_resume500_600e/
output/auto_experiments/20260724_v20_human400_strict_hmean25_et50cm_resume600_700e/
output/auto_experiments/20260724_intermimic_latest_motion_full_0_596_scratch_5000e/
submodules/RePHO/

待补证据

  1. 冻结 current 597-frame teacher manifest。
  2. 完成 A0/A1 deterministic lower bounds。
  3. 完成 current InterMimic deterministic evaluation。
  4. 实现 RePHO canonical reference/object/body-shape adapter。
  5. 以相同 seed/budget 运行 fixed-reference 与 alternating-refinement。
  6. 扩展到多 object/motion split 后再决定 shared teacher。