评测策略
最后更新：2026-07-27。
本页是 baseline 分层、公平比较、指标和 evidence gate 的唯一权威来源。它不维护某次运行的最新状态或数值；总进度见 Experiments，Teacher/Student 的状态分别见 Teacher Model 与 Student Model，结果见各单项实验页。
评测对象
评测分成两个不能混排名的问题：
- RQ-A / teacher： 给定同一条 dense generated reference，得到物理可执行 trajectory。
- RQ-B / student： 给定 current state 与 sparse goal，在没有 dense reference 的条件下自主完成任务。
RQ-A 的 controller、rollout 或 checkpoint 只有通过 G3 teacher gate 后才可称为 teacher；在此之前都只是 teacher candidate。RQ-B 是论文最终的部署问题， 不是把 RQ-A 中任一 tracker 直接换名为 student。
RQ-A baseline 分层
| Tier | Baseline family | 初始化 | 是否训练 | 负责回答 |
|---|---|---|---|---|
| A0 | Reference PD / open-loop | 无 | 否 | raw motion 是否直接可执行 |
| A1 | Frozen scene-agnostic tracker | human prior | 否 | human tracking 上界、object lower bound |
| A2 | Human tracker + action residual | human prior | per-reference/shared | 小 residual 是否足够吸收 HOI gap |
| A3 | Human tracker + reference residual | human prior | optimize reference | 主要问题是否来自 noisy target |
| A4 | Pretrained HOI tracker | HOI prior | zero-shot/fine-tune | object/contact prior 是否直接迁移 |
| A5 | HOI tracker + residual | HOI prior | per-reference/shared | pretrained HOI prior + correction |
| A6 | RePHO-style alternating refinement | HOI prior | per-reference | policy/reference 双向更新是否最稳 |
| A7 | Trajectory optimization / MPC | physics model | per-sequence | 不依赖 policy learning 的优化下界 |
| A8 | Scratch contact-aware HOI expert | 无 | per-reference | pretrained prior 的必要性 |
| A9 | Shared multi-motion refiner | human/HOI prior | shared | per-sequence 成功能否规模化 |
具体实现名映射到 tier 时，必须同时声明 control space、reference update、conditioning 和 training unit；只有方法名不够。
当前 single-case 的具体映射
这张表只冻结当前 canonical SMPL-X pick--place case 的比较角色，不表示已有 训练结果。A3/A5/A7/A9 保留为后续问题，不能为凑齐 tier 而伪造一个条件。
| 条件 | Tier | 具体角色 | 比较边界 |
|---|---|---|---|
| Reference PD/open-loop | A0 | 不训练的物理下界 | raw reference 是否可直接执行 |
| frozen PHC-X direct tracking | A1 | scene-agnostic human-prior 下界 | ProtoMotions 只作 body-tracking diagnostic，不进入 full-HOI 排名 |
| ResMimic-style PHC-X adaptation | A2-R | frozen PHC-X + direct-action residual | generic residual 是否已足够 |
| GRAIL-style PULSE-X adaptation | A2-G | frozen PULSE-X reference encoder/decoder + 48D latent residual |
scene-aware latent correction 能否形成 SMPL-X teacher candidate |
| InterMimic | A4 | pretrained HOI full-reference tracker | HOI prior 的迁移能力 |
| OmniGrasp | A4 diagnostic | pretrained object-control 路线 | 仅作 object-control 诊断，不能取代 full-sequence teacher 排名 |
| RePHO-style alternating refinement | A6 | per-reference policy/reference refiner | 双向 refinement 是否优于 fixed reference |
| scratch contact-aware expert | A8 | 无预训练对照 | pretrained prior 是否必要 |
A2-R 与 A2-G 必须共享 canonical reference、shape、scene/object geometry、 evaluation budget 和 telemetry，但分别保留 PHC-X direct-action 与 PULSE-X latent-action controller 合同。二者是同一任务上的 system-level baseline，不是 只改变 scene awareness 的单因素消融；因此结论必须同时披露 controller 与 control-space 差异。二者都改变了 original G1/checkpoint/body interface，故只能称 style adaptation，不得写作 ResMimic 或 GRAIL 的严格复现。
外部完整系统约束
SUGAR、MaskedManipulator/MimicManipulator、InterPrior、HumanVLA、OmniH2O、HumanPlus、 VisualMimic、CWI、HumanoidMimicGen、GRAIL、HOI-FHLI 与 RePHO 已分别覆盖 teacher、 refiner、student、physics data engine 或端到端 HSI。DeVI 进一步覆盖 generated synthetic-video input 到 dexterous physics HOI。它们不是当前 single-case runner 必须 立刻全部运行的条件，但 paper-level related work 与主张必须讨论其 overlap；完整对照来源见 Deep-Research Audit。
RQ-B baseline 分层
| Tier | Deployment observation | 训练方式 | 负责回答 |
|---|---|---|---|
| S0 | dense reference | full-reference expert | teacher 上界，不是最终方法 |
| S1 | current state + object goal | teacher distillation | 去掉 reference 后能否复现任务 |
| S2 | current state + object/scene perception + sparse goal | distillation + state-based RL | 感知条件下是否改善恢复与泛化 |
| S3 | current state + object/scene perception + sparse goal | scratch RL | teacher data 的必要性 |
| S4 | state + richer geometry | distillation + RL | scene/object geometry 增益 |
| S5 | variable task tokens | TokenHSI-style | 多技能组合 |
| S6 | Chain-of-Contacts | UniHSI-style | contact controllability |
| S7 | relative-movement goals | VLM-RMD-style | 通用 relation task |
主 student 比较首先是 S1/S2/S3；其中 S1 可以先以 simulator state 验证 reference-free 闭环，S2/S3 则是最终 state-conditioned, perception-ready loco-manipulation 的比较。S5–S7 只能在基本闭环成立后展开。
公平比较约束
共同输入
- 同一 canonical
motion.npz与 timeline； - 同一
layout_json、target object id、exact mesh、mass 与 support geometry； - 同一 SMPL-X body shape、joint mapping 与 active-hand semantics；
- 同一 coordinate transform 与 initial state；
- 同一 simulator、physics timestep、control frequency 和 episode horizon。
共同预算
同时报告 wall-clock、environment steps/transitions、epochs/iterations、并行 env 数和 checkpoint selection rule。pretrained compute 与 per-reference adaptation compute 分栏，不把 zero-shot 与长时间 scratch 训练伪装成等预算。
共同统计
- 固定 case split 与 seed list；
- deterministic policy-mean 与 stochastic rollout 分开；
- 总分母、有效 episode、失败 episode和 unavailable telemetry 同时报；
- checkpoint 不能按 test metric 事后挑选；
- native reproduction、project adaptation 和 architecture ablation 分表。
RQ-A 指标
Human tracking
- root position/orientation error；
- body MPJPE、position RMSE、rotation error；
- feet slip、ground penetration、self-collision；
- valid prefix / completion ratio。
Object tracking 与任务
- object position/rotation error；
- lift height、sustained lift/hold duration；
- final object goal error；
- place support relation、drop/release；
- pick、carry、place 及 full task success。
Contact 与 physics
- target-contact precision/recall/F1 或 attribution ratio；
- active-hand contact duration 与 non-target contact；
- penetration depth；
- object/ground/support force与稳定性；
- termination reason。
contact force 不能单独定义 grasp success；必须与 lift、hold、drop 和 completion 联合。
Efficiency
- adaptation time；
- transitions/gradient steps；
- peak memory 与 GPU model；
- 每条 motion 的额外存储。
RQ-B 指标
student primary metric 是 task success、goal error、time-to-completion、recovery 和 held-out generalization，不是 dense-reference MPJPE。若存在 teacher 对齐，可将 trajectory similarity 作为辅助诊断。
必须额外审计：
- actor deployment observation 是否泄漏 future/reference；
- seen/unseen object、scene、motion、goal split；
- teacher–student success gap；
- perturbation recovery；
- goal-interface 消融。
Evidence gate
| Gate | 要求 | 失败后的含义 |
|---|---|---|
| G0 Interface | schema、shape、坐标、timeline、asset identity 通过 | 不得进入算法比较 |
| G1 Kinematic | hand/object/body/temporal render gate 通过 | input 尚不可信 |
| G2 Physics telemetry | human/object/contact/termination 均可计算 | 指标缺失标为 Unavailable |
| G3 Single-case teacher | 多 seed 完成且失败全记录 | 只支持 per-case stage evidence |
| G4 Multi-case teacher | 固定 split 上稳定 | 才能选择 shared teacher |
| G5 Student isolation | deployment 无 reference leakage | 才能声称 state-based |
| G6 Held-out student | 未见 object/scene/goal 成功 | 才能声称 generalization |
证据语言
- 已验证： 有代码、测试、可复现命令和直接 metric/output 支持。
- 当前推断： 有观察或诊断，但缺控制变量实验。
- 待验证： 只有假设、计划或尚未执行的工作。
Dashboard 状态：
已验证：充分直接证据；阶段性：单例、小 subset 或有限条件；待验证：协议/计划/推断；Unavailable：当前 telemetry 不能计算。