评测策略
最后更新：2026-07-24。
本页是 baseline 分层、公平比较、指标和 evidence gate 的唯一权威来源。它不维护某次运行的最新状态或数值；状态见 全局实验计划，结果见各单项实验页。
评测对象
评测分成两个不能混排名的问题：
- RQ-A / teacher： 给定同一条 dense generated reference，得到物理可执行 trajectory。
- RQ-B / student： 给定 current state 与 sparse goal，在没有 dense reference 的条件下自主完成任务。
RQ-A baseline 分层
| Tier | Baseline family | 初始化 | 是否训练 | 负责回答 |
|---|---|---|---|---|
| A0 | Reference PD / open-loop | 无 | 否 | raw motion 是否直接可执行 |
| A1 | Frozen scene-agnostic tracker | human prior | 否 | human tracking 上界、object lower bound |
| A2 | Human tracker + action residual | human prior | per-reference/shared | 小 residual 是否足够吸收 HOI gap |
| A3 | Human tracker + reference residual | human prior | optimize reference | 主要问题是否来自 noisy target |
| A4 | Pretrained HOI tracker | HOI prior | zero-shot/fine-tune | object/contact prior 是否直接迁移 |
| A5 | HOI tracker + residual | HOI prior | per-reference/shared | pretrained HOI prior + correction |
| A6 | RePHO-style alternating refinement | HOI prior | per-reference | policy/reference 双向更新是否最稳 |
| A7 | Trajectory optimization / MPC | physics model | per-sequence | 不依赖 policy learning 的优化下界 |
| A8 | Scratch contact-aware HOI expert | 无 | per-reference | pretrained prior 的必要性 |
| A9 | Shared multi-motion refiner | human/HOI prior | shared | per-sequence 成功能否规模化 |
具体实现名映射到 tier 时，必须同时声明 control space、reference update、conditioning 和 training unit；只有方法名不够。
RQ-B baseline 分层
| Tier | Deployment observation | 训练方式 | 负责回答 |
|---|---|---|---|
| S0 | dense reference | full-reference expert | teacher 上界，不是最终方法 |
| S1 | state + object goal | teacher distillation | 去掉 reference 后能否复现任务 |
| S2 | state + object goal | distillation + state-based RL | post-training 是否改善恢复与泛化 |
| S3 | state + object goal | scratch RL | teacher data 的必要性 |
| S4 | state + richer geometry | distillation + RL | scene/object geometry 增益 |
| S5 | variable task tokens | TokenHSI-style | 多技能组合 |
| S6 | Chain-of-Contacts | UniHSI-style | contact controllability |
| S7 | relative-movement goals | VLM-RMD-style | 通用 relation task |
主 student 比较首先是 S1/S2/S3；S5–S7 只能在基本闭环成立后展开。
公平比较约束
共同输入
- 同一 canonical
motion.npz与 timeline； - 同一
layout_json、target object id、exact mesh、mass 与 support geometry； - 同一 SMPL-X body shape、joint mapping 与 active-hand semantics；
- 同一 coordinate transform 与 initial state；
- 同一 simulator、physics timestep、control frequency 和 episode horizon。
共同预算
同时报告 wall-clock、environment steps/transitions、epochs/iterations、并行 env 数和 checkpoint selection rule。pretrained compute 与 per-reference adaptation compute 分栏，不把 zero-shot 与长时间 scratch 训练伪装成等预算。
共同统计
- 固定 case split 与 seed list；
- deterministic policy-mean 与 stochastic rollout 分开；
- 总分母、有效 episode、失败 episode和 unavailable telemetry 同时报；
- checkpoint 不能按 test metric 事后挑选；
- native reproduction、project adaptation 和 architecture ablation 分表。
RQ-A 指标
Human tracking
- root position/orientation error；
- body MPJPE、position RMSE、rotation error；
- feet slip、ground penetration、self-collision；
- valid prefix / completion ratio。
Object tracking 与任务
- object position/rotation error；
- lift height、sustained lift/hold duration；
- final object goal error；
- place support relation、drop/release；
- pick、carry、place 及 full task success。
Contact 与 physics
- target-contact precision/recall/F1 或 attribution ratio；
- active-hand contact duration 与 non-target contact；
- penetration depth；
- object/ground/support force与稳定性；
- termination reason。
contact force 不能单独定义 grasp success；必须与 lift、hold、drop 和 completion 联合。
Efficiency
- adaptation time；
- transitions/gradient steps；
- peak memory 与 GPU model；
- 每条 motion 的额外存储。
RQ-B 指标
student primary metric 是 task success、goal error、time-to-completion、recovery 和 held-out generalization，不是 dense-reference MPJPE。若存在 teacher 对齐，可将 trajectory similarity 作为辅助诊断。
必须额外审计：
- actor deployment observation 是否泄漏 future/reference；
- seen/unseen object、scene、motion、goal split；
- teacher–student success gap；
- perturbation recovery；
- goal-interface 消融。
Evidence gate
| Gate | 要求 | 失败后的含义 |
|---|---|---|
| G0 Interface | schema、shape、坐标、timeline、asset identity 通过 | 不得进入算法比较 |
| G1 Kinematic | hand/object/body/temporal render gate 通过 | input 尚不可信 |
| G2 Physics telemetry | human/object/contact/termination 均可计算 | 指标缺失标为 Unavailable |
| G3 Single-case teacher | 多 seed 完成且失败全记录 | 只支持 per-case stage evidence |
| G4 Multi-case teacher | 固定 split 上稳定 | 才能选择 shared teacher |
| G5 Student isolation | deployment 无 reference leakage | 才能声称 state-based |
| G6 Held-out student | 未见 object/scene/goal 成功 | 才能声称 generalization |
证据语言
- 已验证： 有代码、测试、可复现命令和直接 metric/output 支持。
- 当前推断： 有观察或诊断，但缺控制变量实验。
- 待验证： 只有假设、计划或尚未执行的工作。
Dashboard 状态：
已验证：充分直接证据；阶段性：单例、小 subset 或有限条件；待验证：协议/计划/推断；Unavailable：当前 telemetry 不能计算。