Student Model

最后更新：2026-07-26。

本页定义论文最终部署能力：在没有 dense human/object reference 的条件下，以 current state、object/scene perception 与 sparse task goal 驱动 state-conditioned loco-manipulation student，完成 autonomous human–object rollout。它不重新排名 full-reference tracker/refiner；项目级顺序见 Experiments，前置条件与 teacher 产出只在 Teacher Model 中定义。

进入条件与不可混淆的边界

gate-passed full-reference teacher rollouts
  -> frozen teacher dataset
  -> state-conditioned student
  -> reference-free deployment rollout

S0 full-reference expert 是 teacher 上界，不是 student result。
actor 部署时不得读取 future trajectory、dense reference、teacher action 或仅在 reference 中可知的 contact label。
privileged critic、distillation target 或离线 annotation 若使用 teacher/reference，必须显式记录其可见范围；它们不能进入 actor deployment observation。
单 case 的 S1 只回答闭环可行性；held-out object/scene/goal 结论要求 multi-case teacher gate 与固定 split。

当前状态是 未开始，且这是正确的依赖顺序：尚无通过 G3 的 current canonical teacher rollout dataset。不得以 hand-written successful frames、历史 partial clip 或未通过 gate 的 tracker checkpoint 代替 teacher data。

部署输入合同

最终 actor 的输入固定为：

proprioception / current human state
+ current object state and object/scene perception
+ sparse object goal or task goal
+ only the geometry needed for collision/contact reasoning

第一阶段可用 simulator state 实现上述 perception channel，以隔离 control 闭环；随后必须以同语义的 object/scene perceptual representation 验证。无论采用哪种 representation，actor 输入维度、坐标系、时间窗、masking 和 reference-leakage audit 都要随 checkpoint 与 rollout 一起保存。

执行顺序与 TODO

Phase S0：冻结 teacher dataset 与 student protocol

只接收通过 G3 的 teacher rollout；同时写入成功与失败 episode、termination、 teacher checkpoint/config 与 reference visibility。
冻结 actor observation：human state、object/scene perception、sparse goal、 coordinate frame、temporal window 与 action space。
划分 train/validation/held-out motion、object、scene 和 goal；不得在评测后改 split 或 checkpoint selection rule。
完成 actor reference-leakage unit test 和 rollout-level audit。

Phase S1：teacher distillation（最小 reference-free 闭环）

用冻结 teacher dataset 训练 state + object-goal student；actor 不读取 dense reference。
将 teacher action/trajectory 仅作为训练 target 或明确标注的 privileged signal。
在同一 canonical case 报告 task success、goal error、completion、drop/release、 contact、termination 及 teacher--student success gap。
加入初始 pose、object pose 与接触扰动，报告 recovery 而非只报告无扰动 replay。

S1 的目标是证明“拿掉 dense reference 后仍有自主闭环”，不是提前声称感知泛化。

Phase S2：state-conditioned perception + RL post-training

以 object/scene perception 替换或补足仅 oracle-state 的输入，并保持与 S1 相同 task semantics、action space、reward 与 evaluation split。
在 S1 初始化上进行 state-based RL post-training；单列蒸馏阶段和 RL 阶段的 transitions、wall-clock、GPU 与 checkpoint rule。
对比 S1 与 S2 的 recovery、goal error、contact stability 和 held-out success。
保留 reference-free actor audit；critic 可见的 privileged information 必须在 artifact 中可复核。

Phase S3：scratch 与 teacher-data 必要性

在与 S1/S2 相同 observation、goal、reward、action space、split 和 compute budget 下训练 scratch state-conditioned RL。
报告 S1/S2/S3 的 sample efficiency、最终 success、failure taxonomy 和 teacher--student gap。
不将更强 reward、更宽 curriculum 或额外数据只给某一个条件。

Phase S4：泛化与 goal-interface 扩展

固定 unseen object、scene、motion 与 goal 的 held-out evaluation。
先完成 S1/S2/S3 基本闭环，再分别加入 TokenHSI-style task token、 UniHSI-style contact chain 或 VLM-RMD-style relation goal。
每次只改变 goal interface；不同时改变 motor prior、reward 或 teacher dataset。

验收与产物

Student metric、evidence wording 与 G5/G6 gate 以 Evaluation Protocol 为唯一标准。本页每一条件至少输出：

actor/critic configuration、observation schema、normalizer 与 checkpoint provenance；
teacher-dataset version、split manifest、seed list 与训练预算；
deterministic 与 stochastic rollout 的原始 telemetry、success denominator、 termination/failure labels；
reference-leakage audit、perturbation protocol 与 held-out result table。

没有 G5 不得声称 state-based；没有 G6 不得声称对未见 object/scene/goal 泛化。