方法主线
最后更新：2026-07-24。
本页负责解释 PhysHSI 的方法推理和 stage boundary；当前结论是 teacher/refiner 与最终 student 是两个不同研究问题。本页不定义 metric 阈值或维护运行状态，分别见 评测策略 和 全局实验计划。
为什么必须分成两段
KIMODO 生成的 SMPL-X trajectory 提供了“人和物体应该怎样运动”的 kinematic proposal，但不保证接触力、平衡、摩擦和闭环控制可实现。RQ-A 允许使用完整 reference，目标是把 proposal 变成可信的 teacher data；RQ-B 则必须移除 reference，学习由 state 和 sparse goal 驱动的行为。
Privileged path（训练数据生产）
kinematic reference → refiner/full-reference teacher → physical rollouts
Deployment path（论文最终能力）
current state + sparse goal → student policy → autonomous rollout
把两段混在一个 baseline 排名中，会把“reference denoising 能力”和“自主 goal-conditioned control 能力”混为一谈。
Stage 1：Kinematic generation
当前生成 stage 消费 task semantics 与 scene geometry，产出单条 human/object trajectory。它可以写 contact hints 和 grasp anchors，但不能把物理可执行性当作已验证事实。
设计边界：
- task goal 由上游 validation 决定；
- stage 之间优先内存传递；
- 只有 canonical artifact、外部 solver 必需文件和 provenance 落盘；
- broad trajectory repair 不得为了通过局部接触 gate 而静默改变 object goal。
当前工程事实见 Pipeline，单例证据见 Kinematic Generation。
Stage 2：Grasp/contact refinement
这一 stage 只修正局部 hand–object compatibility，典型变量包括 wrist/hand pose、contact assignment 和 penetration projection。它不是整段 physics tracking 的替代品。
候选形式：
| 形式 | 主要变量 | 优点 | 主要风险 |
|---|---|---|---|
| Analytic/keyframe fitting | wrist、hand、object-local anchors | 快、可解释 | contact force 与全身可达性不足 |
| Learned grasp proposal | hand pose、contact candidates | 覆盖多样抓取 | domain/shape mismatch |
| Differentiable refinement | pose + penetration/contact energy | 可显式优化 gate | objective 冲突、局部极小值 |
| Coupled reach–grasp | upper body + hand + object relation | 减少“手好看但身体够不到” | 求解维度和数据需求上升 |
当前 ContactGen-style 证据见 Grasp Refinement。
Stage 3：Physics refiner / full-reference teacher
所有候选都允许读取当前或未来 reference。它们沿五个正交轴定义：
| 轴 | 选项示例 |
|---|---|
| 初始化 | pretrained human tracker、pretrained HOI tracker、scratch |
| control space | direct joint action、latent action、base action + residual |
| reference update | fixed、optimized、policy/reference alternating |
| training unit | frozen zero-shot、per-reference、shared multi-reference |
| conditioning | human-only、human+object、contact/geometry/scene aware |
因此“pretrained vs scratch”不是完整方法定义。例如 PHC-X frozen、PHC-X + per-reference residual 和 RePHO-style bidirectional refinement 属于不同 baseline。
RePHO 在本项目中的准确位置
RePHO 原始问题包含视频/运动学 HOI 到 physics-consistent reconstruction；PhysHSI 不使用其视频 reconstruction 前端。我们只关心：
- 用 pretrained InterMimic 初始化 per-sequence policy；
- 让 policy rollout 与 reference 相互修正；
- 为一条 noisy generated SMPL-X pick–place motion产出 executable teacher trajectory。
所以它既可以替换当前 direct tracker，也可以作为 teacher-refiner；它不是项目最终部署 policy。
其它可比较路线
- frozen scene-agnostic tracker：测 human prior 上界和 object-control 下界；
- pretrained HOI tracker：测 joint human/object/contact tracking；
- action residual：冻结基础 tracker，只学习 motion-specific correction；
- reference residual：优化 reference，再交给固定 tracker；
- alternating policy/reference refinement：同时处理 controller capacity 和 noisy target；
- trajectory optimization/MPC：不训练或弱训练的优化下界；
- scratch PhysHOI/SkillMimic-style expert：测预训练先验的必要性；
- shared multi-motion refiner：验证 per-sequence teacher 是否能扩展为数据引擎。
Stage 4：Teacher rollout dataset
成功 teacher case 至少应保存：
- canonical task、scene、motion 和 body-shape identity；
- simulator state、action、object state 和 contact telemetry；
- reference/goal 信息及其可见范围；
- episode、seed、termination reason 和 failure label；
- teacher checkpoint 与配置 provenance。
失败 rollout 也保留。student dataset 不得只由成功帧拼接而隐藏失败分母。
Stage 5：State-based student
第一阶段：InterPrior-style object-goal-only
最小部署 observation：
proprioception
+ current object state
+ object goal state / masked sparse goal
+ necessary object/scene geometry
训练可以使用 full-reference expert、variational distillation、privileged critic 与 RL post-training；actor 部署输入不能使用 dense HOI reference。
第二阶段：扩展 goal interface
| Goal interface | 主要作用 | 本项目位置 |
|---|---|---|
| InterPrior-style sparse object goal | 验证自主 pick–place 主闭环 | 首个 student |
| TokenHSI-style task tokens | 多技能组合和可变 task observation | 扩展实验 |
| UniHSI-style Chain-of-Contacts | 显式 contact/non-contact control | contact controllability |
| VLM-RMD-style relation goals | push/pull/open 等相对运动目标 | 通用 HOI/HSI |
这些接口可以共享 motor prior，但必须分别消融；不能因为最终愿景是统一 policy，就在第一版同时混入所有条件。
规模化闭环
只有通过单条 case 的 teacher gate 后，才进入：
- 多 motion/shared refiner；
- 自动 quality filtering 与 failure taxonomy；
- teacher rollout dataset；
- object-goal-only distillation；
- state-based RL post-training；
- held-out scene/object/task evaluation。
现阶段最重要的决策不是哪种 student token 最漂亮，而是哪类 RQ-A refiner 能稳定产生可信 teacher trajectory。