Generated SMPL-X HOI/HSI 到物理可执行轨迹:Refiner、Teacher 与 State-Based Student 总体实验方案
Material Passport
- Origin Skill: academic-research-suite / experiment-agent
- Origin Mode: plan
- Origin Date: 2026-07-24
- Verification Status: ANALYZED
- Version Label: generated_motion_physics_strategy_v1
- Evidence Scope:
- 已核对本项目当前 KIMODO、PHC-X、OmniGrasp、InterMimic、GRAIL 和 refiner 文档及已有实验结果;
- 已核对 RePHO release
4fceb14a3eee197ba7abede1c940f384f5d38736; - 已核对 InterPrior、RePHO、InterMimic、HOI-FHLI、ResMimic、GRAIL、SUGAR 等论文或官方项目页;
- 本文是实验设计与方法定位,不把未运行的 adapted baseline 标为已验证。
1. 论文主线
PhysHSI 的目标不是视频重建,也不是最终部署一个 dense-reference tracker。 论文主线应固定为:
SAGE scene + task
↓
KIMODO 生成 kinematic SMPL-X HOI/HSI
↓
Physics refiner / full-reference teacher
把单条 generated motion 投影为物理可执行 rollout
↓
可执行 teacher trajectories + actions + contacts + failures
↓
goal-conditioned state-based student
↓
只给当前 state + sparse task goals 的自主物理执行
三层模型的职责必须分开:
- KIMODO generator
- 负责 task semantics、长程时序、human motion、object trajectory、hand pose、 contact hint 和 scene alignment;
- 输出可以不完全物理可执行。
- Physics refiner / teacher
- 训练时允许读取完整 human/object reference、contact、phase 和 privileged simulator state;
- 输出真实动态 object、真实 contact 和稳定 human balance 下的可执行 rollout;
- 它可以是 per-reference policy、shared tracker、trajectory optimizer,或它们的混合。
- State-based student
- 最终部署时不读取 dense HOI reference;
- dynamic pick–place 的最小目标条件只保留 object goal state;
- 通用 HSI/HOI 版本允许 object-goal、contact、task 和 relation tokens, 但它们都是稀疏任务目标,不是未来人体轨迹;
- 根据当前 human/object/contact/scene state,自主生成 approach、grasp、carry、 place、release 和失败恢复。
因此,“refiner 是否依赖 reference”和“最终 policy 是否依赖 reference”是两个不同问题。 teacher 使用 full reference 不削弱最终 state-based claim;它是生成训练监督和物理技能的工具。
2. 两个独立研究问题
RQ-A:怎样把一条 generated motion 变成可执行 teacher trajectory?
输入:
generated SMPL-X motion
+ dynamic-object pose trajectory
+ contact/phase hints
+ layout_json + object identity
输出:
physically simulated human trajectory
+ physically simulated object trajectory
+ humanoid actions/torques
+ actual contacts
+ execution metrics
核心比较不是“哪个方法的视频重建更好”,而是:
在同一条 KIMODO-generated SMPL-X pick–place reference 上,哪种 tracking/refinement family 能最稳定、最省样本地得到物理可执行 rollout, 同时保留 task semantics 和足够的 motion fidelity?
RQ-B:怎样从 teacher trajectories 学到无 reference 的最终 policy?
输入:
current human/object/contact/scene state
+ sparse object/contact/task goals
+ teacher rollout dataset during training only
部署输出:
核心问题是:
能否先从 full-reference expert 蒸馏物理技能,再通过 state-based RL post-training,使最终 policy 只用稀疏 task goals 完成未见初始化、目标、 对象和失败恢复?其中 dynamic pick–place 的最小条件是 object goal state, 通用 HSI/HOI 再比较 InterPrior、TokenHSI、UniHSI 和 VLM-RMD 风格的目标表示。
RQ-A 先解决单条轨迹物理化;RQ-B 才是论文终极模型。两者不能用同一张结果表混写。
3. 当前固定输入与 Physics Contract
第一条 canonical case 固定为:
motion:
output/auto_experiments/
20260724_cup_left_hand_object_interaction_interface_parity_rerun/motion.npz
layout:
data/selected_SAGE10k/e2e_test_scenes/2cdc81db/layout_2cdc81db.json
task:
output/auto_experiments/20260705_hsi_generation_task_inputs/task_plan_left.json
正式 run 不得改变 motion、layout、task、seed 或 task semantics。
共同 contract:
- canonical reference 为 597-frame、30 Hz、SMPL-X、pick/place
98/568; - human reference、physics humanoid asset 和 FK 使用同一个 KIMODO body-shape contract;
- dynamic object 由
layout_json + dynamic_object_id在 simulator boundary 加载真实 mesh; - object 是自由动态刚体,evaluation 时禁止播放 reference object pose;
- support 和 scene collision 来自 SAGE layout,不创建重复 table/ground/target;
- policy 只控制 humanoid;
- virtual object force、kinematic binding 或 reference teleport 只能是显式 curriculum, 并在正式 evaluation 中归零;
- rollout 和 final refined motion 返回 canonical world frame;
- refiner 不修改 canonical KIMODO artifact;输出新的 canonical refined artifact;
- manifest 只记录 provenance,不作为运行时 state bus。
4. 不能只按方法名比较:五个正交选择轴
每个 baseline 必须在以下五个轴上显式标注,否则“pretrained vs scratch”会混入多个变量。
| 轴 | 选项 |
|---|---|
| 初始化 | 无;human-only tracker;HOI tracker;generative HOI prior |
| 适配范围 | frozen;residual head;latent adaptor;full fine-tune;per-sequence policy |
| Reference | fixed raw KIMODO;可更新 reference;只在训练时用;完全不用 |
| Action | direct PD target;action residual;latent residual;diffusion/action chunk |
| 训练单位 | per-reference;multi-reference shared teacher;distilled student |
RePHO 与普通 InterMimic fine-tune 的核心区别不是“输入来自视频”,而是:
- 以 noisy kinematic trajectory 为初始化;
- 用 pretrained InterMimic checkpoint warm start;
- 进行 sequence-specific physics tracking;
- 使用 adaptive sampling;
- 在 policy learning 与 kinematic reference update 之间做双向、自更新传播;
- release 同时训练 forward/backward 路径。
这正是 RQ-A 的一条主要 refiner family。
5. RQ-A:Generated motion 物理化的完整方法族
F0:无学习的 simulation / optimization lower bounds
F0-A:Reference PD replay
逐帧把 reference joint pose 作为 PD target,object 完全动态。
作用:
- 测量 reference 在没有 learned correction 时的动态可执行性;
- 暴露初始冲量、接触穿透、脚滑、balance 和 object drop;
- 不是最终方法,因为它没有闭环恢复能力。
F0-B:Contact-aware trajectory optimization
直接优化 root、body joints、hand pose、object pose或控制序列,约束:
- rigid-body dynamics;
- contact complementarity 或 soft contact;
- no penetration;
- friction cone / wrench support;
- joint/torque limits;
- reference edit penalty。
可以实现为 direct collocation、shooting、MPC 或 differentiable simulation。 它提供“policy-free physics projection”基线,尤其适合单条 trajectory。
F0-C:Kinematic correction + fixed tracker
先离线优化 wrist/object/contact 和 root balance,再交给 frozen tracker。 InterAct→InterMimic 的数据修正链属于该思路。它用于区分:
- reference 本身不可执行;
- tracker/controller 能力不足。
F1:Pretrained scene-agnostic full-body human tracker
代表:PHC-X、PULSE-X tracker、SONIC 或同类 general motion tracker。
F1-A:Frozen human tracker
只跟踪 human reference,object 在物理中自由运动。
优点:
- 零训练或极少 adaptation;
- human naturalness 和 locomotion prior 强;
- 是 human tracking 上界/HOI execution 下界。
局限:
- policy 不观察 object/contact,通常无法主动修正 grasp;
- 不能作为成功 refiner,只是必要 control。
F1-B:Full fine-tune human tracker
从 human tracker checkpoint 开始,加入 object/contact observation 和 reward, 更新全部 policy 参数。
优点:容量大。
风险:遗忘 human prior、训练不稳定、难以判断收益来自预训练还是新 reward。
F1-C:Action residual
代表:ResMimic-style、当前 PHC-X OmniResidual 候选。
优点:
- 保留 locomotion/balance;
- residual 专注 wrist、hand、object 和 contact correction;
- 对单条轨迹通常比 153D scratch 更省样本。
必须比较:
- residual 是否读取 base action;
- body/hand 是否分 mask;
- residual scale;
- base action 是否 frozen;
- reference PD target 与 base policy action是否重复 affine。
F1-D:Latent residual / adaptor
代表:GRAIL object-aware latent adaptor、OmniGrasp/PULSE-X latent family。
优点:低维、动作自然。
局限:latent manifold 可能缺少精细手物修正;必须先过 zero-residual closed-loop gate。
F2:Pretrained HOI tracker / HOI motor prior
这类方法已经观察 human-object relation、object geometry、contact 或 future object goal。
F2-A:Frozen/zero-shot HOI prior
代表候选:
- pretrained InterMimic;
- OmniGrasp;
- InterPrior 的 full-reference 或 goal-conditioned inference;
- 已发布 checkpoint 的其他 HOI tracker。
作用:测量现有 HOI prior 对 KIMODO-generated motion 的直接 transfer。
注意:
- OmniGrasp 强项是 object trajectory execution,不是完整 human-reference fidelity;
- InterPrior 是 sparse-goal generative controller,最重要的位置是 RQ-B;
- 若 checkpoint、embodiment 或 object family不兼容,必须标记为 unavailable, 不能把重新训练后的结果称为 zero-shot。
F2-B:HOI checkpoint + residual adaptor
冻结 pretrained HOI policy,只学:
- action residual;
- latent residual;
- goal adaptor;
- object geometry/contact encoder。
它回答“HOI prior 是否比 human-only prior 更适合 refiner warm start”。
F2-C:HOI checkpoint full fine-tune
在同一 generated sequence 上微调整个 HOI tracker。
它比 F2-B 容量大,但要单独报告:
- checkpoint 预训练数据;
- trainable parameter ratio;
- catastrophic forgetting;
- 到达成功的 environment steps 和 wall time。
F2-D:RePHO-style alternating sequence refinement
这是当前最值得优先接入的路线之一:
KIMODO kinematic HOI
↓
convert to RePHO/InterMimic tracking contract
↓
pretrained HOI tracker warm start
↓
adaptive sampling + forward/backward policy learning
↓
update kinematic target from successful physical states
↓
repeat
↓
canonical refined SMPL-X human/object rollout
项目 adaptation 不需要 VisTracker、GVHMR 或视频重建前端。唯一输入是 canonical KIMODO motion。需要移植的是:
- RePHO tracking representation;
- adaptive sampling;
- dual self-updating reference;
- forward/backward rollout selection;
- checkpoint initialization。
必须保留的项目边界:
- 输出回到 KIMODO SMPL-X absolute-hand contract;
- object geometry从layout加载;
- 不把 RePHO intermediate files 变成主 pipeline 的 runtime state bus;
- 先作为 per-reference refiner,不提前改成 shared model。
F3:Train-from-scratch full-reference tracker
F3-A:Current-frame direct tracker
代表:HOI-FHLI physics tracker。
优点:结构最直接,适合判断单条 reference 是否可被 PPO overfit。
F3-B:Sparse-future direct tracker
代表:InterMimic-style t+1,t+16,加入 object surface、interaction 和 contact。
优点:对未来 contact 和 object motion有预见。
局限:对 noisy reference 很敏感;PSI/IET 和 reference correction必须单独报告。
F3-C:Full next-frame contact-graph tracker
代表:PhysHOI-style。
特点:
- actor 读取下一帧完整 HOI;
- reward 使用 body/object/interaction/contact graph;
- 适合检验显式 contact graph 的价值。
F3-D:Skill-conditioned imitation
代表:SkillMimic-style。
它更接近 reusable skill teacher,而不是单条 strict reconstruction。 第一轮可作为扩展,不应替代 direct tracker control。
F3-E:Finger-free / wrist-guided tracker
代表:WristMimic-style。
只跟踪 body/wrist/object/contact outcome,不强追 noisy finger reference。 它回答“精确 finger pose supervision 是否反而阻碍真实 grasp”。
F4:Reference-editing 和 controller learning 的混合
这些不是新的 policy architecture,而是对 fixed noisy reference 的处理方式:
- 先修 reference,再训练 tracker;
- tracker rollout 反向更新 reference;
- policy/reference 交替优化;
- forward/backward 从可靠片段向两侧传播;
- phase-wise refine:approach、grasp、carry、place、release 分段训练;
- curriculum assistance:virtual object/controller force逐步退火;
- successful physical-state pool:用可行物理 state 改善 reset 分布;
- ensemble/select-best:多 seed、多 contact hypothesis、多 refiner candidate筛选。
RePHO、InterMimic PSI、InterAct correction 和 SUGAR refiner分别覆盖其中不同组合。 实验中必须把“policy架构”和“reference更新策略”分成两个变量。
F5:Shared multi-reference refiner
代表:SUGAR-style shared refiner、multi-motion InterMimic/InterMimic+。
目的:
- 从 per-reference teacher 扩展到一个 motion-pool refiner;
- 降低每条 KIMODO motion 单独训练的成本;
- 为 RQ-B 提供大规模、统一质量的 teacher rollout。
它属于第二阶段 scaling,不是当前单条 trajectory 选型的前置要求。
6. RQ-A 第一轮必须运行的 baseline matrix
为了覆盖用户提出的三类,同时加入必要的 lower bound 和 RePHO 主候选, 第一轮固定以下七条:
| ID | Family | Initialization | Reference update | 训练单位 | 主要回答 |
|---|---|---|---|---|---|
| A0 | Reference PD | None | Fixed | None | raw reference 是否直接物理可执行 |
| A1 | PHC-X Frozen | Human-only prior | Fixed | None | human tracking upper bound、object lower bound |
| A2 | PHC-X action residual | Human-only prior | Fixed | Per-reference | scene-agnostic prior + HOI residual 是否高效 |
| A3 | Pretrained HOI fine-tune | InterMimic/available HOI checkpoint | Fixed | Per-reference | HOI prior 是否优于 human-only prior |
| A4 | RePHO-style | Pretrained InterMimic | Alternating update | Per-reference | 自更新 refiner 是否最适合 noisy KIMODO HOI |
| A5 | InterMimic scratch | None | Fixed/PSI only | Per-reference | strong direct full-reference scratch baseline |
| A6 | HOI-FHLI scratch | None | Fixed | Per-reference | minimal current-frame direct tracker baseline |
第二优先级:
| ID | Family | 原因 |
|---|---|---|
| A7 | Offline contact-aware trajectory optimization | 单条轨迹的 policy-free 对照 |
| A8 | OmniGrasp adapted | 已有 object-execution 强结果,但 human fidelity不是主目标 |
| A9 | GRAIL-Min-SMPLX | 严格 residual/latent 方法验证,工程 contract 较重 |
| A10 | PhysHOI scratch | contact-graph ablation |
| A11 | WristMimic-style | noisy finger-reference ablation |
InterPrior 不放入 RQ-A 的首轮 refiner排名。它可在所有 mask 打开时做 full-reference expert,但对本论文最关键的是 RQ-B 的 student 和 post-training recipe。
7. Fixed-reference 与 RePHO-style 不能只比 reference error
RePHO-style 会修改 target,fixed-reference tracker不会。若只比较对 raw KIMODO 的 MPJPE,算法可能因做了必要的 contact/balance修正而看似更差。
统一报告三组指标:
7.1 Task/physics primary metrics
- full-sequence completion;
- pick success;
- lift height;
- hold duration/rate;
- place position/orientation error;
- release success;
- object drop/launch;
- human fall;
- object/scene、human/scene、self penetration;
- foot slip;
- torque/action/joint-limit violations。
7.2 Fidelity secondary metrics
- human MPJPE mean/p95;
- root、arm、wrist、finger error;
- object position/orientation error;
- contact precision/recall/F1;
- hand-object relative SE(3) error;
- phase timing drift。
7.3 Reference-edit metrics
- raw→refined root/joint/object displacement;
- contact onset/release timing change;
- phase duration change;
- edit localization:是否只改交互关键窗口;
- raw reference fidelity与refined self-consistency分开报告。
Primary ranking 先按真实 execution success,再按 reference-edit magnitude 和 fidelity 决胜;不能用较小 MPJPE 掩盖 object 留在桌面或错误 contact。
8. RQ-A 分阶段实验门槛
Gate E0:Representation/physics
- shape/hash/XML/reference一致;
- frame count/fps/coordinate exact;
- object mesh、scale、pivot、mass、friction一致;
- reset frame 0 human/object exact;
- no second runtime height fix;
- static hand/object/support geometry audit通过。
Gate E1:Reference replay
- reference PD、zero-action 和 frozen tracker均完成 deterministic trace;
- 记录首个 fall/drop/penetration frame;
- 所有方法共享同一 canonical evaluator。
Gate E2:Short interaction smoke
只覆盖 approach→grasp→early lift,检查:
- observation/action finite;
- backward/update/checkpoint正常;
- actual contact来自 target object,不来自 support;
- assistance能退火到0;
- deterministic evaluation可运行。
Smoke 不排名,不允许因为 short-window 成功宣称 full execution。
Gate E3:Single-sequence overfit
- 完整 597 frames;
- 每 500 epochs或固定 environment-step cadence做 deterministic evaluation;
- fixed seed开发后,最终运行3 seeds;
- 不只报告最好 checkpoint;
- 每条路线有独立 max budget,另报告 steps-to-first-success。
Gate E4:Reference noise robustness
在选出的2–3条 refiner family上增加:
- root/object perturbation;
- finger/contact noise;
- timing warp;
- mass/friction/COM变化;
- initial human/object displacement。
Gate E5:Multi-motion scaling
从单 cup 扩展:
- single-hand不同形状;
- bimanual large object;
- push/pull;
- static HSI;
- 不同 scene/support。
通过后才进入 shared refiner 和 student dataset构建。
9. RQ-B:无 dense reference 的最终 state-based student
9.1 最终部署输入
首先区分两个 deployment scope。
Dynamic pick–place 最小 setting:
observation:
current human proprioception
current object pose/velocity
current human-object relation/contact
local scene geometry needed for collision/navigation
goal:
future object target state only
masked / unavailable:
dense future human motion
dense future object trajectory
reference joint pose
reference action
reference contact sequence
“object goal state only”指 goal channel只给 object target;current-state observation 仍必须包含执行闭环所需的人体、物体、接触和局部场景状态。
通用 HSI/HOI setting:
observation:
current human/object/contact state
state history
local scene geometry
variable sparse goal tokens:
object-goal token
human-root/navigation token
body-part ↔ object-part contact token
relative-movement/relation token
phase/termination token
never provided:
dense future human trajectory
dense reference actions
这使最终student同时覆盖:
- dynamic HOI:pick、carry、place、push、pull;
- static HSI:sit、lie、lean、get-up;
- multi-object和long-horizon task chaining。
因此论文的硬claim应是 reference-free deployment,而不是强迫所有任务都只用 object pose。Object-only是dynamic pick–place的最小主实验;contact/task/relation token是通用系统扩展。
9.2 三阶段训练
Student Stage S1:Full-reference expert
- 从 RQ-A 选出成功 refiner/teacher;
- 在大规模 KIMODO→refined rollout池上训练 shared expert;
- expert允许完整 future reference。
Student Stage S2:Goal-conditioned distillation
参考 InterPrior:
- 将 expert 蒸馏到 conditional variational policy;
- encoder只在训练时读取完整 future teacher trajectory;
- prior只读取state history + sparse masked goal;
- decoder输出低层 action;
- 使用 expert/self-rollout mixture或DAgger减少分布偏移;
- 训练中随机 mask human、object、contact goal组件。
PhysHSI 的dynamic pick–place主部署 setting固定 object-only mask。通用student 再把TokenHSI/UniHSI/VLM-RMD风格的task tokens作为并列目标表示,而不是把它们 混进第一条object-only因果实验。
Student Stage S3:State-based RL post-training
- 从 perturbed initialization到单帧 object goal做 in-betweening;
- 加入 near-failure、failed grasp、drop和fallen state resets;
- RL优化 goal success、真实 contact、balance和效率;
- 保留一部分 distillation environments防止遗忘;
- 训练 re-approach、regrasp、carry、place、release和恢复。
9.3 四类最终 student 路线
Student-F1:InterPrior-style sparse-goal motor prior
- full-reference expert;
- masked conditional variational distillation;
- state history + sparse goal;
- RL post-training和failure-state recovery;
- dynamic pick–place可在推理时只提供object future snapshot。
它最适合作为“teacher trajectories怎样变成自主motor prior”的主模板。
Student-F2:TokenHSI-style task-token policy
- humanoid proprioception作为shared token;
- object、target、contact、navigation等任务信息作为variable-length task tokens;
- transformer统一多技能并支持新tokenizer适配;
- 适合把SAGE
task_plan.json编译为统一policy输入。
它回答的是“怎样统一多种HSI/HOI技能”,而不是“怎样修正单条reference”。
Student-F3:UniHSI-style Chain-of-Contacts
- planner把语言/任务分解为human-joint ↔ object-part contact chain;
- controller逐步执行contact goals;
- 对sit、lie、lean和多物体静态/动态scene interaction特别有价值。
它比object-only goal提供更强的interaction specification,但不需要dense body trajectory。
Student-F4:VLM-RMD-style goal/reward compiler
- VLM把task和environment context转换成结构化Relative Movement Dynamics;
- RMD描述human/object parts之间的时空关系;
- 自动生成goal states和RL rewards;
- 适合把SAGE语义task扩展到未手写reward的新interaction。
截至本文更新时官方项目页仍标注Code & Dataset Coming Soon,因此第一阶段只能 做representation/ablation设计,不能声称official reproduction。
9.4 推荐的组合边界
这些路线不是互斥的。最自然的PhysHSI最终结构是:
SAGE scene + task_plan
↓
Sparse-goal compiler
├─ object goal (InterPrior-style minimal)
├─ variable task tokens (TokenHSI-style)
├─ chain of contacts (UniHSI-style)
└─ relative movement dynamics (VLM-RMD-style)
↓
state/history/geometry-conditioned motor policy
├─ teacher distillation
└─ state-based RL post-training (InterPrior-style)
↓
humanoid action
也就是说:
- InterPrior主要提供 motor-prior training recipe;
- TokenHSI主要提供 unified tokenized policy interface;
- UniHSI主要提供 contact-plan task abstraction;
- VLM-RMD主要提供 automatic goal/reward design。
首版不应一次实现四者全部。先用object-only goal验证teacher→student闭环,再只加 一种通用task representation。优先顺序建议:
- InterPrior-style object-goal-only student;
- TokenHSI-style variable task tokens;
- UniHSI-style contact tokens;
- VLM-RMD-style automatic relation/reward generation。
9.5 Student baselines
| ID | Student | Dense ref at inference | Object-only goal | RL post-train |
|---|---|---|---|---|
| S0 | Full-reference expert | Yes | No | No |
| S1 | Distilled object-goal policy | No | Yes | No |
| S2 | Distilled + RL post-training | No | Yes | Yes |
| S3 | RL from scratch | No | Yes | Yes |
| S4 | InterPrior-style adapted | No | Yes | Yes |
| S5 | TokenHSI-style task-token student | No | Supported | Optional |
| S6 | UniHSI-style contact-chain student | No | Optional | Yes |
| S7 | VLM-RMD-style goal/reward policy | No | Supported | Yes |
主比较是 S1 vs S2,证明 post-training 带来的分布外恢复;S3检验 teacher/data prior 的必要性;S0只提供 expert上界。S5–S7回答goal representation和multi-task scaling问题,不与S1–S4的motor-prior因果实验混为同一ablation。
10. Student evaluation
最终论文不能只在 teacher reference上评价 student。至少包含:
- seen object / seen scene / new goal;
- seen object / unseen scene;
- unseen object geometry;
- randomized initial human/object state;
- goal switching;
- failed first grasp后的 regrasp;
- object perturbation和drop recovery;
- long-horizon多个 object goal串联。
主指标:
- object-goal success;
- time-to-goal;
- fall/drop/failure rate;
- contact correctness;
- path/scene collision;
- recovery success;
- motion naturalness与能耗;
- unseen object/scene generalization。
不再用 dense reference MPJPE作为 student primary metric。若存在对应 teacher, MPJPE只做风格/fidelity诊断。
11. 输出与数据闭环
每条成功 teacher case最终写:
case_id/
task_plan.json
layout_json reference
kinematic_motion.npz provenance
refined_motion.npz
rollout.npz
actions.npz
contacts.npz
metrics.json
material_passport.json
这里列的是最终 canonical artifacts。训练 stage之间优先内存传递; 不为连接两个Python函数额外写中间NPZ/JSON,也不让下游扫描manifest发现状态。
student dataset从成功 rollout构造:
同时保留 teacher reference用于训练期distillation,但deployment dataloader必须有 硬测试,证明不读取future human/object reference。
12. 当前推荐执行顺序
- 冻结最新597-frame KIMODO case和共同 evaluator。
- 完成 A0 PHC-X/PD lower bounds,作为所有方法的共同诊断。
- 并列推进:
- A2 PHC-X action residual;
- A4 RePHO-style adapted;
- A5 InterMimic scratch;
- A6 HOI-FHLI scratch。
- A3只在确认可用HOI checkpoint和representation parity后进入。
- 用 task/physics primary metrics选择2条 refiner family。
- 扩到多object/multi-scene motion pool,训练shared full-reference expert。
- 按 InterPrior 的 expert→variational distillation→RL post-training训练 object-goal-only student。
- 再比较 TokenHSI task tokens、UniHSI contact chain 和 VLM-RMD relation goals, 扩展到通用HSI/HOI。
- 最终部署只给current state + sparse task goals;不提供dense HOI reference。
当前最高优先级判断:
RePHO-style 不是旁支视频baseline,而是最贴合“单条 generated KIMODO HOI 如何变成 physical teacher trajectory”的主 refiner候选之一;InterPrior 则是“如何从这些 teacher trajectories 得到无 reference 的state-based motor prior”的主模板。TokenHSI、UniHSI和VLM-RMD进一步决定最终policy如何 表达多技能task、contact plan和自动goal/reward。