跳转至

Generated SMPL-X HOI/HSI 到物理可执行轨迹:Refiner、Teacher 与 State-Based Student 总体实验方案

Material Passport

  • Origin Skill: academic-research-suite / experiment-agent
  • Origin Mode: plan
  • Origin Date: 2026-07-24
  • Verification Status: ANALYZED
  • Version Label: generated_motion_physics_strategy_v1
  • Evidence Scope:
  • 已核对本项目当前 KIMODO、PHC-X、OmniGrasp、InterMimic、GRAIL 和 refiner 文档及已有实验结果;
  • 已核对 RePHO release 4fceb14a3eee197ba7abede1c940f384f5d38736
  • 已核对 InterPrior、RePHO、InterMimic、HOI-FHLI、ResMimic、GRAIL、SUGAR 等论文或官方项目页;
  • 本文是实验设计与方法定位,不把未运行的 adapted baseline 标为已验证。

1. 论文主线

PhysHSI 的目标不是视频重建,也不是最终部署一个 dense-reference tracker。 论文主线应固定为:

SAGE scene + task
KIMODO 生成 kinematic SMPL-X HOI/HSI
Physics refiner / full-reference teacher
  把单条 generated motion 投影为物理可执行 rollout
可执行 teacher trajectories + actions + contacts + failures
goal-conditioned state-based student
只给当前 state + sparse task goals 的自主物理执行

三层模型的职责必须分开:

  1. KIMODO generator
  2. 负责 task semantics、长程时序、human motion、object trajectory、hand pose、 contact hint 和 scene alignment;
  3. 输出可以不完全物理可执行。
  4. Physics refiner / teacher
  5. 训练时允许读取完整 human/object reference、contact、phase 和 privileged simulator state;
  6. 输出真实动态 object、真实 contact 和稳定 human balance 下的可执行 rollout;
  7. 它可以是 per-reference policy、shared tracker、trajectory optimizer,或它们的混合。
  8. State-based student
  9. 最终部署时不读取 dense HOI reference;
  10. dynamic pick–place 的最小目标条件只保留 object goal state;
  11. 通用 HSI/HOI 版本允许 object-goal、contact、task 和 relation tokens, 但它们都是稀疏任务目标,不是未来人体轨迹;
  12. 根据当前 human/object/contact/scene state,自主生成 approach、grasp、carry、 place、release 和失败恢复。

因此,“refiner 是否依赖 reference”和“最终 policy 是否依赖 reference”是两个不同问题。 teacher 使用 full reference 不削弱最终 state-based claim;它是生成训练监督和物理技能的工具。

2. 两个独立研究问题

RQ-A:怎样把一条 generated motion 变成可执行 teacher trajectory?

输入:

generated SMPL-X motion
+ dynamic-object pose trajectory
+ contact/phase hints
+ layout_json + object identity

输出:

physically simulated human trajectory
+ physically simulated object trajectory
+ humanoid actions/torques
+ actual contacts
+ execution metrics

核心比较不是“哪个方法的视频重建更好”,而是:

在同一条 KIMODO-generated SMPL-X pick–place reference 上,哪种 tracking/refinement family 能最稳定、最省样本地得到物理可执行 rollout, 同时保留 task semantics 和足够的 motion fidelity?

RQ-B:怎样从 teacher trajectories 学到无 reference 的最终 policy?

输入:

current human/object/contact/scene state
+ sparse object/contact/task goals
+ teacher rollout dataset during training only

部署输出:

humanoid action

核心问题是:

能否先从 full-reference expert 蒸馏物理技能,再通过 state-based RL post-training,使最终 policy 只用稀疏 task goals 完成未见初始化、目标、 对象和失败恢复?其中 dynamic pick–place 的最小条件是 object goal state, 通用 HSI/HOI 再比较 InterPrior、TokenHSI、UniHSI 和 VLM-RMD 风格的目标表示。

RQ-A 先解决单条轨迹物理化;RQ-B 才是论文终极模型。两者不能用同一张结果表混写。

3. 当前固定输入与 Physics Contract

第一条 canonical case 固定为:

motion:
output/auto_experiments/
  20260724_cup_left_hand_object_interaction_interface_parity_rerun/motion.npz

layout:
data/selected_SAGE10k/e2e_test_scenes/2cdc81db/layout_2cdc81db.json

task:
output/auto_experiments/20260705_hsi_generation_task_inputs/task_plan_left.json

正式 run 不得改变 motion、layout、task、seed 或 task semantics。

共同 contract:

  • canonical reference 为 597-frame、30 Hz、SMPL-X、pick/place 98/568
  • human reference、physics humanoid asset 和 FK 使用同一个 KIMODO body-shape contract;
  • dynamic object 由 layout_json + dynamic_object_id 在 simulator boundary 加载真实 mesh;
  • object 是自由动态刚体,evaluation 时禁止播放 reference object pose;
  • support 和 scene collision 来自 SAGE layout,不创建重复 table/ground/target;
  • policy 只控制 humanoid;
  • virtual object force、kinematic binding 或 reference teleport 只能是显式 curriculum, 并在正式 evaluation 中归零;
  • rollout 和 final refined motion 返回 canonical world frame;
  • refiner 不修改 canonical KIMODO artifact;输出新的 canonical refined artifact;
  • manifest 只记录 provenance,不作为运行时 state bus。

4. 不能只按方法名比较:五个正交选择轴

每个 baseline 必须在以下五个轴上显式标注,否则“pretrained vs scratch”会混入多个变量。

选项
初始化 无;human-only tracker;HOI tracker;generative HOI prior
适配范围 frozen;residual head;latent adaptor;full fine-tune;per-sequence policy
Reference fixed raw KIMODO;可更新 reference;只在训练时用;完全不用
Action direct PD target;action residual;latent residual;diffusion/action chunk
训练单位 per-reference;multi-reference shared teacher;distilled student

RePHO 与普通 InterMimic fine-tune 的核心区别不是“输入来自视频”,而是:

  • 以 noisy kinematic trajectory 为初始化;
  • 用 pretrained InterMimic checkpoint warm start;
  • 进行 sequence-specific physics tracking;
  • 使用 adaptive sampling;
  • 在 policy learning 与 kinematic reference update 之间做双向、自更新传播;
  • release 同时训练 forward/backward 路径。

这正是 RQ-A 的一条主要 refiner family。

5. RQ-A:Generated motion 物理化的完整方法族

F0:无学习的 simulation / optimization lower bounds

F0-A:Reference PD replay

逐帧把 reference joint pose 作为 PD target,object 完全动态。

作用:

  • 测量 reference 在没有 learned correction 时的动态可执行性;
  • 暴露初始冲量、接触穿透、脚滑、balance 和 object drop;
  • 不是最终方法,因为它没有闭环恢复能力。

F0-B:Contact-aware trajectory optimization

直接优化 root、body joints、hand pose、object pose或控制序列,约束:

  • rigid-body dynamics;
  • contact complementarity 或 soft contact;
  • no penetration;
  • friction cone / wrench support;
  • joint/torque limits;
  • reference edit penalty。

可以实现为 direct collocation、shooting、MPC 或 differentiable simulation。 它提供“policy-free physics projection”基线,尤其适合单条 trajectory。

F0-C:Kinematic correction + fixed tracker

先离线优化 wrist/object/contact 和 root balance,再交给 frozen tracker。 InterAct→InterMimic 的数据修正链属于该思路。它用于区分:

  • reference 本身不可执行;
  • tracker/controller 能力不足。

F1:Pretrained scene-agnostic full-body human tracker

代表:PHC-X、PULSE-X tracker、SONIC 或同类 general motion tracker。

F1-A:Frozen human tracker

只跟踪 human reference,object 在物理中自由运动。

优点:

  • 零训练或极少 adaptation;
  • human naturalness 和 locomotion prior 强;
  • 是 human tracking 上界/HOI execution 下界。

局限:

  • policy 不观察 object/contact,通常无法主动修正 grasp;
  • 不能作为成功 refiner,只是必要 control。

F1-B:Full fine-tune human tracker

从 human tracker checkpoint 开始,加入 object/contact observation 和 reward, 更新全部 policy 参数。

优点:容量大。

风险:遗忘 human prior、训练不稳定、难以判断收益来自预训练还是新 reward。

F1-C:Action residual

a = a_human_tracker + scale * delta_a_hoi

代表:ResMimic-style、当前 PHC-X OmniResidual 候选。

优点:

  • 保留 locomotion/balance;
  • residual 专注 wrist、hand、object 和 contact correction;
  • 对单条轨迹通常比 153D scratch 更省样本。

必须比较:

  • residual 是否读取 base action;
  • body/hand 是否分 mask;
  • residual scale;
  • base action 是否 frozen;
  • reference PD target 与 base policy action是否重复 affine。

F1-D:Latent residual / adaptor

z = z_base + delta_z_object
a = decoder(z)

代表:GRAIL object-aware latent adaptor、OmniGrasp/PULSE-X latent family。

优点:低维、动作自然。

局限:latent manifold 可能缺少精细手物修正;必须先过 zero-residual closed-loop gate。

F2:Pretrained HOI tracker / HOI motor prior

这类方法已经观察 human-object relation、object geometry、contact 或 future object goal。

F2-A:Frozen/zero-shot HOI prior

代表候选:

  • pretrained InterMimic;
  • OmniGrasp;
  • InterPrior 的 full-reference 或 goal-conditioned inference;
  • 已发布 checkpoint 的其他 HOI tracker。

作用:测量现有 HOI prior 对 KIMODO-generated motion 的直接 transfer。

注意:

  • OmniGrasp 强项是 object trajectory execution,不是完整 human-reference fidelity;
  • InterPrior 是 sparse-goal generative controller,最重要的位置是 RQ-B;
  • 若 checkpoint、embodiment 或 object family不兼容,必须标记为 unavailable, 不能把重新训练后的结果称为 zero-shot。

F2-B:HOI checkpoint + residual adaptor

冻结 pretrained HOI policy,只学:

  • action residual;
  • latent residual;
  • goal adaptor;
  • object geometry/contact encoder。

它回答“HOI prior 是否比 human-only prior 更适合 refiner warm start”。

F2-C:HOI checkpoint full fine-tune

在同一 generated sequence 上微调整个 HOI tracker。

它比 F2-B 容量大,但要单独报告:

  • checkpoint 预训练数据;
  • trainable parameter ratio;
  • catastrophic forgetting;
  • 到达成功的 environment steps 和 wall time。

F2-D:RePHO-style alternating sequence refinement

这是当前最值得优先接入的路线之一:

KIMODO kinematic HOI
convert to RePHO/InterMimic tracking contract
pretrained HOI tracker warm start
adaptive sampling + forward/backward policy learning
update kinematic target from successful physical states
repeat
canonical refined SMPL-X human/object rollout

项目 adaptation 不需要 VisTracker、GVHMR 或视频重建前端。唯一输入是 canonical KIMODO motion。需要移植的是:

  • RePHO tracking representation;
  • adaptive sampling;
  • dual self-updating reference;
  • forward/backward rollout selection;
  • checkpoint initialization。

必须保留的项目边界:

  • 输出回到 KIMODO SMPL-X absolute-hand contract;
  • object geometry从layout加载;
  • 不把 RePHO intermediate files 变成主 pipeline 的 runtime state bus;
  • 先作为 per-reference refiner,不提前改成 shared model。

F3:Train-from-scratch full-reference tracker

F3-A:Current-frame direct tracker

代表:HOI-FHLI physics tracker。

pi(current human/object state,
   current dense human/object target)
  -> 153D PD target

优点:结构最直接,适合判断单条 reference 是否可被 PPO overfit。

F3-B:Sparse-future direct tracker

代表:InterMimic-style t+1,t+16,加入 object surface、interaction 和 contact。

优点:对未来 contact 和 object motion有预见。

局限:对 noisy reference 很敏感;PSI/IET 和 reference correction必须单独报告。

F3-C:Full next-frame contact-graph tracker

代表:PhysHOI-style。

特点:

  • actor 读取下一帧完整 HOI;
  • reward 使用 body/object/interaction/contact graph;
  • 适合检验显式 contact graph 的价值。

F3-D:Skill-conditioned imitation

代表:SkillMimic-style。

它更接近 reusable skill teacher,而不是单条 strict reconstruction。 第一轮可作为扩展,不应替代 direct tracker control。

F3-E:Finger-free / wrist-guided tracker

代表:WristMimic-style。

只跟踪 body/wrist/object/contact outcome,不强追 noisy finger reference。 它回答“精确 finger pose supervision 是否反而阻碍真实 grasp”。

F4:Reference-editing 和 controller learning 的混合

这些不是新的 policy architecture,而是对 fixed noisy reference 的处理方式:

  1. 先修 reference,再训练 tracker;
  2. tracker rollout 反向更新 reference;
  3. policy/reference 交替优化;
  4. forward/backward 从可靠片段向两侧传播;
  5. phase-wise refine:approach、grasp、carry、place、release 分段训练;
  6. curriculum assistance:virtual object/controller force逐步退火;
  7. successful physical-state pool:用可行物理 state 改善 reset 分布;
  8. ensemble/select-best:多 seed、多 contact hypothesis、多 refiner candidate筛选。

RePHO、InterMimic PSI、InterAct correction 和 SUGAR refiner分别覆盖其中不同组合。 实验中必须把“policy架构”和“reference更新策略”分成两个变量。

F5:Shared multi-reference refiner

代表:SUGAR-style shared refiner、multi-motion InterMimic/InterMimic+。

目的:

  • 从 per-reference teacher 扩展到一个 motion-pool refiner;
  • 降低每条 KIMODO motion 单独训练的成本;
  • 为 RQ-B 提供大规模、统一质量的 teacher rollout。

它属于第二阶段 scaling,不是当前单条 trajectory 选型的前置要求。

6. RQ-A 第一轮必须运行的 baseline matrix

为了覆盖用户提出的三类,同时加入必要的 lower bound 和 RePHO 主候选, 第一轮固定以下七条:

ID Family Initialization Reference update 训练单位 主要回答
A0 Reference PD None Fixed None raw reference 是否直接物理可执行
A1 PHC-X Frozen Human-only prior Fixed None human tracking upper bound、object lower bound
A2 PHC-X action residual Human-only prior Fixed Per-reference scene-agnostic prior + HOI residual 是否高效
A3 Pretrained HOI fine-tune InterMimic/available HOI checkpoint Fixed Per-reference HOI prior 是否优于 human-only prior
A4 RePHO-style Pretrained InterMimic Alternating update Per-reference 自更新 refiner 是否最适合 noisy KIMODO HOI
A5 InterMimic scratch None Fixed/PSI only Per-reference strong direct full-reference scratch baseline
A6 HOI-FHLI scratch None Fixed Per-reference minimal current-frame direct tracker baseline

第二优先级:

ID Family 原因
A7 Offline contact-aware trajectory optimization 单条轨迹的 policy-free 对照
A8 OmniGrasp adapted 已有 object-execution 强结果,但 human fidelity不是主目标
A9 GRAIL-Min-SMPLX 严格 residual/latent 方法验证,工程 contract 较重
A10 PhysHOI scratch contact-graph ablation
A11 WristMimic-style noisy finger-reference ablation

InterPrior 不放入 RQ-A 的首轮 refiner排名。它可在所有 mask 打开时做 full-reference expert,但对本论文最关键的是 RQ-B 的 student 和 post-training recipe。

7. Fixed-reference 与 RePHO-style 不能只比 reference error

RePHO-style 会修改 target,fixed-reference tracker不会。若只比较对 raw KIMODO 的 MPJPE,算法可能因做了必要的 contact/balance修正而看似更差。

统一报告三组指标:

7.1 Task/physics primary metrics

  • full-sequence completion;
  • pick success;
  • lift height;
  • hold duration/rate;
  • place position/orientation error;
  • release success;
  • object drop/launch;
  • human fall;
  • object/scene、human/scene、self penetration;
  • foot slip;
  • torque/action/joint-limit violations。

7.2 Fidelity secondary metrics

  • human MPJPE mean/p95;
  • root、arm、wrist、finger error;
  • object position/orientation error;
  • contact precision/recall/F1;
  • hand-object relative SE(3) error;
  • phase timing drift。

7.3 Reference-edit metrics

  • raw→refined root/joint/object displacement;
  • contact onset/release timing change;
  • phase duration change;
  • edit localization:是否只改交互关键窗口;
  • raw reference fidelity与refined self-consistency分开报告。

Primary ranking 先按真实 execution success,再按 reference-edit magnitude 和 fidelity 决胜;不能用较小 MPJPE 掩盖 object 留在桌面或错误 contact。

8. RQ-A 分阶段实验门槛

Gate E0:Representation/physics

  • shape/hash/XML/reference一致;
  • frame count/fps/coordinate exact;
  • object mesh、scale、pivot、mass、friction一致;
  • reset frame 0 human/object exact;
  • no second runtime height fix;
  • static hand/object/support geometry audit通过。

Gate E1:Reference replay

  • reference PD、zero-action 和 frozen tracker均完成 deterministic trace;
  • 记录首个 fall/drop/penetration frame;
  • 所有方法共享同一 canonical evaluator。

Gate E2:Short interaction smoke

只覆盖 approach→grasp→early lift,检查:

  • observation/action finite;
  • backward/update/checkpoint正常;
  • actual contact来自 target object,不来自 support;
  • assistance能退火到0;
  • deterministic evaluation可运行。

Smoke 不排名,不允许因为 short-window 成功宣称 full execution。

Gate E3:Single-sequence overfit

  • 完整 597 frames;
  • 每 500 epochs或固定 environment-step cadence做 deterministic evaluation;
  • fixed seed开发后,最终运行3 seeds;
  • 不只报告最好 checkpoint;
  • 每条路线有独立 max budget,另报告 steps-to-first-success。

Gate E4:Reference noise robustness

在选出的2–3条 refiner family上增加:

  • root/object perturbation;
  • finger/contact noise;
  • timing warp;
  • mass/friction/COM变化;
  • initial human/object displacement。

Gate E5:Multi-motion scaling

从单 cup 扩展:

  • single-hand不同形状;
  • bimanual large object;
  • push/pull;
  • static HSI;
  • 不同 scene/support。

通过后才进入 shared refiner 和 student dataset构建。

9. RQ-B:无 dense reference 的最终 state-based student

9.1 最终部署输入

首先区分两个 deployment scope。

Dynamic pick–place 最小 setting:

observation:
  current human proprioception
  current object pose/velocity
  current human-object relation/contact
  local scene geometry needed for collision/navigation

goal:
  future object target state only

masked / unavailable:
  dense future human motion
  dense future object trajectory
  reference joint pose
  reference action
  reference contact sequence

“object goal state only”指 goal channel只给 object target;current-state observation 仍必须包含执行闭环所需的人体、物体、接触和局部场景状态。

通用 HSI/HOI setting:

observation:
  current human/object/contact state
  state history
  local scene geometry

variable sparse goal tokens:
  object-goal token
  human-root/navigation token
  body-part ↔ object-part contact token
  relative-movement/relation token
  phase/termination token

never provided:
  dense future human trajectory
  dense reference actions

这使最终student同时覆盖:

  • dynamic HOI:pick、carry、place、push、pull;
  • static HSI:sit、lie、lean、get-up;
  • multi-object和long-horizon task chaining。

因此论文的硬claim应是 reference-free deployment,而不是强迫所有任务都只用 object pose。Object-only是dynamic pick–place的最小主实验;contact/task/relation token是通用系统扩展。

9.2 三阶段训练

Student Stage S1:Full-reference expert

  • 从 RQ-A 选出成功 refiner/teacher;
  • 在大规模 KIMODO→refined rollout池上训练 shared expert;
  • expert允许完整 future reference。

Student Stage S2:Goal-conditioned distillation

参考 InterPrior:

  • 将 expert 蒸馏到 conditional variational policy;
  • encoder只在训练时读取完整 future teacher trajectory;
  • prior只读取state history + sparse masked goal;
  • decoder输出低层 action;
  • 使用 expert/self-rollout mixture或DAgger减少分布偏移;
  • 训练中随机 mask human、object、contact goal组件。

PhysHSI 的dynamic pick–place主部署 setting固定 object-only mask。通用student 再把TokenHSI/UniHSI/VLM-RMD风格的task tokens作为并列目标表示,而不是把它们 混进第一条object-only因果实验。

Student Stage S3:State-based RL post-training

  • 从 perturbed initialization到单帧 object goal做 in-betweening;
  • 加入 near-failure、failed grasp、drop和fallen state resets;
  • RL优化 goal success、真实 contact、balance和效率;
  • 保留一部分 distillation environments防止遗忘;
  • 训练 re-approach、regrasp、carry、place、release和恢复。

9.3 四类最终 student 路线

Student-F1:InterPrior-style sparse-goal motor prior

  • full-reference expert;
  • masked conditional variational distillation;
  • state history + sparse goal;
  • RL post-training和failure-state recovery;
  • dynamic pick–place可在推理时只提供object future snapshot。

它最适合作为“teacher trajectories怎样变成自主motor prior”的主模板。

Student-F2:TokenHSI-style task-token policy

  • humanoid proprioception作为shared token;
  • object、target、contact、navigation等任务信息作为variable-length task tokens;
  • transformer统一多技能并支持新tokenizer适配;
  • 适合把SAGE task_plan.json编译为统一policy输入。

它回答的是“怎样统一多种HSI/HOI技能”,而不是“怎样修正单条reference”。

Student-F3:UniHSI-style Chain-of-Contacts

  • planner把语言/任务分解为human-joint ↔ object-part contact chain;
  • controller逐步执行contact goals;
  • 对sit、lie、lean和多物体静态/动态scene interaction特别有价值。

它比object-only goal提供更强的interaction specification,但不需要dense body trajectory。

Student-F4:VLM-RMD-style goal/reward compiler

  • VLM把task和environment context转换成结构化Relative Movement Dynamics;
  • RMD描述human/object parts之间的时空关系;
  • 自动生成goal states和RL rewards;
  • 适合把SAGE语义task扩展到未手写reward的新interaction。

截至本文更新时官方项目页仍标注Code & Dataset Coming Soon,因此第一阶段只能 做representation/ablation设计,不能声称official reproduction。

9.4 推荐的组合边界

这些路线不是互斥的。最自然的PhysHSI最终结构是:

SAGE scene + task_plan
Sparse-goal compiler
  ├─ object goal                     (InterPrior-style minimal)
  ├─ variable task tokens            (TokenHSI-style)
  ├─ chain of contacts               (UniHSI-style)
  └─ relative movement dynamics      (VLM-RMD-style)
state/history/geometry-conditioned motor policy
  ├─ teacher distillation
  └─ state-based RL post-training    (InterPrior-style)
humanoid action

也就是说:

  • InterPrior主要提供 motor-prior training recipe
  • TokenHSI主要提供 unified tokenized policy interface
  • UniHSI主要提供 contact-plan task abstraction
  • VLM-RMD主要提供 automatic goal/reward design

首版不应一次实现四者全部。先用object-only goal验证teacher→student闭环,再只加 一种通用task representation。优先顺序建议:

  1. InterPrior-style object-goal-only student;
  2. TokenHSI-style variable task tokens;
  3. UniHSI-style contact tokens;
  4. VLM-RMD-style automatic relation/reward generation。

9.5 Student baselines

ID Student Dense ref at inference Object-only goal RL post-train
S0 Full-reference expert Yes No No
S1 Distilled object-goal policy No Yes No
S2 Distilled + RL post-training No Yes Yes
S3 RL from scratch No Yes Yes
S4 InterPrior-style adapted No Yes Yes
S5 TokenHSI-style task-token student No Supported Optional
S6 UniHSI-style contact-chain student No Optional Yes
S7 VLM-RMD-style goal/reward policy No Supported Yes

主比较是 S1 vs S2,证明 post-training 带来的分布外恢复;S3检验 teacher/data prior 的必要性;S0只提供 expert上界。S5–S7回答goal representation和multi-task scaling问题,不与S1–S4的motor-prior因果实验混为同一ablation。

10. Student evaluation

最终论文不能只在 teacher reference上评价 student。至少包含:

  1. seen object / seen scene / new goal;
  2. seen object / unseen scene;
  3. unseen object geometry;
  4. randomized initial human/object state;
  5. goal switching;
  6. failed first grasp后的 regrasp;
  7. object perturbation和drop recovery;
  8. long-horizon多个 object goal串联。

主指标:

  • object-goal success;
  • time-to-goal;
  • fall/drop/failure rate;
  • contact correctness;
  • path/scene collision;
  • recovery success;
  • motion naturalness与能耗;
  • unseen object/scene generalization。

不再用 dense reference MPJPE作为 student primary metric。若存在对应 teacher, MPJPE只做风格/fidelity诊断。

11. 输出与数据闭环

每条成功 teacher case最终写:

case_id/
  task_plan.json
  layout_json reference
  kinematic_motion.npz provenance
  refined_motion.npz
  rollout.npz
  actions.npz
  contacts.npz
  metrics.json
  material_passport.json

这里列的是最终 canonical artifacts。训练 stage之间优先内存传递; 不为连接两个Python函数额外写中间NPZ/JSON,也不让下游扫描manifest发现状态。

student dataset从成功 rollout构造:

(state_t, sparse_goal_tokens, action_t, next_state_t, success/failure labels)

同时保留 teacher reference用于训练期distillation,但deployment dataloader必须有 硬测试,证明不读取future human/object reference。

12. 当前推荐执行顺序

  1. 冻结最新597-frame KIMODO case和共同 evaluator。
  2. 完成 A0 PHC-X/PD lower bounds,作为所有方法的共同诊断。
  3. 并列推进:
  4. A2 PHC-X action residual;
  5. A4 RePHO-style adapted;
  6. A5 InterMimic scratch;
  7. A6 HOI-FHLI scratch。
  8. A3只在确认可用HOI checkpoint和representation parity后进入。
  9. 用 task/physics primary metrics选择2条 refiner family。
  10. 扩到多object/multi-scene motion pool,训练shared full-reference expert。
  11. 按 InterPrior 的 expert→variational distillation→RL post-training训练 object-goal-only student。
  12. 再比较 TokenHSI task tokens、UniHSI contact chain 和 VLM-RMD relation goals, 扩展到通用HSI/HOI。
  13. 最终部署只给current state + sparse task goals;不提供dense HOI reference。

当前最高优先级判断:

RePHO-style 不是旁支视频baseline,而是最贴合“单条 generated KIMODO HOI 如何变成 physical teacher trajectory”的主 refiner候选之一;InterPrior 则是“如何从这些 teacher trajectories 得到无 reference 的state-based motor prior”的主模板。TokenHSI、UniHSI和VLM-RMD进一步决定最终policy如何 表达多技能task、contact plan和自动goal/reward。

13. 主要证据