PhysHSI Related-Work Deep-Research Audit
审计日期:2026-07-27。本文是论文定位的证据台账,不是实验结果,也不把外部 论文的能力写成本项目已经复现的能力。
结论先行
此前的 related-work 版本存在实质性遗漏和一处错误分类,不能再用作论文 novelty 判断:
- HOI-FHLI 不是“仅 kinematic generator”。 它从 human-level instruction
生成 full-body、finger 和 object motion,并以 RL physics tracker 执行生成结果。
本仓库的官方 release checkout 也确有
physics_tracking/和 Isaac Gym runner。 - “noisy kinematic prior → physics teacher/refiner → reference-free student” 不是空白组合。 SUGAR 已提出该三段式闭环; MaskedManipulator 已有 MimicManipulator full-reference teacher → DAgger masked-goal student;InterPrior 先训练 full-reference expert,后蒸馏为 sparse-goal policy 并作 RL post-training; HumanVLA、 OmniH2O、 HumanPlus、 VisualMimic 与 CWI 分别已有 state/VL、privileged-to-sparse、human-shadowing、vision/keypoint 与 MoCap/bimanual student。
- “digital asset/video prior → physical tracking → downstream visual policy”也不是 空白。 GRAIL 已公开此端到端路径及 G1 deployment;DeVI 已从 synthetic HOI video 提取 hybrid target 并训练 dexterous physics controller。它们的 object-aware adaptation/reward 都不是可被称为全新的一条设计线。
- 自然语言/VLM 规划到物理 HSI 已有多个系统。 HOI-FHLI、 SIMS、 BiBo 与 VLM-RMD 分别覆盖 instruction/script、physical feedback 或自动 reward construction。
因而 PhysHSI 当前不能声称“第一个把生成 motion 变为 physics teacher 再训练 student”的系统,不能把 GRAIL-Min 当作方法创新,也不能用“有手的 SMPL-X generator + tracker”本身作为 novelty。
仍可研究、但必须由新实验证明的方向,是将 external/generated SMPL-X HSI 的 输入噪声、scene/object/contact 语义与 physics failure 变为一个可审计、跨输入源 的 teacher-selection / refinement 问题,并证明这些失败/成功 rollouts 如何改善一个 不读 dense reference 的 student。这个表述是待验证假设,不是现有证据已经支持的 论文贡献。
范围、检索协议与可信度边界
研究问题
截至审计日,回答四个互相独立的问题:
- 哪些方法从 language/scene/asset/video 产生 full-body HSI/HOI reference?
- 哪些方法在真实物理仿真闭环中将该 reference 变为可执行 humanoid skill?
- 哪些方法已经从 teacher/refiner rollout 训练不依赖 dense reference 的 policy?
- 哪些 release 能真正作为 PhysHSI baseline,而不是只有论文、demo 或 dataset?
覆盖方法
- 时间窗:主检索为 2023-01-01 至 2026-07-27;补入 HUMANISE (NeurIPS 2022) 作为 scene-language lineage 的必要前史。
- 一手来源:CVF Open Access(CVPR 2023--2026、ICCV 2023/2025)、ACM SIGGRAPH Asia、AAAI、OpenReview/ICLR、IEEE/TVCG、arXiv、作者项目页和 官方 GitHub release。
- citation graph anchors:HOI-FHLI、GRAIL、BiBo、Dyn-HSI、SUGAR、RePHO、 InterPrior、SimGenHOI、ResMimic、ContactMimic、MaskedMimic、MaskedManipulator、 TWIST、VisualMimic 与 ULTRA。对每个 anchor 的 related work、comparison 和 release 链接作了回溯。
- 关键词族:
human-scene interaction,human-object interaction,full-body,SMPL-X,physics-based,tracking,refiner,residual,contact,teacher student,instruction,dynamic scene,loco-manipulation,motion inpainting,neural retargeting,并以 venue/year 交叉检索。
纳入与排除
纳入:输出或消费 3D full-body HSI/HOI trajectory,或直接提供 physical humanoid tracking/refinement、teacher-to-student policy、scene/object/contact interface 的论文。 排除:纯 2D HOI detection、纯 hand-only robot manipulation、没有 3D HSI/HOI 输出的 general robot VLA,以及只与多人体协作有关而不改变单 humanoid teacher/student 问题的方法。TeamHOI 等工作只作为邻近证据记录,不混入单人 baseline。
术语与证据等级
- K(kinematic/soft-physics):生成或优化 trajectory;损失可能含 contact、force 或 penetration,但没有所报告的 humanoid physics closed-loop policy。
- P(physics closed loop):在物理 simulator 中训练/执行 humanoid policy,且论文 报告该闭环。P 不等于已在真机部署。
- release: full:官方仓库有 source、环境/训练或推理入口;仍需本项目复现。
- release: partial:只有 dataset、motion generator、assets、demo,或主系统的关键 stage 没公开。absent/unverified 不得写成“不可用”,只表示截至审计日未从官方 source 验证到可执行 release。
本协议能对上述定义域给出可审计的系统检索覆盖;它不能诚实地证明互联网所有 未索引 preprint 零遗漏。新论文出现或 code 状态变化时,必须重新执行此审计,而不是 凭记忆追加一两篇引用。
独立 robotics-index 压力测试(2026-07-27 amendment)
为避免只从 HSI/generation 社区检索,本审计又以机器人控制术语独立反查:
SMPL-X physics-based humanoid manipulation、human-object teacher-student physics
humanoid、whole-body imitation loco-manipulation、generated motion physics SMPL-X、
human-to-humanoid teleoperation learning、synthetic video HOI physics。一手论文、项目页
和官方 repository 的处置如下:
| 检索分支 | 新增或重新定级的记录 | 审计处置 |
|---|---|---|
| SMPL-X/whole-body HOI physics | MaskedManipulator/MimicManipulator、Expert-Guided Imitation、DeVI | 纳入 P;前者是 dense teacher→student,后两者分别是 box MoCap/expert 与 generated-video controller。 |
| human-to-humanoid tracking/teleoperation | H2O/OmniH2O、HumanPlus、TWIST、VisualMimic、CWI、M3imic | 纳入 P 或 adjacent-control prior;它们不自动成为 dense object/contact HOI baseline,但阻断泛化的 teacher→autonomy claim。 |
| text/multimodal HOI generation | MP-HOI | 纳入 K;其 processed representation 不含 articulated hand parameters,故不是 SMPL-X hand physics teacher。 |
| policy-free physical execution / non-single-human | Half-Physics、Human-X、TeamHOI | 保留为 adjacent evidence;不混入单人 RL teacher 排名。 |
这一步没有发现一个可直接替代当前 PHC-X/PULSE-X SMPL-X hand controller的、官方已发布 full-reference HOI checkpoint;它是截至审计日按上述检索与官方 release scope 的负向结果, 不是对未来 release 或未索引代码的断言。
证据矩阵 A:kinematic / generation / scene interface
| 方法 | 论文原生能力 | 物理层 | 已核验 release | 对 PhysHSI 的含义 |
|---|---|---|---|---|
| HUMANISE (NeurIPS 2022) | language + point-cloud scene → human motion | K | code/data | 静态 HSI language baseline 的前史。 |
| SceneDiffuser (CVPR 2023) | unified scene-conditioned pose/motion/grasp/planning diffusion | K | code | “scene-aware + physics-inspired diffusion”不是新表述。 |
| InterDiff (ICCV 2023) | dynamic whole-body HOI prediction + contact-coordinate correction | K | code | physical-informed trajectory correction 的直接前驱。 |
| TRUMANS (CVPR 2024) | dynamic objects、scene/action-conditioned long HSI generator | K | code/data | dynamic object HSI reference 的主要数据/方法 lineage。 |
| LINGO (SIGGRAPH Asia 2024) | SMPL-X/MANO long-horizon instruction + goal-location HSI with dynamic objects | K | code/data announced | “SMPL-X + text + scene + interaction”不能作为独有卖点。 |
| CG-HOI (CVPR 2024) | text → joint human/object/contact diffusion | K | paper code link | contact-guided kinematic HOI 的直接比较项。 |
| CHOIS (ECCV 2024 Oral) | language + initial states + sparse object waypoints → synchronized human/object trajectory | K | code | 和 SAGE path / canonical object path 最接近的 generation baseline。 |
| InterDreamer (NeurIPS 2024) | zero-shot text → dynamic 3D HOI with LLM + motion prior + world model | K | code/project | “LLM + physical reasoning”已有相邻先例。 |
| ZeroHSI (2025 preprint) | VFM video prior + differentiable reconstruction → 4D HSI | K | code announced | GRAIL 的 video-prior upstream lineage;不等同物理 tracker。 |
| InteractAnything (CVPR 2025) | LLM feedback + affordance parsing → open-set 3D HOI | K | project/paper | open-vocabulary affordance / LLM feedback 已覆盖。 |
| HSI-GPT (CVPR 2025) | scene-motion-language token model; generation/understanding/completion | K | paper | scene/motion/language unified interface 的强相关项。 |
| InterAct (CVPR 2025) | large-scale 3D HOI data and generation benchmark | K | data/code | candidate reference source/benchmark,不是物理 teacher 结果。 |
| SceneMI (ICCV 2025) | noisy HSI keyframe / in-betweening with global voxel + local BPS | K | paper | 对“noisy canonical motion repair”最接近的 kinematic comparison。 |
| HOSIG (AAAI 2026) | grasp pose + navigation + finger-level scene-guided diffusion | K | code promised/未核验 runnable | full-body object + static scene generation 的直接系统竞品。 |
| Dyn-HSI (TVCG 2026) | dynamic scene-aware waypoint, hierarchical memory, autoregressive HSI diffusion;SMPL-X hand pose | K | 无官方 runnable code 已核验 | dynamic scene 生成的直接竞品;论文没有报告 physics controller。 |
| MP-HOI (2026 preprint) | multimodal priors + geometric keypoints/contact/dynamics + cascaded diffusion → text-driven SMPL-X HOI | K | paper only / runnable release 未核验 | text/multimodal-prior HOI generation 不能再作为空白;论文处理的 FullBodyManipulation 表示不含 articulated hand parameters。 |
| SSOMotion (AAAI 2026) | semantic scene occupancy + instruction direction → human motion | K | code | scene representation baseline,而非 teacher。 |
| DIP (AAAI 2026) | unpaired scene-aware motion diffusion with implicit policy | K | project/code | unpaired scene generalization 的 generation evidence。 |
| InterPhys (CVPR 2026) | force/torque-consistent human motion in dynamic scenes | K | code not verified | physical plausibility loss 不等同 physics rollout;仍是 generation competitor。 |
| PAMotion (CVPR 2026) | text → multi-object full-body motion, acceleration/contact-aware loss | K | project/code announced | 不能把“physics-aware kinematic multi-object HOI”说成空缺。 |
证据矩阵 B:physics teacher, tracker, refiner 与 student
| 方法 | 论文原生 pipeline | 层 | 已核验 release | 对 PhysHSI 的含义 |
|---|---|---|---|---|
| PULSE / PULSE-X (ICLR 2024 / preview) | frozen physics motion latent encoder/decoder; repository exposes an SMPL-X PULSE-X preview task | P | full source; PULSE-X preview/checkpoint is available in the official lineage | A2-G 的可用 frozen latent controller。原始 PULSE 论文的 latent 是 32D;本项目 checkpoint 的 48D contract 必须以 checkpoint/code 核验,不能把它误引为原论文数字。 |
| PHC-X checkpoint family | dense SMPL-X reference → direct full-body action target | P | project-local released checkpoint contract;并非独立 HOI residual paper | direct lower bound 与 A2-R base;153D action/observation contract 是 adaptation 边界,不能称为 ResMimic 原生接口。 |
| MaskedMimic / ProtoMotions (SIGGRAPH Asia 2024) | masked future joint targets / text / scene → one physics motion-inpainting policy | P | full source; shipped MaskedMimic checkpoint is explicitly SMPL, IsaacLab-only | 强 partial-reference control prior,但当前官方 checkpoint 不含 SMPL-X articulated hands,不能作为现成手部 HOI teacher。ProtoMotions 有 SMPL-X morphology,不等于已发布 SMPL-X MaskedMimic checkpoint。 |
| SONIC (2025) | G1 dense motion reference → frozen universal whole-body tracker | P | official code/models | GRAIL 原生 base controller;其 64D/FSQ/hand primitive contract 是 G1-specific,不能与 PULSE-X latent contract 宣称等价。 |
| H2O / OmniH2O (IROS/CoRL 2024) | large-scale human-motion retargeting/augmentation → privileged RL teacher → sparse-sensor sim-to-real policy; teleoperation/autonomy | P | full official code/data; dexterous hands | 高影响 cross-embodiment teacher→deployable policy family;不消费 dense HOI object trajectory,却排除“human motion to autonomous humanoid”作为新系统主张。 |
| HumanPlus (CoRL 2025) | human motion shadowing policy → real-world teleoperated whole-body data → egocentric behavior-cloning skills | P | paper/project; runnable release 未核验 | 另一条 human-motion → real data → autonomous visual skill pipeline;同样不是 generated SMPL-X contact benchmark。 |
| TWIST (CoRL 2025) | retargeted human/MoCap reference → RL+BC unified real-time whole-body tracker | P | full source, data, teacher/student policy code and checkpoint | 非 HOI-object teacher,却是开放的 human-to-humanoid tracking/teleoperation upper baseline;不能只比较 PHC-X/PULSE-X。 |
| Expert-Guided Imitation (SII 2026) | retargeted MoCap upper-body/root + walking-expert BC → box loco-manipulation policy | P | paper/project; framework announced, runnable release 未核验 | 对“用 human reference 做全身 box pick–carry–place,另以 locomotion expert 保证可执行”的直接真实机器人先例。 |
| PhysHOI / SkillMimic | scratch contact-aware HOI imitation | P | official source lineage | scratch expert 下界,不是 generation baseline。 |
| OmniGrasp | object-centric grasp/control | P | official source | object-control diagnostic;不替代 dense HOI tracker。 |
| HumanVLA (NeurIPS 2024) | state goal-conditioned teacher + AMP → vision-language student | P | full code, configs, teacher/student checkpoints | teacher→student 与 deployment 不是新总体结构。 |
| InterMimic (CVPR 2025 Highlight) | universal whole-body physical HOI reference tracking | P | official code | full-reference HOI teacher 的核心 baseline family。 |
| MaskedManipulator / MimicManipulator (SIGGRAPH Asia 2025) | SMPL-X full-reference physics tracker → online DAgger distillation → masked spatio-temporal body/object-goal policy | P | paper/project; runnable release 未核验 | 同时是强 HOI teacher,及 dense teacher → sparse-goal student 的直接先例;并含 phased contact reward。 |
| ResMimic (2025 preprint) | frozen GMT policy + object-conditioned direct-action residual + object/contact reward + virtual-force curriculum | P | full official code | A2-R 是 ResMimic-style adaptation,不能称 strict reproduction;其 curriculum 也解释 noisy reference 难点。 |
| HOI-FHLI (ICCV 2025) | LLM plan → full-body/finger/object generator → RL physics tracker | P | full official generation + physics_tracking code;本地 checkout 已核验 |
直接反驳“只 kinematic”;应列为 end-to-end and direct-tracker baseline。 |
| SIMS (ICCV 2025) | RAG long script → multi-condition physics policy | P | official repo 仍写 code/data soon | instruction/script + physical scene policy 的直接系统比较。 |
| VLM-RMD (ICLR 2026) | VLM produces RMD plan that constructs goals/rewards for static/dynamic/articulated object RL | P | public repo目前为 project/dataset assets,未见 executable policy source | “VLM automatic reward design”已有;不能因 repo 不完整而忽略论文。 |
| BiBo (ICLR 2026) | VLM instruction compiler + latent diffusion executor conditioned on executed motion + RL tracker | P | partial: dataset/generator/renderer/visualizer released; simulator and VLM planner explicitly pending | 有 physical feedback,但其追踪手是 IK key-joint formulation,不能据此声称 articulated SMPL-X finger control。 |
| SimGenHOI (2025 preprint) | text/object/waypoint DiT → contact-aware RL tracker; mutual generator/controller finetune | P | code announced, not verified released | 与“generation + physics tracker”完全同类;应被纳入 generator/teacher discussion。 |
| DeVI (2026 preprint) | text-conditioned synthetic HOI video → 3D human + 2D object hybrid target → hybrid-reward dexterous physics controller | P | official repository currently code stub: README says code will be released soon | 直接视频生成 input → physics dexterous HOI competitor;其 hybrid 2D object target 与 canonical 3D object trajectory 不同,但不能忽略其 generated-input setting。 |
| SUGAR (2026 preprint) | noisy kinematic video prior → privileged RL refiner → refined rollouts → BC/RL tracker + command generator | P | full official code advertises refiner/tracker/generator pipeline | 当前最直接的 pipeline novelty threat;PhysHSI 不能再宣称此三段组合为首创。 |
| RePHO (CVPR 2026 Highlight) | InterMimic-initialized forward/backward per-sequence refinement; rollout states update reference buffer | P | full code | RQ-A 的强方法基线;仅去掉其 video front-end 才是合理最小适配。 |
| GRAIL (2026 preprint) | asset + VFM → SMPL-X/object reconstruction → G1 retarget → frozen SONIC latent adapter / scene tracker → RGB policy | P | full code/data | direct system comparator;A2-G 只能作为 GRAIL-style cross-interface baseline/adaptation,不能作为论文方法。 |
| InterPrior (CVPR 2026 Highlight) | full-reference InterMimic+ expert → variational sparse-goal prior → DAgger/RL post-training | P | paper/project; runnable release not verified | 不只是 student template;其 Stage I expert 和 Stage II/III student 已覆盖 teacher–student bridge。 |
| ComplexMimic (2026 preprint) | imperfect MoCap in complex scenes → imitation/interaction experts → difficulty-aware distillation | P | official code | 直接挑战“generated/noisy reference + complex scene physics”问题表述。 |
| ContactMimic (2026 preprint) | keypoint tracking + explicit binary part contact command/reward + correlation-breaking augmentation | P | full official code | contact is a first-class control signal; simple position tracking or hard contact gate 不足以支撑 manipulation claim。 |
| WristMimic (ECCV 2026) | kinematic body/wrist tracking + object/contact-driven fingers, without human finger-pose supervision | P | code announced/未核验 released | 直接反证“严格 replay SMPL-X finger pose一定更好”;应形成 hand-interface ablation。 |
| InterReal (2026 preprint) | HOI augmentation + automatic reward learner + meta-policy for physics imitation; G1 deployment | P | code not verified | reward-learning / human-to-G1 tracker 的直接 tracker competitor。 |
| ULTRA (IROS 2026) | physics-driven neural retargeting → universal tracker → dense-reference/sparse-goal/egocentric multimodal controller | P | paper/project; runnable release 未核验 | direct G1 teacher-to-autonomous-loco-manipulation competitor;generic “tracker then perception student” claim 进一步不成立。 |
| CWI (2026 preprint) | MoCap upper-body imitation + AMP lower-body experts → multi-critic whole-body teacher → bimanual-hand/command student | P | paper/project; runnable release 未核验 | 即使不做 object-conditioned full-reference HOI,也直接覆盖从 full-body MoCap teacher 到 sparse bimanual deployment actor 的设计空间。 |
| HumanoidMimicGen (2026 preprint) | contact-rich source demonstrations + whole-body planning → diverse physical data → visuomotor policy | P | paper/project; runnable release 未核验 | “physics data engine 后训练 whole-body visual policy”已有;应作为 data-generation/student 竞争项。 |
| VisualMimic (2025 preprint) | human-motion low-level keypoint tracker (teacher–student) + egocentric vision high-level keypoint generator | P | paper/project; runnable release 未核验 | 直接反驳“motion tracking base + perception-ready command policy”作为总体结构的新颖性;其 reference 是 keypoint 而非 object/contact trajectory。 |
邻近但不混入主任务的证据
- TeamHOI 已做任意 team-size cooperative physics HOI;因问题变为多 humanoid 协作,排除出 single-human baseline,但它否定了“unified physics HOI policy”这个泛化主张。
- Decoupled Generative Modeling for HOI Synthesis 是 CVPR 2026 的生成工作;不直接给 physical controller,故只计入 generation completeness 而不列为 teacher baseline。
- Half-Physics 将 SMPL-X target velocity 直接嵌入 Bullet 物理执行(没有 RL policy);Human-X 则以 reaction generator + RL actor-aware tracker 处理 human--human/humanoid interaction。 两者不与单人 HOI teacher 混为一个 benchmark,却分别阻断“SMPL-X 到物理执行”和“实时 physics interaction”这两个泛化主张。
- M3imic 已把 robot joint、human pose 与 end-effector reference 映射到 shared latent whole-body controller;它不含所需的 object/contact teacher, 因而不列为 HOI 主 baseline,但必须作为 multi-modal tracking prior 记录。
逐条纠错与对计划的约束
已纠正的文档断言
| 旧表述 | 审计后的正确表述 |
|---|---|
| “HOI-FHLI 等 kinematic generator 可提供 motion proposal。” | HOI-FHLI 是端到端 instruction → full-body/finger/object motion → RL physics tracking 系统;其 generated motion 可以作为本项目输入,但原方法并非无物理执行。 |
| “现有方法分别覆盖 generation、tracking、refinement 或 sparse-goal control。” | SUGAR、MaskedManipulator/MimicManipulator、GRAIL、DeVI、InterPrior、HumanVLA 与 CWI 已跨越两个或三个阶段;差异必须落在输入质量、embodiment、contact contract、evaluation 或新算法,而非泛化 pipeline 图。 |
| “InterPrior 是最终 student 主模板。” | 它同时有 full-reference expert、distillation 和 post-training;只能作为完整 competitive system,而非只引用 student 部分。 |
| “VLM-RMD 官方代码状态待复核。” | 已核验官方公开 repo;截至审计日它含 project/dataset assets,未含 executable policy implementation。status 应写清楚,不再悬置。 |
| “BiBo code unreleased。” | 不正确。其 dataset/generator/renderer/visualizer 已开源;simulator/VLM planner 仍未发布,故为 partial,不是 absent/full。 |
对 GRAIL-Min / teacher 实验的直接结论
- GRAIL-Min-SMPL-X/PULSE-X 是 baseline,不是论文方法。 它回答“GRAIL 的 residual structure跨 embodiment 是否可用”,不能回答“是否提出了新的 physics refiner”。
- A2-R 和 A2-G 不应伪装成单因素模型比较。 ResMimic 是 direct-action residual on GMT;GRAIL 是 SONIC FSQ latent residual + binary hand primitive。PULSE-X integration 必然改变 checkpoint interface,因此两者只能作为 system-level teacher candidates,在相同 input/scene/simulator/budget/metrics 下比较。
- contact/finger 不能保持为后处理细节。 ContactMimic 表明 pose tracking 不能唯一
指定 functional contact;WristMimic 表明 noisy human finger pose 甚至可能不应被
直接监督。项目需要在论文前决定并验证一种明确 contract:
finger-pose tracking、wrist + object/contact outcome或explicit contact command。 - SUGAR 和 RePHO 是 teacher/refiner 的优先 external baselines。 SUGAR 是完整 teacher-to-student 竞争系统;RePHO 是 per-sequence noise-refinement 机制的最小可比 实现。若不至少交代二者,reviewer 会合理质疑 baseline 缺失。
修订后的 claim ladder
| 不能再声称 | 只有满足下列证据才可声称 |
|---|---|
| 第一个 kinematic→physics→student pipeline | 输入源无关、failure-preserving 的 SMPL-X HSI teacher benchmark / method,并在至少两个 independent generation families、object/scene split 上优于 SUGAR/RePHO/InterMimic-family adapted baselines。 |
| 第一个 instruction/VLM → physical humanoid system | 若重点是 task plan,必须证明 plan/contact/role contract 造成了可量化 physical benefit,且公平对照 HOI-FHLI、SIMS、BiBo、VLM-RMD。 |
| 第一个 GRAIL-style residual adaptor | 只能说实现了一个 adapted baseline;除非提出与 GRAIL/ResMimic 都不同、消融可证的算法机制。 |
| SMPL-X finger replay 可保证 grasp | 需要 contact success、object trajectory、contact attribution 与跨手/物体消融;MPJPE 或 render 不足。 |
| student 是 autonomous | deployment actor audit 必须证明没有 dense future reference 或 teacher-only state,且报告 held-out scene/object/task success 和 failure denominator。 |
下一次论文定位的最低门槛
在决定主 paper 之前,先完成以下 paper-level decision,而不是继续堆 adaptation:
- 冻结一个清晰主张:benchmark/contract、new refinement algorithm 或 state student learning 三者只能选一个为主贡献,其余是支持系统。
- 若选 new refiner,先在 canonical inputs 上比较 direct tracker、ResMimic-style、 GRAIL-style、MimicManipulator-style、RePHO-style 和 SUGAR-style;至少报告 human/object/contact/physics 四类指标及所有失败分母。
- 若选 student,MaskedManipulator、InterPrior、HumanVLA、CWI、HumanoidMimicGen 与 SUGAR 是设计和实验的必引竞争项;只在 teacher 确认成功后才开始 student training。
- 若选 generation,HOI-FHLI、CHOIS、HOSIG、Dyn-HSI、PAMotion 是不可跳过的 generation comparisons,且“physics-aware loss”不得等同 physics execution。
可复核来源
关键结论均可从上表的一手论文/项目页复查;本地 release scope 另有以下可复核证据:
submodules/hoifhli_release/README.md和submodules/hoifhli_release/physics_tracking/: SMPL-X generation 与 Isaac Gym tracking runner。submodules/BiBo/README.md和submodules/BiBo/simulator/README.md:前者列出已 released generator/dataset/renderer/visualizer,后者明确 simulator/planner 尚在 refactor。submodules/SUGAR/README.md:标注 refiner、tracker、generator 的 complete training pipeline release。submodules/RePHO/README.md:公开 InterMimic-initialized tracking training/inference。
任何未来 related-work 更新必须在本页新增一条 evidence record,并同步修改
related_work.md、capability_matrix.md 与 project_scope.md;不能只改其中一页。
Devil's-Advocate Checkpoints
以下是 academic-research workflow 的反向论证检查。它审查的是本审计的推理边界, 不是对外部论文结果作独立复现。
Checkpoint 1 — scope / protocol
Verdict: REVISE
- Major — “complete”不能被误读为全网零遗漏。 本审计以 venue、anchor citation graph 和关键词定义了 coverage,仍可能漏掉未索引 preprint、workshop 或使用不同术语 的相关工作。修复:本文明确限定为 protocol-complete coverage,版本化 cutoff,并把 新发现作为 amendment 加入。
- Major — “物理”不止一个概念。 trajectory-level force/contact loss、simulator
closed-loop 和 hardware deployment 不能折叠为同一个布尔标签。修复:使用 K/P,且
在每个结论中分别写 rollout 与 deployment,不以
physics-aware替代 P。 - Minor — 单 humanoid、full-body、SMPL-X、G1 的交集很窄。 若只按同 embodiment 排除文献,可能高估新颖性。修复:纳入 cross-embodiment 但标注其 interface difference。
Checkpoint 2 — evidence / synthesis
Verdict: REVISE
- Critical — 不能从论文图和 abstract 推出 PhysHSI 一定没有可发表贡献。 SUGAR/GRAIL 证明 generic pipeline 图不新,但没有证明它们已解决跨 external SMPL-X reference 的 contact/failure contract。修复:结论改为“generic claim 被阻断”,不是“项目无价值”; 任何更窄 claim 必须用 cross-source controlled evidence 建立。
- Major — 不能仅因 code 缺失把论文排出比较。 BiBo、SIMS、VLM-RMD、InterPrior
的 release scope 不完整/未核验,仍构成 paper-level novelty prior art。修复:矩阵分离
paper-native capability与runnable baseline。 - Major — 本审计尚未独立复验论文数值。 全部外部结果只作为作者报告,不可转写成 “已验证性能”。修复:文档使用“论文报告”,项目状态仍要求 native reproduction 或 adapted evidence。
- Minor — P/K 对 ComplexMimic、InterReal 等新 preprint 主要依赖作者叙述。 修复: 将其标为 preprint,并禁止作为唯一的设计依据。
Checkpoint 3 — final positioning stress test
Verdict: REVISE(阻断 generic system paper claim;不阻断有新证据的 narrower paper)
- Critical — 若 paper 的主张仍是“first end-to-end generated HSI → physics teacher → state student”,它会被 SUGAR、MaskedManipulator/MimicManipulator、GRAIL、DeVI、 InterPrior、HumanVLA、OmniH2O、HumanPlus、VisualMimic、CWI 和 HumanoidMimicGen 直接否定。 推荐:在启动大规模训练前冻结主张为 benchmark/contract/new refinement mechanism 之一,并建立对应的 external baseline table。
- Critical — 若只在一条 canonical sequence 或仅一个 generator 上成功,不能推出 “generated-reference robustness”。 推荐:至少两个独立 generation/reference families, pre-registered object/scene split,完整失败分母和 contact/object/task metrics。
- Major — 将 GRAIL adaptation 当作方法会混淆 baseline 与贡献。 推荐:把 GRAIL-Min 放入 teacher selection;只有独立于 GRAIL/ResMimic 的算法机制及消融,才能进入方法段。
- Major — finger tracking 是未决设计选择而非既定真理。 ContactMimic/WristMimic 给出
相反的合理假设。推荐:将
finger-pose,wrist+outcome,explicit contact command写成对照,而非 hard-code reward/index。
Strongest counter-argument: “SUGAR/GRAIL 输入是 human video/VFM 或 G1,而 MimicManipulator 使用 GRAB;PhysHSI 使用 task-plan/SAGE/KIMODO 的 canonical SMPL-X input,因此已有系统不构成同一问题。”此反驳只足以支持更窄的接口/benchmark问题; 它不足以支持泛化的 teacher–student 或 generation-to-physics system novelty。要使其成立, 必须实证表明 external-generated SMPL-X inputs 的 error/contact distribution 与这些系统的 输入不同,且提出的 contract/refiner 在多个 input families 上带来独立收益。
| Stress test | 结果 |
|---|---|
| 移除最强单篇 SUGAR,generic pipeline claim 是否仍失败? | 是;GRAIL、InterPrior、HumanVLA 仍覆盖关键阶段。 |
| 移除 GRAIL,GRAIL-Min 是否仍只是 baseline? | 是;ResMimic 已覆盖 frozen tracker + residual 的核心思路。 |
| 只使用 Kinematic 论文,能否声称 physical execution? | 否;K 与 P 证据不可互换。 |
| 只完成单 case teacher,能否声称 generalizable student? | 否;需要 G4--G6 evidence gates。 |