可移动物体 HSI / HOI 动作生成模型调研

更新时间：2026-06-02。

本文档评估的是我们当前真正关心的任务：已经有 SAGE / A* 给出的避障路径，只考虑一个要交互的可移动物体和最终放置目标，能否生成完整的 full-body motion，让人自然地走到物体旁、弯腰/下蹲抓取、沿路径 carry、最后放下。也就是说，这里不重点比较 scene planner，而是比较模型是否能执行“物体路径 + pickup/carry/place”。

我不能诚实地说对所有最新 release 状态有字面意义的 100% 把握，因为这些项目的代码、checkpoint、数据权限会持续变化。下面表格尽量使用项目页、官方 repo、论文或官方 dataset card 作为依据；不确定的地方会显式标注为“未确认”或“需要实测”。

核心结论

对我们的 cushion case 来说，目前最值得继续修的是 OMOMO / CHOIS / HOI-FHLI 这一族，因为它们本来就建模“人和可移动物体同步运动”，并且使用 object trajectory / object waypoints 作为条件。之前我们在 HOI-FHLI 上看到的失败，更像是 adapter、object condition、geometry/semantic、长段 diffusion 或 stage 连接使用方式有 bug，而不是这条路线本身不适合。

Kimodo / BONES-SEED 很适合做 root trajectory locomotion 和一般文本动作。我们已经做过 no-keyframe 的 root+text SAGE cushion 测试：root 路径跟踪很好，但它不会自动可靠地完成抓取、稳定 carry 和放置。因此它更适合作为 locomotion / transition / retrieval 后端，而不是主 HOI generator。

HOSIG 和 InteractMove 值得并行尝试。HOSIG 在系统设计上最接近我们想要的东西：scene-aware grasp anchor、2D navigation、trajectory-controlled full-body/finger motion、autoregressive 长动作。InteractMove 则专门强调 movable objects 和多物体场景，但它是否能稳定支持长距离 carry 和我们的输出格式，需要先跑官方 demo 再测 cushion。

LINGO、TRUMANS、Afford-Motion、TeSMo、DIMOS、LAMA 这些 scene-aware HSI 系统有参考价值，但很多更偏向静态场景交互、locomotion、reaching、sitting、lying 或短程 object use，并不一定直接解决“object COM path + stable hand-object carry”。

主表格

工作 / 数据集	时间 / 会议	输入和控制方式	训练数据 / 场景来源	人体格式	开源 / 数据状态	对 pickup-carry-place 的支持	对 SAGE cushion 的工程判断
OMOMO / FullBodyManipulation	SIGGRAPH Asia 2023 / TOG	用 object motion 引导 human motion；输入更接近完整 object trajectory，而不是 human root path。	FullBodyManipulation 类 full-body manipulation 数据；HOI-FHLI 论文引用为约 10 小时、15 个物体、没有 finger motion。	repo setup 需要 SMPL-H / SMPL-X 资源；生成结果可接到我们 SMPL-X 侧流程，但具体脚本里可能需要转换。	官方代码、数据、pretrained model 都有链接。	高。只要 object trajectory 合理，它适合 full-body manipulation；但 finger 细节弱。	这是 HOI-FHLI / CHOIS 能生成大物体交互的核心数据和方法来源。可作数据/参考，但 standalone 接 SAGE 不是最方便。
CHOIS	ECCV 2024 Oral	language + 初始 object/human state + sparse object waypoints；同时生成 human 和 object motion。	OMOMO / FullBodyManipulation，并测试到 3D-FUTURE 类新物体泛化；waypoints 可以由高层 planner 提供。	SMPL-X。	官方代码、pretrained model、数据说明已 release。	很高。它直接匹配“planned object COM waypoints + synchronized human/object motion”。	强候选。若暂时不追求 finger detail，可能比 HOI-FHLI 简单。需要重点测 cushion geometry 和长路径分段。
HOI-FHLI	ICCV 2025	human-level instruction -> planner -> object path/action stages -> CoarseNet / RefineNet / FingerNet + 可选 physics tracker。	CoarseNet / RefineNet 用 FullBodyManipulation；FingerNet 用 GRAB；navigation module 用 HumanML3D；grasp 相关部分用 object geometry 和 hand contact machinery。	SMPL-X，并且 pipeline 输出 full-body + finger。	官方代码已 release；checkpoint/data 依赖复杂，但我们已经在干净环境复现过官方 demo。	理论上很高，是目前最完整的一条路线。	仍建议作为主线。我们之前 cushion 结果差，大概率来自 adapter/path/object-condition 使用错误、geometry/semantic mismatch、segment 太长或 stage conditioning bug。
TRUMANS	CVPR 2024 Highlight	scene/action-conditioned HSI synthesis，autoregressive diffusion；demo utility 支持用户画 trajectory。	100 个室内场景、15+ 小时 HSI，包含 part-level object dynamics 和 annotation。	官方工具和 visualization 使用 SMPL-X。	官方 repo、数据、demo 已 release；完整数据部分需要 Google Drive。	中等。它有 dynamic objects 和 contact，但不一定有 explicit object COM carry control。	适合作为数据/参考和 retrieval source；不如 CHOIS/HOI-FHLI 直接匹配“沿指定物体路径搬运”。
LINGO	SIGGRAPH Asia 2024	单条 text instruction + goal location；autonomous scheduler + autoregressive diffusion 生成 multi-stage scene-aware motion。	LINGO 数据集：16 小时 MoCap、120 个室内场景、40 类动作、文本标注。	SMPL-X 参数和 selected joints；repo 中有 body_pose、global_orient、transl、y-up joints。	官方 repo、dataset/checkpoint 链接已 release。	中等。支持 multi-stage scene interaction、locomotion、hand-reaching 和部分 HOI，但不明确支持稳定 movable-object carry 和 object trajectory。	可借鉴 scheduler 和 stage transition；如果数据/例子里没有类似 cushion carry，则优先级低于 HOI-FHLI/CHOIS/HOSIG。
Afford-Motion	CVPR 2024 Highlight	text + 3D scene affordance map -> motion diffusion。	HUMANISE、HumanML3D、PROX，以及合成 scene/object crop，如 table/chair/bed/desk/sofa/shelf/door/toilet。	supplementary 有 SMPL-X mesh conversion；代码部分继承 MDM / HumanML3D 风格。	官方实现已 release。	低到中。强项是 static scene affordance，不是显式 movable-object trajectory 或 hand-object transport。	不适合作为主生成器；可用于 scene grounding、affordance/contact scoring。
HOSIG	AAAI 2026 / arXiv 2025	SGAP grasp pose anchor + heuristic 2D obstacle-aware navigation + SCoMoGen trajectory-controlled full-body/finger motion。	在 TRUMANS 上评测；设计目标就是 dynamic object + static scene coordination。	SMPL-X pose/shape、wrist/hand anchor、finger-level representation。	项目页链接代码；论文页写 code available after publication。当前 checkpoint/data 是否完整，需要直接跑 repo 验证。	如果 release 资产完整，则很高。它明确支持 navigation + dexterous manipulation + autoregressive 长动作。	新路线中最高优先级。它已有 path/anchor abstraction，可能更容易接 SAGE path。
InteractMove	ACM MM 2025	text-controlled human-object interaction in 3D scenes with movable objects。	InteractMove dataset：把已有 HOI 数据 align 到 scene context；强调多个 movable objects、同类 distractor、多 object size/type、单手/双手等 interaction pattern。	需要检查 repo 才能确认最终生成格式；不能直接假设是我们可用的 SMPL-X。	项目页链接 code 和 Hugging Face dataset。	概念上高。它目标就是 movable-object HSI，但 path controllability 和 long carry 需要实测。	先跑官方 demo，再跑 SAGE cushion。重点检查 output format、object pose sequence 是否可控、是否能接我们的 viewer。
HIMO	ECCV 2024	text 或 segmented text prompt 生成 full-body human interacting with multiple objects；dual-branch diffusion + autoregressive segment transition。	HIMO 数据集：3.3K 4D HOI sequences、4.08M 3D HOI frames。	快速调研未完全确认；可能是 body/joint + object 4D representation，需要 repo/data 检查。	论文写 data/code/model will be public；当前可用性需要检查。	中到高。如果 release 易用且 object/action 覆盖合适，有价值。	适合研究 multi-object HOI 和 segment transition；若 release 麻烦，则不如 CHOIS/HOI-FHLI/HOSIG 立即可做。
InterAct / InterAct-X	CVPR 2025 及后续更新	大规模 HOI dataset 和 generation benchmark，整合多源 HOI 数据；包含 text-conditioned / action-conditioned / object-conditioned 等任务。	明确整合 GRAB、BEHAVE、InterCap、CHAIRS、HODome、OMOMO、IMHD 等；OMOMO 这一支基本就是我们关心的 FullBodyManipulation / object-motion-guided manipulation 来源。论文写原始 21.81 小时，经过 correction/augmentation 后 30.70 小时。	处理流程里混合 SMPL-X / SMPL-H，并统一坐标系和地面高度；repo 支持 unified SMPL representation，需要 SMPL+H、SMPL-X、DMPLs 等资源。	官方 repo / processing code / training code / pretrained model 已 release。数据不是全部匿名直链公开：InterAct / InterAct-X、corrected OMOMO、augmented data 需要填表申请 non-commercial access；GRAB/BEHAVE/INTERCAP 等受原始 license 限制的部分需要用户自行下载 raw data 并用脚本处理。它有 interaction correction 和 augmentation，但这是优化式 correction，不等同于 Isaac/RL 物理仿真 refinement。	中到高。作为数据源/benchmark 很强，且确实包含 OMOMO；作为直接 SAGE path generator 还要确认是否支持显式 object COM path 控制。	应该放在高优先级数据/训练/retrieval 路线，而不是普通参考。若我们要做 primitive library 或重训/finetune，它比单独 BONES-SEED 更相关。
CHOICE	2024 project/paper	goal-driven bimanual pick-and-place；scheduler、wrist/hip keyframes、neural implicit hand trajectory planner、DeepPhase controller。	系统导向的 cluttered pick-and-place；数据/model release 需要进一步查。	仅从项目页无法确认是 SMPL-X。	有项目页；release 状态快速检查下不明确。	中等。pick/place mechanics 很相关，但是否能直接产出我们的 full-body SMPL-X 数据不明确。	可借鉴 keyframe scheduling、wrist/hip control；不适合短期 drop-in。
Kimodo / BONES-SEED	2026 public ecosystem	text + kinematic constraints，如 root path、end-effector target、keyframe；Kimodo 有 SOMA/G1/SMPL-X 模型变体。	Kimodo 用大规模 proprietary Bones Rigplay 类 mocap；BONES-SEED 有 142,220 条 motion、约 288 小时、SOMA/G1、natural language 和 temporal segmentation。	Kimodo 默认 SOMA；也有 SMPL-X model，但 NVIDIA docs 提醒 SMPL-X 版本可能有较明显 retargeting artifacts。BONES-SEED 主要是 SOMA/G1。	Kimodo 和 BONES-SEED 已公开；BONES-SEED HF dataset 已 release。	pure HOI generator 低；作为 retrieval/locomotion/keyframed controller 中等。	我们 no-keyframe SAGE cushion 测试里 root tracking 好，但没有稳定 object binding、grasp、place。只能配合显式 HOI keyframe 或 retrieval snippet 使用。

新近 / 相邻工作

工作	时间	贡献点	为什么不是当前 cushion case 第一优先级
HOI-PAGE	2025	从 text 和 object set 做 zero-shot 4D HOI，使用 part-affordance reasoning 和 video/optimization prior。	对 object generalization 有启发，但不明显是直接 SMPL-X / path-conditioned data generator。更适合作 affordance/contact prior。
InfBaGel	arXiv 2026	instruction-conditioned human-object-scene interaction generation，dynamic perception + iterative refinement。	很新，release 和可复现性需要检查。如果 code/checkpoint 可用，后续可能相关。
PhyGenHOI	arXiv / HF 2026	physically-aware 4D HOI generation，MDM + MPM / 3D Gaussian physical object simulation。	更偏物理 4D scene 和冲击类交互，不是直接沿路径 pick-carry-place 的 SMPL-X pipeline。
OneHOI	arXiv / HF 2026	unified HOI generation/editing，relational diffusion transformer。	看起来更偏 HOI scene/image/layout generation/editing，不是当前 motion-control 格式。
SceMoS / TeSMo / DIMOS / LAMA	2023-2026 scene-aware HSI family	scene grounding、locomotion、sitting/reaching/static interaction、optimization-based interaction。	可参考 navigation/contact/scene context，但一般不直接解决“movable object COM path + stable hand-object carry”。
Motion-X / HumanTOMATO / general whole-body text-to-motion	2023+	大规模 SMPL-X whole-body/general motion 数据和模型。	可作 general motion prior，但没有额外 binding/optimization 时，不能直接解决 movable-object HOI。

InterAct 确实包含 OMOMO。官方 supplementary 的 sub-dataset processing 里明确写到：OMOMO 包含 Vicon 捕捉的人体和物体 motion，InterAct 使用其中的 SMPL-X human annotation，并将其对齐到统一的 global coordinate system 和 ground height。因此如果我们说 “FullBodyManipulation / OMOMO 是 HOI-FHLI / CHOIS 的核心 manipulation prior”，那 InterAct 通过 OMOMO 也继承了这部分数据来源。

但 InterAct 的 refinement 要精确表述为 optimization-based interaction correction / augmentation，而不是完整 physics simulation refinement。它优化 hand pose、full-body pose 和 object pose，损失包括 penetration、smoothness、reconstruction，以及 contact invariance augmentation。这个会减少 penetration、floating、错误手部动作等 artifact，但不是 HOI-FHLI 那种最后用 RL policy / physics tracker 在物理仿真里跟踪 motion 的流程。release 状态上，repo news 写了 corrected OMOMO data、InterAct-X augmentation data、HOI correction pipeline、simulation conversion pipeline 已 release；实际数据下载需要通过表单申请 non-commercial access，或者对受 license 限制的原始数据自己下载后跑 processing/correction scripts。

所以工程判断应该是：InterAct 对“做高质量 HOI primitive library、训练/finetune 一个更泛化的 HOI generator、做 retrieval source”非常重要；但如果目标是“给定 SAGE A* path，直接生成沿 object COM path 搬 cushion 到 table”，仍需要确认它的 generator 是否能显式接收 object COM waypoints/path。否则它是强数据源，不一定是即插即用 path-conditioned generator。

InterAct 上是否已经有人训练更好的 MoGen / policy

不是没人做。InterAct 官方本身就 release 了 generative baseline 的 training code、pretrained model 和 evaluator checkpoints，也就是说有现成网络/ckpt 可以先跑；repo 里有 text2interaction、object2human、human2object 三类任务。text2interaction 里可以训练 HOI-Diff 风格模型：python -m train.hoi_diff --save_dir ./save/t2m_interact --dataset interact，也提供 contact-guided / non-guided sampling scripts。项目页也展示了 text-conditioned interaction generation、action-conditioned interaction generation、object-conditioned human generation、human-conditioned object generation 等 benchmark。

但是这还不是我们想要的“给定 SAGE object COM path / sparse waypoints，生成可控 pickup-carry-place”的 MoGen。它并不只是 text control：object2human / human2object 说明它也有 object-conditioned / human-conditioned 的任务。但从官方 README 和 supplemental 看，现成接口更像学习 HOI distribution 和 object-human coupling；text-conditioned 模型训练时以固定长度片段为主，object-conditioned 任务也不等价于 CHOIS/HOI-FHLI 那种 sparse object waypoint path control interface。若要精准跟 SAGE path，至少还需要确认/改造它能否吃 dense object trajectory 或 sparse object COM waypoints，并在长路径上保持 contact。

InterMimic / InterPrior 是另一条线：它们不是普通 kinematic diffusion MoGen，而是 physics-based controller / motion prior。InterMimic 用 teacher-student imitation 和 RL fine-tuning 从 imperfect HOI mocap 学一个可泛化的物理控制 policy；InterPrior 进一步把 full-reference imitation expert distill 成 goal-conditioned variational policy，再用 physical perturbation 和 RL finetuning 提升 unseen goal/initialization 的泛化。它们更适合“让生成动作在物理里可执行 / 作为 humanoid controller”，不是直接输出我们当前 viewer 需要的 SMPL-X kinematic dataset。

因此更准确的判断是：InterAct 上已经有人训练 MoGen baseline，也有人训练 physics controller；缺的是一个现成的、开源可直接用的、明确支持“object COM path / waypoint-conditioned long carry”的 InterAct-trained generator。这个缺口可以成为我们的工程方向：用 InterAct/OMOMO corrected data 做 HOI primitive/retrieval 或 finetune 一个 path-conditioned generator，而不是从 BONES-SEED 这种 general motion data 开始。

针对当前 cushion 目标的路线排序

优先级	路线	理由
1	修 pure HOI-FHLI / CHOIS-style object-COM path pipeline	最直接匹配 object trajectory + human/object synchronized generation。我们已经知道 HOI-FHLI 官方 demo 质量可以很好，剩下是 adapter correctness 和 object-condition matching。
2	跑 HOSIG 官方 demo，再跑 SAGE cushion	架构最接近：grasp anchors、path planning、trajectory-controlled motion、scene/object/finger guidance。风险是 release/checkpoint 完整性。
3	跑 InteractMove 官方 demo，再跑 SAGE cushion	明确针对 movable-object HSI 和多物体类别。风险是 controllability 和 output format。
4	InterAct/OMOMO/TRUMANS retrieval library + Kimodo path-conditioned locomotion	如果 generative HOI 继续失败，这是工程兜底路线。InterAct 优先于 BONES-SEED，因为它包含 OMOMO 等 HOI 数据并做了 interaction correction/augmentation；代价是要做 motion matching、retargeting、object-contact binding、transition optimization。
5	pure Kimodo root+text	轨迹跟踪好，但没有显式 keyframe 或外部优化时，object binding、grasp、place 都不可靠。

数据集含义

数据集 / 来源	最适合用途	原因
FullBodyManipulation / OMOMO	manipulation prior 和 object-motion-guided synthesis 参考。	HOI-FHLI / CHOIS 这条路线里，大物体 full-body manipulation / carry-like prior 主要来自这里。
GRAB	finger / hand contact prior。	对 finger refinement 有用，但单独不足以处理 large object + long locomotion。
TRUMANS	scene-aware / dynamic-object 参考和可能的 retrieval source。	SMPL-X HSI 数据强，但 action/object coverage 未必覆盖任意 cushion carry。
LINGO	multi-stage scheduler 和 text-conditioned scene interaction 参考。	scheduler 思路好，但不直接控制 object COM transport。
InteractMove dataset	movable-object scene HOI 数据源。	可能比 HOI-FHLI native object set 有更好的 object diversity；必须先检查格式和 examples。
InterAct / InterAct-X	unified HOI retrieval / training corpus，优先级高于一般 motion dataset。	包含 OMOMO 等 HOI 来源，并带 interaction correction/augmentation；但 license、conversion 和 path-conditioned control 仍需工程验证。
BONES-SEED	general motion retrieval、locomotion、controller training。	数据量大、质量高，但整体偏 general motion；我们已经看的 clip 不足以覆盖长距离稳定 cushion carry。

参考链接

OMOMO / Object Motion Guided Human Motion Synthesis: https://github.com/lijiaman/omomo_release
CHOIS project: https://lijiaman.github.io/projects/chois/
CHOIS repo: https://github.com/lijiaman/chois_release
HOI-FHLI project: https://hoifhli.github.io/
HOI-FHLI ICCV paper: https://openaccess.thecvf.com/content/ICCV2025/papers/Wu_Human-Object_Interaction_from_Human-Level_Instructions_ICCV_2025_paper.pdf
TRUMANS project: https://jnnan.github.io/trumans/
TRUMANS repo: https://github.com/jnnan/trumans_utils
LINGO repo: https://github.com/mileret/lingo-release
LINGO arXiv: https://arxiv.org/abs/2410.03187
Afford-Motion repo: https://github.com/afford-motion/afford-motion
HOSIG project: https://yw0208.github.io/hosig/
HOSIG paper: https://yunliansun.github.io/papers/HOSIG.pdf
InteractMove project: https://cxhcmhhh.github.io/InteractMoveProject/
InteractMove arXiv: https://arxiv.org/abs/2509.23612
HIMO ECCV page: https://eccv.ecva.net/virtual/2024/poster/2123
InterAct repo: https://github.com/wzyabcas/InterAct
CHOICE project: https://lujintaozju.github.io/publications/CHOICE/
Kimodo project: https://research.nvidia.com/labs/sil/projects/kimodo/
Kimodo skeleton docs: https://research.nvidia.com/labs/sil/projects/kimodo/docs/key_concepts/skeleton.html
BONES-SEED dataset card: https://huggingface.co/datasets/bones-studio/seed
HOI-PAGE project: https://hoipage.github.io/
InfBaGel arXiv: https://arxiv.org/abs/2604.04843
PhyGenHOI HF paper page: https://huggingface.co/papers/2605.30268
OneHOI HF paper page: https://huggingface.co/papers/2604.14062