Task Generation

最后更新：2026-07-24。

本页负责 SAGE 场景到 validated task_plan.json 的当前工程入口；它不负责 KIMODO motion generation。motion stage 见 Pipeline，task/claim 边界见项目范围。

当前入口

python -m utils.sage_task_generator.vlm_task_generator --help

具体 scene、instruction、VLM endpoint 与输出参数以当前 --help 为准；不要从 legacy Kimodo pipeline README 复制 task-generation 命令。

流程职责：

SAGE layout / topdown capture
  → scene_context
  → VLM bbox plan
  → pixel-to-world mapping
  → navigation / geometry validation
  → task_plan + task_validation
  → optional human review

Action contract

公开动作由两部分组成：

action_type: hsi | hoi
action_name: 公开动作名

当前 task-generation taxonomy：

类别	动作
HSI	`reach`, `sit`, `get_up`, `lie_down`
HOI	`pick`, `place`, `carry`, `open`, `close`, `pull`, `push`

interaction_mode、action_semantics 和 interact_type 只允许作为 legacy reader compatibility，不是新输出 contract。physics/generation 对尚未实现的 action 应 fail fast。

Canonical task-run outputs

task_plan.json
task_validation.json
scene_context.json
humanoid_params.json
manifest.json
scene_capture/scene_topdown.png
scene_capture/scene_topdown.json

task run 的确切嵌套可由 generator/visualizer 消费，但下游 HSI public input 只接收明确的 task_plan 与 layout_json，不扫描 run 目录发现状态。

Plan visualizer

bash utils/sage_task_generator/plan_visualizer/run_plan_visualizer.sh \
  <task-run-root>

visualizer 只浏览 plan、叠加 bbox/path 并写 plan_review.json；不重写 task_plan.json 或 task_validation.json。

Code-adjacent references

以下文件保留在实现旁，负责低层 schema/visualizer 细节，不是第二套研究结论：

utils/sage_task_generator/README.md
utils/sage_task_generator/OUTPUT_FORMAT_FOR_VISUALIZER.md
utils/sage_task_generator/plan_visualizer/VISUALIZER_GUIDE.md
utils/sage_task_generator/prompt_templates/

若这些低层说明与代码冲突，以 vlm_task_generator.py、action_schema.py、pipeline.py 和 visualizer server.py/static/app.js 为准，并同步修正本页的 public contract。