ComfyUI Workflow Builder

自然言語のリクエストを実行可能な ComfyUI ワークフロー JSON に変換します。生成前に必ずインベントリに対して検証を行います。

ワークフロー生成プロセス

ステップ 1: リクエストの理解

ユーザーの意図を以下に解析します:

• 出力タイプ: 画像、動画、オーディオ
• ソース素材: テキストのみ、参照画像、既存動画
• アイデンティティ方法: なし、ゼロショット (InstantID/PuLID)、LoRA、Kontext
• 品質レベル: ドラフト (高速反復) vs 本番 (最高品質)
• 特別な要件: ControlNet、インペイント、アップスケーリング、リップシンク

ステップ 2: インベントリの確認

state/inventory.json を読み込んで以下を確認:

• 利用可能なチェックポイント → タスクに最適なものを選択
• 利用可能なアイデンティティモデル → どの方法が可能か判定
• 利用可能な ControlNet モデル → ポーズ/深度制御の実現可能性
• インストール済みカスタムノード → 必要なノードすべての存在確認
• 利用可能な VRAM → それに応じた設定最適化

ステップ 3: パイプラインパターンの選択

リクエスト + インベントリに基づいて以下から選択:

パターン	使用場面	キーノード
Text-to-Image	シンプルな生成	Checkpoint → CLIP → KSampler → VAE
Identity-Preserved Image	キャラクター一貫性	+ InstantID/PuLID/IP-Adapter
LoRA Character	学習済みキャラクター	+ LoRA Loader
Image-to-Video (Wan)	高品質動画	Diffusion Model → Wan I2V → Video Combine
Image-to-Video (AnimateDiff)	高速動画、モーション制御	+ AnimateDiff Loader + Motion LoRAs
Talking Head	キャラクターが話す	Image → Video → Voice → Lip-Sync
Upscale	解像度を向上	Image → UltimateSDUpscale → Save
Inpainting	領域編集	Image + Mask → Inpaint Model → KSampler

ステップ 4: ワークフロー JSON の生成

ComfyUI ワークフローフォーマット:

{
  "{node_id}": {
    "class_type": "{NodeClassName}",
    "inputs": {
      "{param_name}": "{value}",
      "{connected_param}": ["{source_node_id}", {output_index}]
    }
  }
}

ルール:

• ノード ID は文字列 (通常は "1", "2", "3"...)
• 接続された入力は配列形式: ["source_node_id", output_index]
• 出力インデックスは 0 ベースの整数
• ファイル名はインベントリにあるものと完全に一致
• シード値: ランダムな大整数か固定値 (再現性の場合)

ステップ 5: 検証

ユーザーに提示する前に:

1. すべての class_type がインベントリのノードリストに存在
2. すべてのモデルファイル名がインベントリのモデルリストに存在
3. すべての必要な接続が存在 (宙ぶらりんな入力がない)
4. VRAM 推定値が利用可能な VRAM を超えない
5. 解像度が選択されたモデルに対応 (SD1.5 は 512、SDXL/FLUX は 1024)

ステップ 6: 出力

オンラインモード: comfyui-api スキル経由でキュー オフラインモード: JSON を projects/{project}/workflows/ に説明的な名前で保存

ワークフローテンプレート

基本的な Text-to-Image (FLUX)

{
  "1": {
    "class_type": "LoadCheckpoint",
    "inputs": {"ckpt_name": "flux1-dev.safetensors"}
  },
  "2": {
    "class_type": "CLIPTextEncode",
    "inputs": {"text": "{positive_prompt}", "clip": ["1", 1]}
  },
  "3": {
    "class_type": "CLIPTextEncode",
    "inputs": {"text": "{negative_prompt}", "clip": ["1", 1]}
  },
  "4": {
    "class_type": "EmptyLatentImage",
    "inputs": {"width": 1024, "height": 1024, "batch_size": 1}
  },
  "5": {
    "class_type": "KSampler",
    "inputs": {
      "seed": 42,
      "steps": 25,
      "cfg": 3.5,
      "sampler_name": "euler",
      "scheduler": "normal",
      "denoise": 1.0,
      "model": ["1", 0],
      "positive": ["2", 0],
      "negative": ["3", 0],
      "latent_image": ["4", 0]
    }
  },
  "6": {
    "class_type": "VAEDecode",
    "inputs": {"samples": ["5", 0], "vae": ["1", 2]}
  },
  "7": {
    "class_type": "SaveImage",
    "inputs": {"filename_prefix": "output", "images": ["6", 0]}
  }
}

アイデンティティ保存付き (InstantID + IP-Adapter)

基本テンプレートに以下を追加:

• 参照画像ノードのロード
• InstantID Model Loader + Apply InstantID
• IPAdapter Unified Loader + Apply IPAdapter
• FaceDetailer 後処理

完全なノード設定は references/workflows.md を参照してください。

動画生成 (Wan I2V)

異なるローダーチェーンを使用:

• Diffusion Model をロード (LoadCheckpoint ではなく)
• Wan I2V コンディショニング
• EmptySD3LatentImage (フレーム数付き)
• Video Combine (VHS)

完全な設定は references/workflows.md のワークフロー 4 を参照してください。

VRAM 推定値

コンポーネント	概算 VRAM
FLUX FP16	16GB
FLUX FP8	8GB
SDXL	6GB
SD1.5	4GB
InstantID	+4GB
IP-Adapter	+2GB
ControlNet (各)	+1.5GB
Wan 14B	20GB
Wan 1.3B	5GB
AnimateDiff	+3GB
FaceDetailer	+2GB

よくある間違いと回避方法

1. 出力インデックスの間違い: CheckpointLoader は [model, clip, vae] をインデックス [0, 1, 2] で出力
2. InstantID の CFG が高すぎる: デフォルト 7-8 ではなく 4-5 を使用
3. モデルに不適切な解像度: FLUX/SDXL=1024、SD1.5=512
4. VAE の漏れ: FLUX は明示的な VAE が必要 (ae.safetensors)
5. ローダーのモデルが異なる: Diffusion モデルは LoadCheckpoint ではなく LoadDiffusionModel が必要

リファレンスファイル

• references/workflows.md - ノード別の詳細テンプレート
• references/models.md - モデルファイルとパス
• references/prompt-templates.md - モデル固有のプロンプト
• state/inventory.json - 現在のインベントリキャッシュ