ビデオ生成スキル

概要

このスキルは、構造化されたプロンプトと Python スクリプトを使用して高品質のビデオを生成します。ワークフローには、JSON 形式のプロンプト作成と、オプションの参照画像を使用したビデオ生成の実行が含まれます。

コア機能

• AIGC ビデオ生成用の構造化 JSON プロンプトを作成
• 参照画像をガイダンス、またはビデオの最初/最後のフレームとしてサポート
• 自動化された Python スクリプト実行によるビデオ生成

ワークフロー

ステップ 1: 要件を理解する

ユーザーがビデオ生成をリクエストするときは、以下を特定してください:

• 被写体/コンテンツ: 画像に何が含まれるべきか
• スタイル設定: アートスタイル、ムード、色合い
• 技術仕様: アスペクト比、構図、ライティング
• 参照画像: 生成をガイドするための画像
• /mnt/user-data 配下のフォルダを確認する必要はありません

ステップ 2: 構造化プロンプトを作成

/mnt/user-data/workspace/ に JSON ファイルを生成します。命名パターンは {descriptive-name}.json です。

ステップ 3: 参照画像を作成 (image-generation スキルが利用可能な場合のみオプション)

ビデオ生成用の参照画像を生成します。

• 1 つの画像のみが提供されている場合は、それをビデオのガイドフレームとして使用してください

ステップ 3: 生成を実行

Python スクリプトを呼び出します:

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/prompt-file.json \
  --reference-images /path/to/ref1.jpg \
  --output-file /mnt/user-data/outputs/generated-video.mp4 \
  --aspect-ratio 16:9

パラメータ:

• --prompt-file: JSON プロンプトファイルの絶対パス (必須)
• --reference-images: 参照画像の絶対パス (オプション)
• --output-file: 出力ビデオファイルの絶対パス (必須)
• --aspect-ratio: 生成されたビデオのアスペクト比 (オプション、デフォルト: 16:9)

[!NOTE] python ファイルを読み込まないでください。代わりにパラメータを指定して呼び出すだけです。

ビデオ生成の例

ユーザーリクエスト: 「ナルニア国物語: ライオン、魔女、そして衣装部屋」の冒頭シーンを描いた短いビデオクリップを生成してください」

ステップ 1: 「ナルニア国物語: ライオン、魔女、そして衣装部屋」の冒頭シーンをオンラインで検索

ステップ 2: 次の内容で JSON プロンプトファイルを作成:

{
  "title": "The Chronicles of Narnia - Train Station Farewell",
  "background": {
    "description": "World War II evacuation scene at a crowded London train station. Steam and smoke fill the air as children are being sent to the countryside to escape the Blitz.",
    "era": "1940s wartime Britain",
    "location": "London railway station platform"
  },
  "characters": ["Mrs. Pevensie", "Lucy Pevensie"],
  "camera": {
    "type": "Close-up two-shot",
    "movement": "Static with subtle handheld movement",
    "angle": "Profile view, intimate framing",
    "focus": "Both faces in focus, background soft bokeh"
  },
  "dialogue": [
    {
      "character": "Mrs. Pevensie",
      "text": "You must be brave for me, darling. I'll come for you... I promise."
    },
    {
      "character": "Lucy Pevensie",
      "text": "I will be, mother. I promise."
    }
  ],
  "audio": [
    {
      "type": "Train whistle blows (signaling departure)",
      "volume": 1
    },
    {
      "type": "Strings swell emotionally, then fade",
      "volume": 0.5
    },
    {
      "type": "Ambient sound of the train station",
      "volume": 0.5
    }
  ]
}

ステップ 3: image-generation スキルを使用して参照画像を生成

image-generation スキルを読み込み、スキルに従って単一の参照画像 narnia-farewell-scene-01.jpg を生成してください。

ステップ 4: generate.py スクリプトを使用してビデオを生成

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/narnia-farewell-scene.json \
  --reference-images /mnt/user-data/outputs/narnia-farewell-scene-01.jpg \
  --output-file /mnt/user-data/outputs/narnia-farewell-scene-01.mp4 \
  --aspect-ratio 16:9

python ファイルを読み込まないでください。パラメータを指定して呼び出すだけです。

出力処理

生成後:

• ビデオは通常 /mnt/user-data/outputs/ に保存されます
• 生成されたビデオ (最初に表示) と該当する場合は生成画像を present_files ツールを使用してユーザーと共有してください
• 生成結果の簡潔な説明を提供
• 調整が必要な場合は反復を提案

注意

• ユーザーの言語に関わらず、プロンプトには常に英語を使用してください
• JSON 形式により、構造化された解析可能なプロンプトが保証されます
• 参照画像は生成品質を大幅に向上させます
• 最適な結果を得るために、反復的な改善は通常のプロセスです