X-Planner: 複雑な指示から計画ベースの画像編集を実現

複雑な指示に基づく画像編集には、単純なピクセル操作以上の処理が必要です。ユーザーが「建物をより高くして、空をより劇的にしてほしい」と言った場合、システムはこれら2つが異なるオブジェクトを対象とした別々の編集であることを理解し、それぞれの正確な境界線を生成し、隣接する領域への漏れ込みなしに適切な変換を適用する必要があります。X-Plannerは複雑な指示をより処理しやすいサブタスクに分解することで、編集モデルを誘導するマスクと制御信号を自動的に生成してこの問題を解決します。

主な課題は、複雑な指示が間接的に指定されることが多く、多くの場合複数のオブジェクトを対象としていることです。現在のアプローチでは、ユーザーにマスクを手動で提供させるか、アイデンティティ保持が重要な場合に失敗します。1つのオブジェクトを編集するとその周囲を破損させてしまいます。

コアコンセプト

X-Plannerは計画と実行を分離する3段階パイプラインとして機能します:

1. 指示の分解: 複雑な指示をより単純な原子的なサブ指示に解析
2. マスク生成: 各サブ指示に対して、編集タイプに合わせた正確なセグメンテーションマスクを生成
3. バウンディングボックス予測: 挿入タスクの場合、新しいオブジェクトの空間

...