ComfyUI OmniGen2 ネイティブワークフローの例

ComfyUI で OmniGen2 をネイティブに実行し、テキストからの画像生成、指示ベースの画像編集、複数画像の合成を行えます。

OmniGen2 は VectorSpaceLab チームが公開した統合型マルチモーダル生成モデルで、1 つの重みセットでテキストからの画像生成、指示に基づく画像編集、参照画像を使ったコンテキスト生成をこなします。ComfyUI は OmniGen2 をネイティブにサポートしているため、公式のサンプルワークフローを使ってこれらのタスクをローカル環境で実行できます。

モデルは凍結された 3B の Qwen2.5-VL 視覚言語モデルと、独立した 4B の拡散 Transformer で構成され、合計パラメータ数は約 70 億です。視覚言語モデルが参照画像とテキスト指示を読み取り、拡散 Transformer がその理解をピクセルに変換します。両方の経路がそれぞれパラメータと画像トークナイザーを保持するため、OmniGen2 は視覚理解能力を保ちながら画像品質も維持します。

ComfyUI には 2 つの公式ワークフローがあります。テキストからの画像生成と、「ドレスを青に変更する」のような自然言語指示による画像編集です。画像編集ワークフローは複数画像の合成にも対応し、複数の入力画像から人物・参照オブジェクト・シーンを組み合わせられます。

ローカルユーザー

ComfyUI が最新版に更新されていることを確認してください。

• ComfyUI のダウンロード
• 更新手順

このガイドで紹介するワークフローは、ワークフローテンプレートから入手できます。 テンプレート内に該当のワークフローが見つからない場合、ComfyUI のバージョンが古くなっている可能性があります。

ワークフローを読み込んだ際にノードが欠落している場合の考えられる原因：

1. 最新の ComfyUI（Nightly 版）を使用していない
2. 起動時に一部のノードのインポートに失敗している

クラウドユーザー

• Cloud は、ComfyUI の安定版リリース後に更新されます。

したがって、このドキュメントでコアノードが見つからない場合、それは新しいコアノードがまだ最新の安定版にリリースされていない可能性があります。次回の安定版リリースをお待ちください。

モデルの主な特長：

• 視覚的理解: Qwen2.5-VL ベースモデルを通じて画像内容を読み取り・分析
• テキストから画像への生成: テキストプロンプトから高忠実度の画像を生成
• 指示に基づく画像編集: 自然言語の指示で複雑な編集を実行
• コンテキスト生成: 複数の入力画像から人物・参照オブジェクト・シーンを組み合わせて新しい画像を生成

技術的特徴：

• デュアルパスアーキテクチャ: 3B の Qwen2.5-VL テキストモデルと独立した 4B の拡散 Transformer
• Omni-RoPE 位置エンコーディング: 複数画像の空間的な位置付けと識別をサポート
• パラメータ分離: テキストの自己回帰生成が画像品質に影響しない設計
• 画像内テキスト: 生成画像内に明瞭なテキストを描画可能

​

OmniGen2 モデルのダウンロード

本記事では複数のワークフローを取り扱うため、対応するモデルファイルおよびインストール先は以下の通りです。各ワークフロー内にも、該当するモデルファイルのダウンロード情報が記載されています。

拡散モデル（Diffusion Models）

• omnigen2_fp16.safetensors

VAE

• ae.safetensors

テキストエンコーダー（Text Encoders）

• qwen_2.5_vl_fp16.safetensors

ファイル保存先：

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── omnigen2_fp16.safetensors
│   ├── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 text_encoders/
│       └── qwen_2.5_vl_fp16.safetensors

​

ComfyUI OmniGen2 テキストから画像へ（Text-to-Image）ワークフロー

​

OmniGen2：テキストから画像へ

OmniGen2 の統合 7B マルチモーダルモデルとデュアルパスアーキテクチャを使用して、テキストプロンプトから高品質な画像を生成します。

Comfy Cloud で実行

Comfy Cloud でこのワークフローを直接開いて実行

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで “OmniGen2” を検索

出力例

​

1. ワークフローファイルのダウンロード

​

2. ワークフローの手順通り実行

画像内の番号順に、以下の手順を確認しながら進めてください。これにより、対応するワークフローがスムーズに動作します：

1. メインモデルの読み込み: Load Diffusion Model ノードが omnigen2_fp16.safetensors を正しく読み込んでいることを確認
2. テキストエンコーダーの読み込み: Load CLIP ノードが qwen_2.5_vl_fp16.safetensors を正しく読み込んでいることを確認
3. VAE の読み込み: Load VAE ノードが ae.safetensors を正しく読み込んでいることを確認
4. 画像サイズの設定: EmptySD3LatentImage ノードで生成画像のサイズを設定（推奨：1024×1024）
5. プロンプトの入力:
   • 最初の CLipTextEncode ノードに「正のプロンプト」（画像に含めたい内容）を入力
   • 2 つ目の CLipTextEncode ノードに「負のプロンプト」（画像に含めたくない内容）を入力
6. 生成開始: Queue Prompt ボタンをクリックするか、ショートカットキー Ctrl（Mac の場合は Cmd）+ Enter を押してテキストから画像への生成を実行
7. 結果の確認: 生成が完了すると、対応する画像が自動的に ComfyUI/output/ ディレクトリに保存されます。また、SaveImage ノード内でプレビューも可能です

​

ComfyUI OmniGen2 画像編集ワークフロー

OmniGen2 は豊富な画像編集機能を備えており、画像へのテキスト追加もサポートします。

​

OmniGen2 画像編集

OmniGen2 の高度な画像編集機能とテキストレンダリング対応により、自然言語の指示で画像を編集できます。

Comfy Cloud で実行

このワークフローを Comfy Cloud で直接開いて実行できます

ワークフローをダウンロード

JSON をダウンロードするか、テンプレートライブラリで「OmniGen2 Image Edit」を検索

入力素材

このファイルを該当する LoadImage ノードにアップロードしてください：

image_omnigen2_image_edit_input_image.png

LoadImage ノード 16 · image_omnigen2_image_edit_input_image.png

出力例

​

1. ワークフローファイルのダウンロード

​

2. ワークフローの手順通り実行

1. メインモデルの読み込み: Load Diffusion Model ノードが omnigen2_fp16.safetensors を正しく読み込んでいることを確認
2. テキストエンコーダーの読み込み: Load CLIP ノードが qwen_2.5_vl_fp16.safetensors を正しく読み込んでいることを確認
3. VAE の読み込み: Load VAE ノードが ae.safetensors を正しく読み込んでいることを確認
4. 画像のアップロード: Load Image ノードで上記の画像をアップロード
5. プロンプトの入力:
   • 最初の CLipTextEncode ノードに「正のプロンプト」（画像に含めたい内容）を入力
   • 2 つ目の CLipTextEncode ノードに「負のプロンプト」（画像に含めたくない内容）を入力
6. 生成開始: Queue Prompt ボタンをクリックするか、ショートカットキー Ctrl（Mac の場合は Cmd）+ Enter を押して画像編集を実行
7. 結果の確認: 生成が完了すると、対応する画像が自動的に ComfyUI/output/ ディレクトリに保存されます。また、SaveImage ノード内でプレビューも可能です

​

3. 追加のワークフロー操作説明

• 第二の画像入力を有効化したい場合、ワークフロー内でピンク／パープル色で表示されているノードに対し、ショートカットキー Ctrl + B を使用して、対応する入力ポートを有効化できます
• カスタムサイズを指定したい場合、EmptySD3LatentImage ノードに接続されている Get image size ノードを削除し、任意のサイズを直接入力してください