StableDiffusion
工具作者 @Dify。 ステーブルディフュージョンは、テキストプロンプトを基に画像を生成するツールです。DifyではステーブルディフュージョンWebUI APIへのアクセスを実現しているため、Dify内で直接利用することができます。以下にDifyにステーブルディフュージョンを統合する手順を説明します。
1. ローカル環境の初期化
ステーブルディフュージョンは、GPUを搭載したマシンを用いることで最適に画像を生成できます。しかし、必須ではなく、CPUのみでも画像を生成することは可能ですが、速度が非常に遅くなるかもしれません。
2. インストールし、ステーブルディフュージョンWebUIを起動する
ローカルマシンまたはサーバー上でステーブルディフュージョンWebUIを起動します。
公式リポジトリからステーブルディフュージョンWebUIリポジトリをクローンします。
コマンドを実行してStable Diffusion WebUIを起動する リポジトリをクローンした後、クローンしたリポジトリのディレクトリに移動し、以下のコマンドを実行してステーブルディフュージョンWebUIを起動します。
Windows
Linux
モデルの準備 ターミナルに表示されたアドレスをブラウザでアクセスすることでステーブルディフュージョンWebUIにアクセスできますが、モデルはまだ利用できません。HuggingFaceまたは他のソースからモデルをダウンロードし、ステーブルディフュージョンWebUIの
models
ディレクトリに配置する必要があります。
例えば、pastel-mixをモデルとして使用する場合、git lfs
を使ってモデルをダウンロードし、stable-diffusion-webui
のmodels
ディレクトリに配置します。
4 モデル名の取得 モデルリストにpastel-mix
が表示されますが、モデル名を取得する必要があります。http://your_id:port/sdapi/v1/sd-models
にアクセスすると、以下のようなモデル名が表示されます。
model_name
が必要です。この例ではpastel-mix_pastelmix-better-vae-fp32
です。
3. Difyにステーブルディフュージョンを統合する
ツール > StableDiffusion > 認証へ
で認証とモデル設定を行い、前のステップで取得した情報を使用します。
4. 完了
チャットフロー/ワークフローアプリ
チャットフローとワークフロー アプリは、Stable Diffusion
ノードの追加をサポートしています。追加後、ノード内の「変数の入力→プロンプトワード」に変数を入力して引用する必要があります。ユーザーが入力したプロンプトの単語、または前のノードによって生成されたコンテンツ。最後に、「end」ノード内の変数を使用して、Stable Diffusion
によって出力された画像を参照します。
エージェントアプリ
エージェント アプリケーションにStable Diffusion
ツールを追加し、ダイアログ ボックスで画像の説明を送信し、ツールを呼び出して AI 画像を生成します。
Last updated