StableDiffusion
Last updated
Was this helpful?
Last updated
Was this helpful?
工具作者 @Dify。
「ツール」は「プラグイン」エコシステムに完全アップグレードされました。詳しい使用方法についてはをご参照ください。以下の内容はアーカイブされています。
Stable Diffusionは、テキストプロンプトを基に画像を生成するツールです。DifyではStable DiffusionWebUI APIへのアクセスを実現しているため、Dify内で直接利用することができます。以下にDifyにStable Diffusionを統合する手順を説明します。
Stable Diffusionは、GPUを搭載したマシンを用いることで最適に画像を生成できます。しかし、必須ではなく、CPUのみでも画像を生成することは可能ですが、速度が非常に遅くなるかもしれません。
ローカルマシンまたはサーバー上でStable DiffusionWebUIを起動します。
からStable DiffusionWebUIリポジトリをクローンします。
コマンドを実行してStable Diffusion WebUIを起動する リポジトリをクローンした後、クローンしたリポジトリのディレクトリに移動し、以下のコマンドを実行してStable DiffusionWebUIを起動します。
モデルの準備
ターミナルに表示されたアドレスをブラウザでアクセスすることでStable DiffusionWebUIにアクセスできますが、モデルはまだ利用できません。HuggingFaceまたは他のソースからモデルをダウンロードし、Stable DiffusionWebUIのmodelsディレクトリに配置する必要があります。
4 モデル名の取得 モデルリストにpastel-mixが表示されますが、モデル名を取得する必要があります。http://your_id:port/sdapi/v1/sd-modelsにアクセスすると、以下のようなモデル名が表示されます。
model_nameが必要です。この例ではpastel-mix_pastelmix-better-vae-fp32です。
ツール > Stable Diffusion > 認証へで認証とモデル設定を行い、前のステップで取得した情報を使用します。
チャットフロー/ワークフローアプリ
エージェントアプリ
エージェント アプリケーションにStable Diffusionツールを追加し、ダイアログ ボックスで画像の説明を送信し、ツールを呼び出して AI 画像を生成します。
例えば、をモデルとして使用する場合、git lfsを使ってモデルをダウンロードし、stable-diffusion-webuiのmodelsディレクトリに配置します。
チャットフローとワークフロー アプリは、Stable Diffusionノードの追加をサポートしています。追加後、ノード内の「変数の入力→プロンプトワード」にを入力して引用する必要があります。ユーザーが入力したプロンプトの単語、または前のノードによって生成されたコンテンツ。最後に、「end」ノード内の変数を使用して、Stable Diffusionによって出力された画像を参照します。