GPUStackは、AIモデルを実行するために設計されたオープンソースのGPUクラスターマネージャーです。 Difyは、大規模言語モデルの推論、埋め込み、再順位付け機能をローカル環境で展開するために、GPUStackとの統合を実現しています。

​
GPUStackの展開方法

GPUStackを展開する際は、公式のドキュメントを参照するか、以下の手順に従って簡単に統合できます。

​
LinuxまたはMacOSでの展開

GPUStackは、systemdやlaunchdベースのシステムにサービスとしてインストールするためのスクリプトを提供しています。この方法でGPUStackをインストールするには、次のコマンドを実行してください： 
curl -sfL https://get.gpustack.ai | sh -s -

​
Windowsでの展開

管理者としてPowerShellを実行し（PowerShell ISEは使用しないでください）、次のコマンドを実行してGPUStackをインストールします： 
Invoke-Expression (Invoke-WebRequest -Uri "https://get.gpustack.ai" -UseBasicParsing).Content
その後、表示される指示に従ってGPUStackのUIにアクセスできます。

​
LLMの展開手順

GPUStackにホストされたLLMを使用する方法の例です：
  1. GPUStack UIで「Models」ページに移動し、「Deploy Model」をクリック、次に「Hugging Face」をドロップダウンメニューから選択します。
  2. 左上の検索バーを使って、モデル名「Qwen/Qwen2.5-0.5B-Instruct-GGUF」を検索します。
  3. モデルを展開するために「Save」をクリックします。
gpustack-deploy-llm

​
APIキーの作成方法

  1. 「API Keys」ページに移動し、「New API Key」をクリックします。
  2. 名前を入力し、「Save」をクリックします。
  3. APIキーをコピーし、後で使用するために保存しておきます。

​
DifyとGPUStackの統合手順

  1. Settings > Model Providers > GPUStackに移動し、以下の情報を入力します：
    • モデルタイプ：LLM
    • モデル名：qwen2.5-0.5b-instruct
    • サーバーURL：http://your-gpustack-server-ip
    • APIキー：コピーしたAPIキーを入力
    モデルをアプリケーションで使用するために、「Save」をクリックしてください。
add-gpustack-llm GPUStackに関する詳細情報は、GitHub Repoを参照してください。
このページを編集する | 問題を報告する