OpenLLMでデプロイしたローカルモデルを統合
Last updated
Was this helpful?
Last updated
Was this helpful?
を使用すると、任意のオープンソース大規模言語モデルに対して推論を行い、クラウドまたはローカルにデプロイし、強力なAIアプリケーションを構築することができます。 DifyはローカルデプロイされたOpenLLMモデルの推論能力をサポートしています。
以下の方法でデプロイを開始できます:
注意点:ここで使用されている facebook/opt-1.3b モデルはあくまで例示であり、効果が不十分な場合があります。実際の状況に応じて適切なモデルを選択してください。詳細なモデルについては、を参照してください。
モデルのデプロイが完了したら、Difyでモデルを接続して使用することができます。
設定 > モデルプロバイダー > OpenLLM
の中で以下を入力します:
モデル名:facebook/opt-1.3b
サーバー URL:http://<Machine_IP>:3333
ここで <Machine_IP>
をあなたのマシンの IP アドレスに置き換えてください。 "保存" を押せば、アプリケーション内でこのモデルを使用することができます。
この説明はあくまで迅速な接続のための例として提供されています。OpenLLMのその他の特性や情報については、 を参照してください。