Ollamaでデプロイしたローカルモデルを統合
Ollama は、Llama 2、Mistral、Llava などの大型言語モデルをワンクリックでデプロイできるローカル推論フレームワーククライアントです。 Dify は、Ollama でデプロイした大型言語モデルの推論および埋め込み機能への接続をサポートしています。
クイック接続
Ollama のダウンロードと起動
Ollama をダウンロード
https://ollama.ai/download にアクセスし、対応するシステムの Ollama クライアントをダウンロードします。
Ollama を実行して Llava とチャット
起動に成功すると、ollama はローカルの 11434 ポートで API サービスを開始し、
http://localhost:11434
でアクセスできます。その他のモデルについては Ollama Models を参照してください。
Dify に Ollama を接続
設定 > モデル供給元 > Ollama
に以下を入力します:モデル名称:
llava
基本 URL:
http://<your-ollama-endpoint-domain>:11434
ここには、アクセス可能な Ollama サービスのアドレスを入力します。
Dify が docker でデプロイされている場合、ローカルネットワークの IP アドレス(例:
http://192.168.1.100:11434
)または docker ホストマシンの IP アドレス(例:http://172.17.0.1:11434
)を入力することをお勧めします。ローカルソースコードでデプロイされている場合は、
http://localhost:11434
を入力できます。モデルタイプ:
対話
モデルのコンテキスト長:
4096
モデルの最大コンテキスト長です。不明な場合はデフォルト値の 4096 を入力してください。
最大トークン上限:
4096
モデルが返す内容の最大トークン数です。特に記載がない場合、モデルのコンテキスト長と同じ値を入力してください。
ビジョン対応:
はい
モデルが画像理解(マルチモーダル)をサポートしている場合、このオプションを選択してください。例えば
llava
などです。
「保存」をクリックし、エラーがないことを確認したら、このモデルをアプリで使用できます。
埋め込みモデルの接続方法も LLM と似ています。モデルタイプを Text Embedding に変更するだけです。
Ollama モデルの使用
設定が必要なアプリのプロンプト編成ページに移動し、Ollama 供給元の
llava
モデルを選択し、モデルパラメーターを設定した後に使用できます。
FAQ
⚠️ Docker を使用して Dify と Ollama をデプロイする場合、以下のエラーが発生することがあります:
このエラーは、Docker コンテナが Ollama サービスにアクセスできないために発生します。localhost は通常、コンテナ自体を指すため、ホストや他のコンテナではありません。この問題を解決するには、Ollama サービスをネットワークに公開する必要があります。
Macで環境変数を設定する方法
Ollama
を macOS
アプリケーションとして実行する場合、以下のコマンドを使用して環境変数launchctl
を設定します:
launchctl setenv
を呼び出して環境変数を設定:Ollama アプリケーションを再起動します。
上記の手順が無効な場合は、次の方法を試してください:
問題は docker 内部で、docker のホストにアクセスするために
host.docker.internal
に接続する必要があるため、localhost
をhost.docker.internal
に置き換えてサービスを設定します:
Linuxで環境変数を設定する方法
Ollama を systemd サービスとして実行する場合は、systemctl
を使用して環境変数を設定します:
systemctl edit ollama.service
を呼び出して systemd サービスを編集します。これにより、エディタが開きます。各環境変数について、
[Service]
セクションの下にEnvironment
行を追加します:保存して終了します。
systemd
をリロードし、Ollama を再起動します:
Windowsで環境変数を設定する方法
Windows では、Ollama はユーザーとシステムの環境変数を継承します。
まずタスクバーから Ollama をクリックしてプログラムを終了します
コントロールパネルからシステム環境変数を編集します
ユーザーアカウントのために変数を編集または新規作成します。例えば、
OLLAMA_HOST
、OLLAMA_MODELS
などです。OK/適用をクリックして保存します
新しいターミナルウィンドウで
ollama
を実行します
Ollama をネットワーク上で公開する方法
Ollama はデフォルトで 127.0.0.1 の 11434 ポートにバインドされています。OLLAMA_HOST
環境変数を使用してバインドアドレスを変更します。
Ollama に関する詳細情報については以下を参照してください
For more information on Ollama, please refer to:
Last updated