Ollamaでデプロイしたローカルモデルを統合
Last updated
Last updated
Ollama は、Llama 2、Mistral、Llava などの大型言語モデルをワンクリックでデプロイできるローカル推論フレームワーククライアントです。 Dify は、Ollama でデプロイした大型言語モデルの推論および埋め込み機能への接続をサポートしています。
Ollama をダウンロード
https://ollama.ai/download にアクセスし、対応するシステムの Ollama クライアントをダウンロードします。
Ollama を実行して Llava とチャット
起動に成功すると、ollama はローカルの 11434 ポートで API サービスを開始し、http://localhost:11434 でアクセスできます。
その他のモデルについては Ollama Models を参照してください。
Dify に Ollama を接続
設定 > モデル供給元 > Ollama に以下を入力します：
モデル名称：llava
基本 URL：http://<your-ollama-endpoint-domain>:11434
ここには、アクセス可能な Ollama サービスのアドレスを入力します。
Dify が docker でデプロイされている場合、ローカルネットワークの IP アドレス（例：http://192.168.1.100:11434）または docker ホストマシンの IP アドレス（例：http://172.17.0.1:11434）を入力することをお勧めします。
ローカルソースコードでデプロイされている場合は、http://localhost:11434 を入力できます。
モデルタイプ：対話
モデルのコンテキスト長：4096
モデルの最大コンテキスト長です。不明な場合はデフォルト値の 4096 を入力してください。
最大トークン上限：4096
モデルが返す内容の最大トークン数です。特に記載がない場合、モデルのコンテキスト長と同じ値を入力してください。
ビジョン対応：はい
モデルが画像理解（マルチモーダル）をサポートしている場合、このオプションを選択してください。例えば llava などです。
「保存」をクリックし、エラーがないことを確認したら、このモデルをアプリで使用できます。
埋め込みモデルの接続方法も LLM と似ています。モデルタイプを Text Embedding に変更するだけです。
Ollama モデルの使用
設定が必要なアプリのプロンプト編成ページに移動し、Ollama 供給元の llava モデルを選択し、モデルパラメーターを設定した後に使用できます。
このエラーは、Docker コンテナが Ollama サービスにアクセスできないために発生します。localhost は通常、コンテナ自体を指すため、ホストや他のコンテナではありません。この問題を解決するには、Ollama サービスをネットワークに公開する必要があります。
Ollama を macOS アプリケーションとして実行する場合、以下のコマンドを使用して環境変数launchctlを設定します：
launchctl setenv を呼び出して環境変数を設定：
Ollama アプリケーションを再起動します。
上記の手順が無効な場合は、次の方法を試してください：
問題は docker 内部で、docker のホストにアクセスするために host.docker.internal に接続する必要があるため、localhost を host.docker.internal に置き換えてサービスを設定します：
Ollama を systemd サービスとして実行する場合は、systemctl を使用して環境変数を設定します：
systemctl edit ollama.service を呼び出して systemd サービスを編集します。これにより、エディタが開きます。
各環境変数について、[Service] セクションの下に Environment 行を追加します：
保存して終了します。
systemd をリロードし、Ollama を再起動します：
Windows では、Ollama はユーザーとシステムの環境変数を継承します。
まずタスクバーから Ollama をクリックしてプログラムを終了します
コントロールパネルからシステム環境変数を編集します
ユーザーアカウントのために変数を編集または新規作成します。例えば、OLLAMA_HOST、OLLAMA_MODELSなどです。
OK/適用をクリックして保存します
新しいターミナルウィンドウで ollama を実行します
Ollama はデフォルトで 127.0.0.1 の 11434 ポートにバインドされています。OLLAMA_HOST 環境変数を使用してバインドアドレスを変更します。
For more information on Ollama, please refer to:
