ggml-gpt4all-j
がデフォルトのLLMモデルとして、all-MiniLM-L6-v2
がデフォルトの埋め込みモデルとして使用され、ローカルで迅速にデプロイすることができます。
.env
内のTHREADS変数の値が、あなたのマシンのCPUコア数を超えないことを確認してください。
http://127.0.0.1:8080
がLocalAIのAPIリクエストのエンドポイントとして開放されます。
そして、以下の2つのモデルが提供されます:
ggml-gpt4all-j
外部アクセス名:gpt-3.5-turbo
(この名前はmodels/gpt-3.5-turbo.yaml
でカスタマイズ可能です)
all-MiniLM-L6-v2
外部アクセス名:text-embedding-ada-002
(この名前はmodels/embeddings.yaml
でカスタマイズ可能です)
DifyをDockerでデプロイする場合、ネットワーク設定に注意し、DifyコンテナがXinferenceのエンドポイントにアクセスできることを確認してください。Difyコンテナ内からはlocalhostにアクセスできないため、ホストのIPアドレスを使用する必要があります。
設定 > モデル供給者 > LocalAI
に以下を入力します:
モデル1:ggml-gpt4all-j
gpt-3.5-turbo
http://<your-LocalAI-endpoint-domain>:8080
を入力してください。例えば、局域網のIPアドレス:http://192.168.1.100:8080
all-MiniLM-L6-v2
text-embedding-ada-002
Difyがdockerデプロイの場合、ホストのドメイン名:http://<your-LocalAI-endpoint-domain>:8080
を入力してください。例えば、局域網のIPアドレス:http://192.168.1.100:8080