ggml-gpt4all-j
作为默认 LLM 模型,all-MiniLM-L6-v2
作为默认 Embedding 模型,方便在本地快速部署使用。
.env
中的 THREADS 变量值不超过你本机的 CPU 核心数。
http://127.0.0.1:8080
作为 LocalAI 请求 API 的端点。
并提供了两个模型,分别为:
ggml-gpt4all-j
对外访问名称:gpt-3.5-turbo
(该名称可自定义,在 models/gpt-3.5-turbo.yaml
中配置。
all-MiniLM-L6-v2
对外访问名称:text-embedding-ada-002
(该名称可自定义,在 models/embeddings.yaml
中配置。
使用 Dify Docker 部署方式的需要注意网络配置,确保 Dify 容器可以访问到 Xinference 的端点,Dify 容器内部无法访问到 localhost,需要使用宿主机 IP 地址。
设置 > 模型供应商 > LocalAI
中填入:
模型 1:ggml-gpt4all-j
gpt-3.5-turbo
http://<your-LocalAI-endpoint-domain>:8080
,可填写局域网 IP 地址,如:http://192.168.1.100:8080
all-MiniLM-L6-v2
text-embedding-ada-002
若 Dify 为 docker 部署,请填入 host 域名:http://<your-LocalAI-endpoint-domain>:8080
,可填写局域网 IP 地址,如:http://192.168.1.100:8080