http://127.0.0.1:9997
,端口默认为 9997
。 默认只可本机访问,可配置 -H 0.0.0.0
,非本地客户端可任意访问。 如需进一步修改 host 或 port,可查看 xinference 的帮助信息:xinference-local --help
。
使用 Dify Docker 部署方式的需要注意网络配置,确保 Dify 容器可以访问到 Xinference 的端点,Dify 容器内部无法访问到 localhost,需要使用宿主机 IP 地址。
http://127.0.0.1:9997
选择需要部署的模型和规格进行部署,如下图所示:
2c886330-8849-11ee-9518-43b0b8f40bea
设置 > 模型供应商 > Xinference
中填入:
vicuna-v1.3
http://<Machine_IP>:9997
替换成你的机器 IP 地址2c886330-8849-11ee-9518-43b0b8f40bea
Embeddings
类型即可。
如需获取 Xinference 更多信息,请参考:Xorbits Inference