http://127.0.0.1:9997
、ポートはデフォルトで9997
です。デフォルトではローカルホストからのみアクセス可能ですが、-H 0.0.0.0
を設定することで、外部クライアントからもアクセス可能になります。ホストやポートのさらに詳細な設定方法については、xinference-local --help
で確認できます。
Dify Dockerデプロイ方式を使用する場合、ネットワーク設定に注意が必要です。DifyコンテナがXinferenceのエンドポイントにアクセスできるように設定してください。Difyコンテナ内部からローカルホストにはアクセスできないため、ホストマシンのIPアドレスを使用する必要があります。
http://127.0.0.1:9997
にアクセスし、デプロイするモデルとその仕様を選択します。以下の図を参照してください:
2c886330-8849-11ee-9518-43b0b8f40bea
5. モデルのデプロイ完了後、Difyでのモデル接続
設定 > モデルプロバイダー > Xinference
に以下を入力します:
vicuna-v1.3
http://<Machine_IP>:9997
あなたのマシンのIPアドレスに置き換えてください2c886330-8849-11ee-9518-43b0b8f40bea
Embeddings
タイプを選択するだけで使用可能です。
Xinferenceの詳細については、Xorbits推論を参照してください。