Hugging Faceのオープンソースモデルを統合
Difyはテキスト生成(Text-Generation)と埋め込み(Embeddings)をサポートしており、以下はそれに対応するHugging Faceモデルの種類です:
埋め込み:feature-extraction
具体的な手順は以下の通りです:
Hugging Faceのアカウントが必要です(登録はこちら)。
Hugging FaceのAPIキーを設定します(取得はこちら)。
Hugging Faceのモデル一覧ページにアクセスし、対応するモデルの種類を選択します。
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-ca4cc0b4c7512c03f2f1022ac44f0ff60023cad2%252Fimage%2520%2814%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=c55a1cce&sv=1)
DifyはHugging Face上のモデルを次の2つの方法で接続できます:
Hosted Inference API。この方法はHugging Face公式がデプロイしたモデルを使用します。料金はかかりませんが、サポートされているモデルは少ないです。
Inference Endpoint。この方法は、Hugging Faceが接続しているAWSなどのリソースを使用してモデルをデプロイします。料金が発生します。
Hosted Inference APIのモデルを接続する
1 モデルを選択
モデルの詳細ページの右側にHosted Inference APIのセクションがあるモデルのみがHosted Inference APIをサポートしています。以下の図のように表示されます:
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-2f6c180bae002300c4e644d8c4632a1f790c37e7%252Fimage%2520%287%29%2520%281%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=adc2bc33&sv=1)
モデルの詳細ページで、モデルの名前を取得できます。
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-da33fb3d0287b718f424da6da2d6c3d89e33fb1a%252Fimage%2520%288%29%2520%281%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=ada0a513&sv=1)
2 Difyで接続モデルを使用する
設定 > モデルプロバイダー > Hugging Face > モデルタイプ
のエンドポイントタイプでHosted Inference APIを選択します。以下の図のように設定します:
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252FaClTg4eIiU7nO1DjCB7s%252Fimage.png%3Falt%3Dmedia%26token%3Df845b512-57d7-4e59-983e-b665f2900403&width=768&dpr=4&quality=100&sign=ab69c00c&sv=1)
APIトークンは記事の冒頭で設定したAPIキーです。モデル名は前のステップで取得したモデル名を入力します。
方法 2: Inference Endpoint
1 デプロイするモデルを選択
モデルの詳細ページの右側にあるDeploy
ボタンの下にInference EndpointsオプションがあるモデルのみがInference Endpointをサポートしています。以下の図のように表示されます:
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-d30d2abf74c779dcc12596d1169f37b0b9d990da%252Fimage%2520%2810%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=c3abecd5&sv=1)
2 モデルをデプロイ
モデルのデプロイボタンをクリックし、Inference Endpointオプションを選択します。以前にクレジットカードを登録していない場合は、カードの登録が必要です。手順に従って進めてください。カードを登録した後、以下の画面が表示されます:必要に応じて設定を変更し、左下のCreate EndpointボタンをクリックしてInference Endpointを作成します。
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-043610dd23cbd459341784f87794abc73de47117%252Fimage%2520%2811%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=8c89de9e&sv=1)
モデルがデプロイされると、エンドポイントURLが表示されます。
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-12f51f4e5627bc9a63dddc7b418f9aee3acf247b%252Fimage%2520%2813%29%2520%281%29%2520%281%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=203576ae&sv=1)
3 Difyで接続モデルを使用する
設定 > モデルプロバイダー > Hugging Face > モデルタイプ
のエンドポイントタイプでInference Endpointsを選択します。以下の図のように設定します:
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-7f427f2d0e9e443d9cf7ca1970e14178baca8bcc%252Fjp-hugging-face-t2t.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=59f07a28&sv=1)
APIトークンは記事の冒頭で設定したAPIキーです。テキスト生成モデルの名前は任意に設定可能ですが、埋め込みモデルの名前はHugging Faceの名前と一致する必要があります。
エンドポイントURLは前のステップでデプロイしたモデルのエンドポイントURLを入力します。
![](https://docs.dify.ai/~gitbook/image?url=https%3A%2F%2F3244742310-files.gitbook.io%2F%7E%2Ffiles%2Fv0%2Fb%2Fgitbook-x-prod.appspot.com%2Fo%2Fspaces%252FBl3K6n12AeCkG3icHwfh%252Fuploads%252Fgit-blob-fd97348aefc7ae22bb195f0fdef7ab6d37a11fbb%252Fimage%2520%2897%29.png%3Falt%3Dmedia&width=768&dpr=4&quality=100&sign=66d71449&sv=1)
注意:埋め込みの「ユーザー名 / 組織名」は、Hugging FaceのInference Endpointsのデプロイ方法に基づいて、「ユーザー名」または「組織名」を入力する必要があります。
Last updated