Hugging Faceのオープンソースモデルを統合

Difyはテキスト生成(Text-Generation)と埋め込み(Embeddings)をサポートしており、以下はそれに対応するHugging Faceモデルの種類です:

具体的な手順は以下の通りです:

  1. Hugging Faceのアカウントが必要です(登録はこちら)。

  2. Hugging FaceのAPIキーを設定します(取得はこちら)。

  3. Hugging Faceのモデル一覧ページにアクセスし、対応するモデルの種類を選択します。

DifyはHugging Face上のモデルを次の2つの方法で接続できます:

  1. Hosted Inference API。この方法はHugging Face公式がデプロイしたモデルを使用します。料金はかかりませんが、サポートされているモデルは少ないです。

  2. Inference Endpoint。この方法は、Hugging Faceが接続しているAWSなどのリソースを使用してモデルをデプロイします。料金が発生します。

Hosted Inference APIのモデルを接続する

1 モデルを選択

モデルの詳細ページの右側にHosted Inference APIのセクションがあるモデルのみがHosted Inference APIをサポートしています。以下の図のように表示されます:

モデルの詳細ページで、モデルの名前を取得できます。

2 Difyで接続モデルを使用する

設定 > モデルプロバイダー > Hugging Face > モデルタイプのエンドポイントタイプでHosted Inference APIを選択します。以下の図のように設定します:

APIトークンは記事の冒頭で設定したAPIキーです。モデル名は前のステップで取得したモデル名を入力します。

方法 2: Inference Endpoint

1 デプロイするモデルを選択

モデルの詳細ページの右側にあるDeployボタンの下にInference EndpointsオプションがあるモデルのみがInference Endpointをサポートしています。以下の図のように表示されます:

2 モデルをデプロイ

モデルのデプロイボタンをクリックし、Inference Endpointオプションを選択します。以前にクレジットカードを登録していない場合は、カードの登録が必要です。手順に従って進めてください。カードを登録した後、以下の画面が表示されます:必要に応じて設定を変更し、左下のCreate EndpointボタンをクリックしてInference Endpointを作成します。

モデルがデプロイされると、エンドポイントURLが表示されます。

3 Difyで接続モデルを使用する

設定 > モデルプロバイダー > Hugging Face > モデルタイプのエンドポイントタイプでInference Endpointsを選択します。以下の図のように設定します:

APIトークンは記事の冒頭で設定したAPIキーです。テキスト生成モデルの名前は任意に設定可能ですが、埋め込みモデルの名前はHugging Faceの名前と一致する必要があります。エンドポイントURLは前のステップでデプロイしたモデルのエンドポイントURLを入力します。

注意:埋め込みの「ユーザー名 / 組織名」は、Hugging FaceのInference Endpointsのデプロイ方法に基づいて、「ユーザー名」または「組織名」を入力する必要があります。

Last updated