Hugging Faceのオープンソースモデルを統合
Last updated
Last updated
Difyはテキスト生成（Text-Generation）と埋め込み（Embeddings）をサポートしており、以下はそれに対応するHugging Faceモデルの種類です：
埋め込み：feature-extraction
具体的な手順は以下の通りです：
Hugging Faceのアカウントが必要です（登録はこちら）。
Hugging FaceのAPIキーを設定します（取得はこちら）。
Hugging Faceのモデル一覧ページにアクセスし、対応するモデルの種類を選択します。
DifyはHugging Face上のモデルを次の2つの方法で接続できます：
Hosted Inference API。この方法はHugging Face公式がデプロイしたモデルを使用します。料金はかかりませんが、サポートされているモデルは少ないです。
Inference Endpoint。この方法は、Hugging Faceが接続しているAWSなどのリソースを使用してモデルをデプロイします。料金が発生します。
モデルの詳細ページの右側にHosted Inference APIのセクションがあるモデルのみがHosted Inference APIをサポートしています。以下の図のように表示されます：
モデルの詳細ページで、モデルの名前を取得できます。
設定 > モデルプロバイダー > Hugging Face > モデルタイプのエンドポイントタイプでHosted Inference APIを選択します。以下の図のように設定します：
APIトークンは記事の冒頭で設定したAPIキーです。モデル名は前のステップで取得したモデル名を入力します。
モデルの詳細ページの右側にあるDeployボタンの下にInference EndpointsオプションがあるモデルのみがInference Endpointをサポートしています。以下の図のように表示されます：
モデルのデプロイボタンをクリックし、Inference Endpointオプションを選択します。以前にクレジットカードを登録していない場合は、カードの登録が必要です。手順に従って進めてください。カードを登録した後、以下の画面が表示されます：必要に応じて設定を変更し、左下のCreate EndpointボタンをクリックしてInference Endpointを作成します。
モデルがデプロイされると、エンドポイントURLが表示されます。
設定 > モデルプロバイダー > Hugging Face > モデルタイプのエンドポイントタイプでInference Endpointsを選択します。以下の図のように設定します：
APIトークンは記事の冒頭で設定したAPIキーです。テキスト生成モデルの名前は任意に設定可能ですが、埋め込みモデルの名前はHugging Faceの名前と一致する必要があります。エンドポイントURLは前のステップでデプロイしたモデルのエンドポイントURLを入力します。
注意：埋め込みの「ユーザー名 / 組織名」は、Hugging FaceのInference Endpointsのデプロイ方法に基づいて、「ユーザー名」または「組織名」を入力する必要があります。
