モデルプロバイダー

このドキュメントは AI によって自動翻訳されています。不正確な部分がある場合は、英語版 を参照してください。

モデルプロバイダーは、ワークスペースに AI モデルへのアクセスを提供します。構築するすべてのアプリケーションには動作するためのモデルが必要であり、ワークスペースレベルでプロバイダーを設定することで、すべてのチームメンバーがすべてのプロジェクトでモデルを使用できます。

​

システムプロバイダー vs カスタムプロバイダー

システムプロバイダー は Dify によって管理されます。セットアップなしでモデルに即座にアクセスでき、Dify サブスクリプションを通じて請求され、新しいモデルが利用可能になると自動的に更新されます。迅速に開始するのに最適です。 カスタムプロバイダー は、OpenAI、Anthropic、Google などのモデルプロバイダーに直接アクセスするために独自の API キーを使用します。完全な制御、直接請求、多くの場合より高いレート制限を得られます。本番アプリケーションに最適です。 両方を同時に使用することもできます。プロトタイピングにはシステムプロバイダー、本番にはカスタムプロバイダーを使うとよいでしょう。

​

カスタムプロバイダーの設定

ワークスペースの管理者とオーナーのみがモデルプロバイダーを設定できます。プロセスはプロバイダー間で一貫しています：

​

サポートされているプロバイダー

大規模言語モデル：

• OpenAI (GPT-4, GPT-3.5-turbo)
• Anthropic (Claude)
• Google (Gemini)
• Cohere
• Ollama 経由のローカルモデル

埋め込みモデル：

• OpenAI Embeddings
• Cohere Embeddings
• Azure OpenAI
• ローカル埋め込みモデル

専用モデル：

• 画像生成 (DALL-E, Stable Diffusion)
• 音声 (Whisper, ElevenLabs)
• モデレーション API

​

プロバイダー設定例

​

モデルの認証情報を管理

モデルプロバイダーの定義済みモデルやカスタムモデルに対して、複数の認証情報を追加し、それらの認証情報の切り替え、削除、変更を簡単に行うことができます。 以下のシナリオでは、複数のモデル認証情報を追加することをお勧めします。

• 環境の分離：開発、テスト、本番など、環境ごとに別々のモデル認証情報を設定します。例えば、開発環境ではデバッグ用にレート制限のある認証情報を使用し、本番環境ではサービスの品質を確保するために、安定したパフォーマンスと十分なクォータを持つ有料の認証情報を使用します。
• コストの最適化：異なるアカウントやモデルプロバイダーから複数の認証情報を追加して切り替えることで、無料または低コストのクォータを最大限に活用し、アプリケーションの開発・運用コストを削減します。
• モデルのテスト：モデルのファインチューニングやイテレーションの過程で、複数のモデルバージョンを作成することがあります。これらの異なるバージョンの認証情報を追加することで、素早く切り替えてパフォーマンスのテストや評価を行うことができます。

​

モデルのロードバランシングを設定 Professional Team

モデルプロバイダーは通常、安定性と公平な利用を確保するため、特定の時間枠内での API アクセスにレート制限を設けています。エンタープライズアプリケーションでは、単一の認証情報に対して大量の同時リクエストが発生すると、この制限に容易に達してしまい、ユーザーアクセスが中断される可能性があります。 効果的な解決策はロードバランシングです。これは、リクエストのトラフィックを複数のモデル認証情報に分散させる手法です。これにより、レート制限の問題や単一障害点を回避し、ビジネスの継続性を確保するとともに、すべてのユーザーに対してより速い応答時間を実現します。 Dify はロードバランシングにラウンドロビン方式を採用しており、モデルへのリクエストをロードバランシングプール内の各認証情報に順番にルーティングします。ある認証情報がレート制限に達した場合、無駄な再試行を避けるために、その認証情報は 1 分間、ローテーションから一時的に除外されます。 モデルのロードバランシングを設定するには、次の手順に従います。

1. モデルリストで対象のモデルを探し、対応する コンフィグ をクリックして 負荷分散 を選択します。
2. ロードバランシングプールで 認証情報を追加する をクリックし、既存の認証情報を選択するか、新しい認証情報を追加します。
   デフォルトの設定 は、そのモデルに現在指定されているデフォルトの認証情報を指します。
   特定の認証情報がより高いクォータを持つ、またはより優れたパフォーマンスを示す場合は、その認証情報を複数回追加することでロードバランシングにおける重みを増し、より多くのリクエストを処理させることができます。
   
3. 負荷分散プールで少なくとも 2 つの認証情報を有効にし、保存 をクリックします。負荷分散が有効になったモデルには、特別なアイコンが表示されます。
   

​

アクセスと請求

システムプロバイダーは Dify サブスクリプションを通じて請求され、プランに基づく使用制限があります。カスタムプロバイダーはプロバイダー（OpenAI、Anthropic など）を通じて直接請求され、多くの場合より高いレート制限を提供します。 チームアクセスはワークスペース権限に従います：

• オーナー/管理者 はプロバイダーを設定、修正、削除できます
• エディター/メンバー は利用可能なプロバイダーを表示し、アプリケーションで使用できます

​

トラブルシューティング

認証失敗：API キーの正確性を確認し、有効期限をチェックし、十分なクレジットがあることを確認し、キーの権限を確認してください。 モデルが利用できない：プロバイダー設定にモデルが含まれていることを確認し、API キーのティアアクセスを確認し、プロバイダー設定を更新してください。 レート制限：プロバイダーアカウントをアップグレードし、リクエストキューイングを実装し、より高い制限のためにカスタムプロバイダーを検討してください。