Dify Docs home page
日本語
Search...
⌘K
Ask AI
Blog
Dify
Dify
Search...
Navigation
モデルの設定
負荷分散
ドキュメント
プラグイン開発
APIアクセス
リソース
入門
Difyへようこそ
クラウドサービス
Dify コミュニティ版
Dify Premium
Dify 教育版
APIアクセス
マニュアル
モデルの設定
モデル
新しいプロバイダーの追加
事前定義されたモデルの追加
カスタムモデルの追加
インターフェース方法
設定ルール
負荷分散
アプリ・オーケストレーション
ワークフロー
ナレッジベース
アプリ公開
アノテーション
モニタリング
拡張
ツール
コラボレーション
管理
ハンドオン工房
初級編
中級編
コミュニティ
支援を求める
貢献者になる
ドキュメントへの貢献
プラグイン
はじめに
クイックスタート
プラグイン管理方法
スキーマ仕様
ベストプラクティス
プラグインの公開
よくある質問
開発
バックエンド
モデルの統合
移行
もっと読む
活用事例
さらに読む
よくある質問
ポリシー
ライセンス
ユーザ規約
モデルの設定
負荷分散
Copy page
モデルのレート制限(Rate limits)とは、モデルプロバイダーがユーザーまたは顧客に対し、指定された時間内にAPIサービスへアクセスする回数に対して設ける制限のことです。これにより、APIの乱用や誤用を防ぎ、すべてのユーザーが公平にAPIにアクセスできるようにし、インフラ全体の負荷を管理することができます。
企業レベルで大規模にモデルAPIを呼び出す際、高い同時リクエストがレート制限を超えてしまい、ユーザーのアクセスに影響を及ぼすことがあります。負荷分散は、複数のAPIエンドポイント間でAPIリクエストを分配することで、すべてのユーザーが最速の応答と最高のモデル呼び出しスループットを得られるようにし、ビジネスの安定した運用を保障します。
モデルプロバイダー — モデルリスト — 負荷分散の設定
でこの機能を有効にし、同じモデルに複数の資格情報(APIキー)を追加することができます。
モデル負荷分散は有料機能です。
SaaS有料サービスのサブスクリプション
または企業版の購入を通じてこの機能を有効にすることができます。
デフォルト設定では、APIキーは初回設定時にモデルプロバイダーに追加された資格情報です。
設定の追加
をクリックして、同じモデルの異なるAPIキーを追加することで、負荷分散機能を正常に使用できます。
少なくとも1つの追加モデル資格情報
を追加することで、保存し負荷分散を有効にできます。
既に設定されている資格情報を
一時的に無効化
または
削除
することも可能です。
設定完了後、モデルリスト内にすべての有効な負荷分散モデルが表示されます。
デフォルトでは、負荷分散はラウンドロビン戦略を使用します。レート制限を超えた場合、1分間のクールダウンタイムが適用されます。
モデルの追加
からも負荷分散を設定することができ、設定手順は上記と同じです。
このページを編集する
|
問題を報告する
Was this page helpful?
Yes
No
設定ルール
アプリ・オーケストレーション
Assistant
Responses are generated using AI and may contain mistakes.