負荷分散の構成

はじめに

ロードバランシングは有料機能です。SaaS有料プランのサブスクリプションまたはエンタープライズ版の購入によって有効化できます。

モデルプロバイダーは通常、安定性と公平な利用を確保するため、特定の時間枠内でのAPIアクセスにレート制限を設けています。エンタープライズアプリケーションでは、単一の認証情報に対して大量の同時リクエストが発生すると、この制限に容易に達してしまい、ユーザーアクセスが中断される可能性があります。

効果的な解決策はロードバランシングです。これは、リクエストのトラフィックを複数のモデル認証情報に分散させる手法です。これにより、レート制限の問題や単一障害点を回避し、ビジネスの継続性を確保するとともに、すべてのユーザーに対してより速い応答時間を実現します。

Difyはロードバランシングにラウンドロビン方式を採用しており、モデルへのリクエストをロードバランシングプール内の各認証情報に順番にルーティングします。ある認証情報がレート制限に達した場合、無駄な再試行を避けるために、その認証情報は1分間、ローテーションから一時的に除外されます。

手順

モデルのロードバランシングを設定するには、次の手順に従います。

1. モデルリストで対象のモデルを探し、対応する コンフィグ をクリックして 負荷分散 を選択します。

2. ロードバランシングプールで 認証情報を追加する をクリックし、既存の認証情報を選択するか、新しい認証情報を追加します。

デフォルトの設定 は、そのモデルに現在指定されているデフォルトの認証情報を指します。

特定の認証情報がより高いクォータを持つ、またはより優れたパフォーマンスを示す場合は、その認証情報を複数回追加することでロードバランシングにおける重みを増し、より多くのリクエストを処理させることができます。

3. 負荷分散プールで少なくとも2つの認証情報を有効にし、保存 をクリックします。負荷分散が有効になったモデルには、特別なアイコンが表示されます。

ロード バランシング モードからデフォルトの単一認証情報モードに戻しても、ロード バランシングの設定は将来の使用のために保持されます。