Xinference
を使用して、段階的にベンダーのインテグレーションを完了します。
注意が必要なのは、カスタムモデルの場合、各モデルのインテグレーションには完全なベンダークレデンシャルの記入が必要です。
事前定義モデルとは異なり、カスタムベンダーのインテグレーション時には常に以下の2つのパラメータが存在し、ベンダー yaml に定義する必要はありません。
validate_provider_credential
を実装する必要はなく、Runtimeがユーザーが選択したモデルタイプとモデル名に基づいて、対応するモデル層のvalidate_credentials
を呼び出して検証を行います。
llm
テキスト生成モデルtext_embedding
テキスト Embedding モデルrerank
Rerank モデルspeech2text
音声からテキスト変換tts
テキストから音声変換moderation
モデレーションXinference
はLLM
、Text Embedding
、Rerank
をサポートしているため、xinference.yaml
を作成します。
model_type
を使用してこのモデルのタイプを指定する必要があります。3つのタイプがあるので、次のように記述します。model_name
があるため、ここで定義する必要があります。llm
タイプを例にとって、xinference.llm.llm.py
を作成します。
llm.py
内で、Xinference LLM クラスを作成し、XinferenceAILargeLanguageModel
(任意の名前)と名付けて、__base.large_language_model.LargeLanguageModel
基底クラスを継承し、以下のメソッドを実装します:
yield
キーワードを含む関数をジェネレータ関数として認識し、返されるデータ型は固定でジェネレーターになります。そのため、同期レスポンスとストリームレスポンスは別々に実装する必要があります。以下のように実装します(例では簡略化されたパラメータを使用していますが、実際の実装では上記のパラメータリストに従って実装してください):
self._get_num_tokens_by_gpt2(text: str)
を使用して予測トークン数を取得することができます。このメソッドはAIModel
基底クラスにあり、GPT2のTokenizerを使用して計算を行いますが、代替方法として使用されるものであり、完全に正確ではありません。
max_tokens
、temperature
、top_p
の3つのモデルパラメータをサポートしています。
しかし、ベンダーによっては異なるモデルに対して異なるパラメータをサポートしている場合があります。例えば、ベンダーOpenLLM
はtop_k
をサポートしていますが、全てのモデルがtop_k
をサポートしているわけではありません。ここでは、例としてAモデルがtop_k
をサポートし、Bモデルがtop_k
をサポートしていない場合、以下のように動的にモデルパラメータのスキーマを生成します:
InvokeError
タイプにマッピングする必要があります。これにより、Difyは異なるエラーに対して異なる後続処理を行うことができます。
Runtime Errors:
InvokeConnectionError
呼び出し接続エラーInvokeServerUnavailableError
呼び出しサービスが利用不可InvokeRateLimitError
呼び出し回数制限に達したInvokeAuthorizationError
認証エラーInvokeBadRequestError
不正なリクエストパラメータ