モデルインターフェース

def validate_provider_credentials(self, credentials: dict) -> None:
    """
    プロバイダーのクレデンシャルを検証します
    モデルタイプの任意の validate_credentials メソッドを選択するか、自分で検証メソッドを実装することができます（例：モデルリスト取得API）。

    検証に失敗した場合は、例外を発生させます

    :param credentials: プロバイダーのクレデンシャル。クレデンシャルの形式は `provider_credential_schema` で定義されます。
    """

class XinferenceProvider(Provider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        pass

def validate_credentials(self, model: str, credentials: dict) -> None:
    """
    モデルのクレデンシャルを検証します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :return:
    """

@property
def _invoke_error_mapping(self) -> dict[type[InvokeError], list[type[Exception]]]:
    """
    モデルの呼び出しエラーを統一エラーにマッピングします
    キーは呼び出し元にスローされるエラータイプです
    値はモデルによってスローされるエラータイプであり、呼び出し元のために統一エラータイプに変換する必要があります。

    :return: 呼び出しエラーマッピング
    """

def _invoke(self, model: str, credentials: dict,
            prompt_messages: list[PromptMessage], model_parameters: dict,
            tools: Optional[list[PromptMessageTool]] = None, stop: Optional[list[str]] = None,
            stream: bool = True, user: Optional[str] = None) \
        -> Union[LLMResult, Generator]:
    """
    大規模言語モデルを呼び出します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param prompt_messages: プロンプトメッセージ
    :param model_parameters: モデルパラメータ
    :param tools: ツール呼び出し用のツール
    :param stop: ストップワード
    :param stream: ストリーム応答かどうか
    :param user: 一意のユーザーID
    :return: 完全な応答またはストリーム応答チャンクジェネレータの結果
    """

def get_num_tokens(self, model: str, credentials: dict, prompt_messages: list[PromptMessage],
                   tools: Optional[list[PromptMessageTool]] = None) -> int:
    """
    指定されたプロンプトメッセージのトークン数を取得します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param prompt_messages: プロンプトメッセージ
    :param tools: ツール呼び出し用のツール
    :return:
    """

def get_customizable_model_schema(self, model: str, credentials: dict) -> Optional[AIModelEntity]:
    """
    カスタマイズ可能なモデルスキーマを取得します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :return: モデルスキーマ
    """

def _invoke(self, model: str, credentials: dict,
            texts: list[str], user: Optional[str] = None) \
        -> TextEmbeddingResult:
    """
    テキスト埋め込みモデルを呼び出します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param texts: 埋め込むテキスト
    :param user: 一意のユーザーID
    :return: 埋め込み結果
    """

def get_num_tokens(self, model: str, credentials: dict, texts: list[str]) -> int:
    """
    指定されたテキストのトークン数を取得します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param texts: 埋め込むテキスト
    :return:
    """

def _invoke(self, model: str, credentials: dict,
            query: str, docs: list[str], score_threshold: Optional[float] = None, top_n: Optional[int] = None,
            user: Optional[str] = None) \
        -> RerankResult:
    """
    Rerankモデルを呼び出します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param query: 検索クエリ
    :param docs: リランキング対象のドキュメント
    :param score_threshold: スコアのしきい値
    :param top_n: 上位n件
    :param user: 一意のユーザーID
    :return: リランキング結果
    """

def _invoke(self, model: str, credentials: dict,
            file: IO[bytes], user: Optional[str] = None) \
        -> str:
    """
    音声テキスト変換モデルを呼び出します

    :param model: モデル名
    :param credentials: モデルのクレデンシャル
    :param file: 音声ファイル
    :param user: 一意のユーザーID
    :return: 指定された音声ファイルに対するテキスト
    """        

def _invoke(self, model: str, credentials: dict, content_text: str, streaming: bool, user: Optional[str] = None):
    """
    大規模言語モデルを呼び出します

    :param model: モデル名
    :param credentials: モデルの認証情報
    :param content_text: 変換するテキストコンテンツ
    :param streaming: 出力がストリーミングであるか
    :param user: 一意のユーザーID
    :return: 変換された音声ファイル
    """        

def _invoke(self, model: str, credentials: dict,
            text: str, user: Optional[str] = None) \
        -> bool:
    """
    大規模言語モデルを呼び出します

    :param model: モデル名
    :param credentials: モデルの認証情報
    :param text: モデレーションするテキスト
    :param user: 一意のユーザーID
    :return: テキストが安全な場合はfalse、それ以外の場合はtrue
    """

class PromptMessageRole(Enum):
    """
    プロンプトメッセージのEnumクラス。
    """
    SYSTEM = "system"
    USER = "user"
    ASSISTANT = "assistant"
    TOOL = "tool"

class PromptMessageContentType(Enum):
    """
    プロンプトメッセージコンテントタイプのEnumクラス。
    """
    TEXT = 'text'
    IMAGE = 'image'

class PromptMessageContent(BaseModel):
    """
    プロンプトメッセージコンテントのモデルクラス。
    """
    type: PromptMessageContentType
    data: str  # コンテンツデータ

class TextPromptMessageContent(PromptMessageContent):
    """
    テキストプロンプトメッセージコンテントのモデルクラス。
    """
    type: PromptMessageContentType = PromptMessageContentType.TEXT

class ImagePromptMessageContent(PromptMessageContent):
    """
    画像プロンプトメッセージコンテントのモデルクラス。
    """
    class DETAIL(Enum):
        LOW = 'low'
        HIGH = 'high'

    type: PromptMessageContentType = PromptMessageContentType.IMAGE
    detail: DETAIL = DETAIL.LOW  # 解像度

class PromptMessage(ABC, BaseModel):
    """
    プロンプトメッセージのモデルクラス。
    """
    role: PromptMessageRole  # メッセージロール
    content: Optional[str | list[PromptMessageContent]] = None  # 文字列とコンテントリストの2つのタイプをサポートします。コンテントリストはマルチモーダルのニーズを満たすためのもので、詳細は `PromptMessageContent` の説明を参照してください。
    name: Optional[str] = None  # 名称、オプション。

class UserPromptMessage(PromptMessage):
    """
    ユーザープロンプトメッセージのモデルクラス。
    """
    role: PromptMessageRole = PromptMessageRole.USER

class AssistantPromptMessage(PromptMessage):
    """
    アシスタントプロンプトメッセージのモデルクラス。
    """
    class ToolCall(BaseModel):
        """
        アシスタントプロンプトメッセージツールコールのモデルクラス。
        """
        class ToolCallFunction(BaseModel):
            """
            アシスタントプロンプトメッセージツールコール関数のモデルクラス。
            """
            name: str  # ツール名
            arguments: str  # ツールパラメータ

        id: str  # ツールID。OpenAI の tool call のみで有効で、ツールの呼び出しの一意のIDです。同じツールを複数回呼び出すことができます。
        type: str  # デフォルトは function
        function: ToolCallFunction  # ツール呼び出し情報

    role: PromptMessageRole = PromptMessageRole.ASSISTANT
    tool_calls: list[ToolCall] = []  # モデルが応答したツール呼び出し結果（tools が渡され、かつモデルがツールの呼び出しが必要だと判断した場合にのみ返されます）

class SystemPromptMessage(PromptMessage):
    """
    システムプロンプトメッセージのモデルクラス。
    """
    role: PromptMessageRole = PromptMessageRole.SYSTEM

class ToolPromptMessage(PromptMessage):
    """
    ツールプロンプトメッセージのモデルクラス。
    """
    role: PromptMessageRole = PromptMessageRole.TOOL
    tool_call_id: str  # ツール呼び出しID。OpenAI tool call をサポートしていない場合、ツール名を渡すこともできます。

class PromptMessageTool(BaseModel):
    """
    プロンプトメッセージツールのモデルクラス。
    """
    name: str  # ツール名
    description: str  # ツールの説明
    parameters: dict  # ツールパラメータのdict

class LLMResult(BaseModel):
    """
    LLM結果のモデルクラス。
    """
    model: str  # 実際に使用されたモデル
    prompt_messages: list[PromptMessage]  # プロンプトメッセージのリスト
    message: AssistantPromptMessage  # 返信メッセージ
    usage: LLMUsage  # 使用されたトークンおよび料金情報
    system_fingerprint: Optional[str] = None  # リクエストフィンガープリント。OpenAI の当該パラメータ定義を参照できます。

class LLMResultChunkDelta(BaseModel):
    """
    LLM結果チャンクデルタのモデルクラス。
    """
    index: int  # シーケンス番号
    message: AssistantPromptMessage  # 返信メッセージ
    usage: Optional[LLMUsage] = None  # 使用されたトークンおよび料金情報。最後のメッセージでのみ返されます。
    finish_reason: Optional[str] = None  # 終了理由。最後のメッセージでのみ返されます。

class LLMResultChunk(BaseModel):
    """
    LLM結果チャンクのモデルクラス。
    """
    model: str  # 実際に使用されたモデル
    prompt_messages: list[PromptMessage]  # プロンプトメッセージのリスト
    system_fingerprint: Optional[str] = None  # リクエストフィンガープリント。OpenAI の当該パラメータ定義を参照できます。
    delta: LLMResultChunkDelta  # 各イテレーションで変化のある内容

class LLMUsage(ModelUsage):
    """
    LLM使用量のモデルクラス。
    """
    prompt_tokens: int  # プロンプト使用トークン数
    prompt_unit_price: Decimal  # プロンプト単価
    prompt_price_unit: Decimal  # プロンプト価格単位（単価が何トークンに基づいているか）
    prompt_price: Decimal  # プロンプト料金
    completion_tokens: int  # 返信使用トークン数
    completion_unit_price: Decimal  # 返信単価
    completion_price_unit: Decimal  # 返信価格単位（単価が何トークンに基づいているか）
    completion_price: Decimal  # 返信料金
    total_tokens: int  # 総使用トークン数
    total_price: Decimal  # 総料金
    currency: str  # 通貨単位
    latency: float  # リクエスト遅延(秒)

class TextEmbeddingResult(BaseModel):
    """
    テキスト埋め込み結果のモデルクラス。
    """
    model: str  # 実際に使用されたモデル
    embeddings: list[list[float]]  # embeddingベクトルリスト。渡された texts リストに対応します。
    usage: EmbeddingUsage  # 使用情報

class EmbeddingUsage(ModelUsage):
    """
    埋め込み使用量のモデルクラス。
    """
    tokens: int  # 使用トークン数
    total_tokens: int  # 総使用トークン数
    unit_price: Decimal  # 単価
    price_unit: Decimal  # 価格単位（単価が何トークンに基づいているか）
    total_price: Decimal  # 総料金
    currency: str  # 通貨単位
    latency: float  # リクエスト遅延(秒)

class RerankResult(BaseModel):
    """
    Rerank結果のモデルクラス。
    """
    model: str  # 実際に使用されたモデル
    docs: list[RerankDocument]  # リランキング後のドキュメントリスト        

class RerankDocument(BaseModel):
    """
    Rerankドキュメントのモデルクラス。
    """
    index: int  # 元のシーケンス番号
    text: str  # ドキュメントのテキスト内容
    score: float  # スコア