外部Opsツール統合
Arizeの統合
1 Arizeとは
エンタープライズグレードのLLM可観測性、オンラインおよびオフライン評価、モニタリング、実験—OpenTelemetryによって支えられています。LLMおよびエージェント駆動型アプリケーション向けに特別に設計されています。
Arizeの公式サイト：https://arize.com
2 Arizeの使い方
1. Arizeの公式サイトから登録し、ログインする。
2. Arize APIキーの取得
右上のユーザーメニューからAPI Keyを選択し、APIキーを取得・コピーしてください。
3. ArizeとDifyを統合
DifyアプリケーションでArizeを設定します。監視するアプリケーションを開き、サイドメニューで監視を選択し、ページ上のアプリケーションパフォーマンスを追跡をクリックします。
設定後、Arizeで作成したAPI Key, Space IDとプロジェクト名を設定ページに貼り付けて保存します。
保存に成功すると、現在のページで監視ステータスを確認できます。
モニタリングデータリスト
ワークフロー/会話フロートラッキング情報
ワークフローと会話フローの追跡に使用
| ワークフロー | Arizeトラッキング |
|---|---|
| workflow_app_log_id/workflow_run_id | id |
| user_session_id | - メタデータに配置 |
| workflow_ | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| モデルトークン消費 | usage_metadata |
| metadata | metadata |
| error | error |
| [workflow] | tags |
| ”conversation_id/none for workflow” | conversation_id in metadata |
ワークフロートラッキング情報
- workflow_id - ワークフローの一意識別子
- conversation_id - 会話ID
- workflow_run_id - 現在の実行ID
- tenant_id - テナントID
- elapsed_time - 現在の実行にかかった時間
- status - 実行ステータス
- version - ワークフローバージョン
- total_tokens - 現在の実行で使用されたトークン総数
- file_list - 処理されたファイルのリスト
- triggered_from - 実行をトリガーしたソース
- workflow_run_inputs - 現在の実行の入力データ
- workflow_run_outputs - 現在の実行の出力データ
- error - 実行中に発生したエラー
- query - 実行中に使用されたクエリ
- workflow_app_log_id - ワークフローアプリケーションログID
- message_id - 関連するメッセージID
- start_time - 実行開始時間
- end_time - 実行終了時間
- workflow node executions - ワークフローノードの実行情報
- メタデータ
- workflow_id - ワークフローの一意識別子
- conversation_id - 会話ID
- workflow_run_id - 現在の実行ID
- tenant_id - テナントID
- elapsed_time - 現在の実行にかかった時間
- status - 実行ステータス
- version - ワークフローバージョン
- total_tokens - 現在の実行で使用されたトークン総数
- file_list - 処理されたファイルのリスト
- triggered_from - 実行をトリガーしたソース
メッセージトラッキング情報
LLM関連の会話を追跡するために使用
| チャット | Arize LLM |
|---|---|
| message_id | id |
| user_session_id | - メタデータに配置 |
| ”llm” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| モデルトークン消費 | usage_metadata |
| metadata | metadata |
| [“message”, conversation_mode] | tags |
| conversation_id | conversation_id in metadata |
メッセージトラッキング情報
- message_id - メッセージID
- message_data - メッセージデータ
- user_session_id - ユーザーセッションID
- conversation_model - 会話モード
- message_tokens - メッセージ内のトークン数
- answer_tokens - 回答内のトークン数
- total_tokens - メッセージと回答のトークン総数
- error - エラー情報
- inputs - 入力データ
- outputs - 出力データ
- file_list - 処理されたファイルリスト
- start_time - 開始時間
- end_time - 終了時間
- message_file_data - メッセージ関連のファイルデータ
- conversation_mode - 会話モード
- メタデータ
- conversation_id - 会話ID
- ls_provider - モデルプロバイダー
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウントID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行ID
- from_source - メッセージソース
レビュー追跡情報
会話のレビューを追跡するために使用
| レビュー | Arize Tool |
|---|---|
| user_id | - メタデータに配置 |
| ”moderation” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“moderation”] | tags |
レビュー追跡情報
- message_id - メッセージID
- user_id - ユーザーID
- workflow_app_log_id - ワークフローアプリケーションログID
- inputs - レビュー入力データ
- message_data - メッセージデータ
- flagged - 注意が必要とマークされたかどうか
- action - 実施された具体的なアクション
- preset_response - プリセットレスポンス
- start_time - レビュー開始時間
- end_time - レビュー終了時間
- メタデータ
- message_id - メッセージID
- action - 実施されたアクション
- preset_response - プリセットレスポンス
提案質問追跡情報
提案質問を追跡するために使用
| 提案質問 | Arize LLM |
|---|---|
| user_id | - メタデータに配置 |
| ”suggested_question” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“suggested_question”] | tags |
提案質問追跡情報
- message_id - メッセージID
- message_data - メッセージデータ
- inputs - 入力データ
- outputs - 出力データ
- start_time - 開始時間
- end_time - 終了時間
- total_tokens - トークン総数
- status - メッセージステータス
- error - エラー情報
- from_account_id - 送信アカウントID
- agent_based - エージェントベースかどうか
- from_source - メッセージの送信元
- model_provider - モデルプロバイダー
- model_id - モデルID
- suggested_question - 提案された質問
- level - ステータスレベル
- status_message - ステータスメッセージ
- メタデータ
- message_id - メッセージID
- ls_provider - モデルプロバイダー
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウントID
- workflow_run_id - ワークフロー実行ID
- from_source - メッセージの送信元
データセット検索追跡情報
ナレッジベース検索を追跡するために使用
| データセット検索 | Arize Retriever |
|---|---|
| user_id | - メタデータに配置 |
| ”dataset_retrieval” | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“dataset_retrieval”] | tags |
| message_id | parent_run_id |
データセット検索追跡情報
- message_id - メッセージID
- inputs - 入力データ
- documents - ドキュメントデータ
- start_time - 開始時間
- end_time - 終了時間
- message_data - メッセージデータ
- メタデータ
- message_id - メッセージID
- ls_provider - モデルプロバイダー
- ls_model_name - モデルID
- status - メッセージステータス
- from_end_user_id - 送信ユーザーID
- from_account_id - 送信アカウントID
- agent_based - エージェントベースかどうか
- workflow_run_id - ワークフロー実行ID
- from_source - メッセージの送信元
ツール追跡情報
ツールの呼び出しを追跡するために使用
| ツール | Arize Tool |
|---|---|
| user_id | - メタデータに配置 |
| tool_name | name |
| start_time | start_time |
| end_time | end_time |
| inputs | inputs |
| outputs | outputs |
| metadata | metadata |
| [“tool”, tool_name] | tags |
ツール追跡情報
- message_id - メッセージID
- tool_name - ツール名
- start_time - 開始時間
- end_time - 終了時間
- tool_inputs - ツール入力
- tool_outputs - ツール出力
- message_data - メッセージデータ
- error - エラー情報（該当する場合）
- inputs - メッセージの入力
- outputs - メッセージの出力
- tool_config - ツール設定
- time_cost - 時間コスト
- tool_parameters - ツールパラメーター
- file_url - 関連するファイルのURL
- メタデータ
- message_id - メッセージID
- tool_name - ツール名
- tool_inputs - ツール入力
- tool_outputs - ツール出力
- tool_config - ツール設定
- time_cost - 時間コスト
- error - エラー情報（該当する場合）
- tool_parameters - ツールパラメーター
- message_file_id - メッセージファイルID
- created_by_role - 作成者の役割
- created_user_id - 作成者ユーザーID