W&B Weave の統合

このドキュメントは AI によって自動翻訳されています。不正確な部分がある場合は、英語版 を参照してください。

​

W&B Weave とは

Weights & Biases (W&B) Weave は、LLM ベースのアプリケーションの追跡、実験、評価、デプロイ、改善のためのフレームワークです。柔軟性とスケーラビリティを考慮して設計された Weave は、LLM アプリケーション開発ワークフローのあらゆる段階をサポートします。

​

Weave の設定方法

​

1. W&B Weaveに登録/ログイン

API キーを取得する 次に、https://wandb.ai で Weights & Biases (W&B) アカウントを作成し、https://wandb.ai/authorize から API キーをコピーします

​

2. W&B Weave を Dify と統合する

Dify アプリケーションで Weave を設定します。監視が必要なアプリケーションを開き、サイドメニューの モニタリング を開き、ページ上の アプリケーションパフォーマンスの追跡 を選択します。 設定をクリックした後、API キー とプロジェクト名 を貼り付け、W&B エンティティ（オプション、デフォルトはユーザー名）も指定して設定を保存します。 正常に保存されると、現在のページで監視状態を確認できます。

​

Weave でモニタリングデータを表示する

設定が完了すると、Dify 内のアプリケーションからのデバッグまたは本番データを Weave で監視できます。 Weave に切り替えると、ダッシュボードで Dify アプリケーションの詳細な操作ログを確認できます。 Weave を通じた詳細な LLM 操作ログは、Dify アプリケーションのパフォーマンスを最適化するのに役立ちます。

​

モニタリングデータリスト

​

ワークフロー/チャットフロートレース情報

ワークフローとチャットフローを追跡するために使用 ワークフロートレース情報

• workflow_id - ワークフローの一意の識別子
• conversation_id - 会話 ID
• workflow_run_id - 現在の実行の ID
• tenant_id - テナント ID
• elapsed_time - 現在の実行にかかった時間
• status - 実行ステータス
• version - ワークフローバージョン
• total_tokens - 現在の実行で使用されたトークンの総数
• file_list - 処理されたファイルのリスト
• triggered_from - 現在の実行をトリガーしたソース
• workflow_run_inputs - 現在の実行の入力データ
• workflow_run_outputs - 現在の実行の出力データ
• error - 現在の実行中に発生したエラー
• query - 実行中に使用されたクエリ
• workflow_app_log_id - ワークフローアプリケーションログ ID
• message_id - 関連するメッセージ ID
• start_time - 実行の開始時間
• end_time - 実行の終了時間
• workflow node executions - ワークフローノード実行に関する情報
• メタデータ
  • workflow_id - ワークフローの一意の識別子
  • conversation_id - 会話 ID
  • workflow_run_id - 現在の実行の ID
  • tenant_id - テナント ID
  • elapsed_time - 現在の実行にかかった時間
  • status - 実行ステータス
  • version - ワークフローバージョン
  • total_tokens - 現在の実行で使用されたトークンの総数
  • file_list - 処理されたファイルのリスト
  • triggered_from - 現在の実行をトリガーしたソース

​

メッセージトレース情報

LLM 関連の会話を追跡するために使用 メッセージトレース情報

• message_id - メッセージ ID
• message_data - メッセージデータ
• user_session_id - ユーザーセッション ID
• conversation_model - 会話モード
• message_tokens - メッセージ内のトークン数
• answer_tokens - 回答内のトークン数
• total_tokens - メッセージと回答内のトークンの総数
• error - エラー情報
• inputs - 入力データ
• outputs - 出力データ
• file_list - 処理されたファイルのリスト
• start_time - 開始時間
• end_time - 終了時間
• message_file_data - メッセージに関連するファイルデータ
• conversation_mode - 会話モード
• メタデータ
  • conversation_id - 会話 ID
  • ls_provider - モデルプロバイダー
  • ls_model_name - モデル ID
  • status - メッセージステータス
  • from_end_user_id - 送信ユーザーの ID
  • from_account_id - 送信アカウントの ID
  • agent_based - メッセージがエージェントベースかどうか
  • workflow_run_id - ワークフロー実行 ID
  • from_source - メッセージソース

​

モデレーショントレース情報

会話モデレーションを追跡するために使用 モデレーショントレース情報

• message_id - メッセージ ID
• user_id: ユーザーID
• workflow_app_log_id - ワークフローアプリケーションログ ID
• inputs - モデレーション入力データ
• message_data - メッセージデータ
• flagged - コンテンツが注意対象としてフラグ付けされているかどうか
• action - 取られた特定のアクション
• preset_response - プリセット応答
• start_time - モデレーション開始時間
• end_time - モデレーション終了時間
• メタデータ
  • message_id - メッセージ ID
  • action - 取られた特定のアクション
  • preset_response - プリセット応答

​

提案質問トレース情報

提案された質問を追跡するために使用 メッセージトレース情報

• message_id - メッセージ ID
• message_data - メッセージデータ
• inputs - 入力内容
• outputs - 出力内容
• start_time - 開始時間
• end_time - 終了時間
• total_tokens - トークン数
• status - メッセージステータス
• error - エラー情報
• from_account_id - 送信アカウントの ID
• agent_based - メッセージがエージェントベースかどうか
• from_source - メッセージソース
• model_provider - モデルプロバイダー
• model_id - モデル ID
• suggested_question - 提案された質問
• level - ステータスレベル
• status_message - ステータスメッセージ
• メタデータ
  • message_id - メッセージ ID
  • ls_provider - モデルプロバイダー
  • ls_model_name - モデル ID
  • status - メッセージステータス
  • from_end_user_id - 送信ユーザーの ID
  • from_account_id - 送信アカウントの ID
  • workflow_run_id - ワークフロー実行 ID
  • from_source - メッセージソース

​

データセット検索トレース情報

ナレッジベース検索を追跡するために使用 データセット検索トレース情報

• message_id - メッセージ ID
• inputs - 入力内容
• documents - ドキュメントデータ
• start_time - 開始時間
• end_time - 終了時間
• message_data - メッセージデータ
• メタデータ
  • message_id - メッセージ ID
  • ls_provider - モデルプロバイダー
  • ls_model_name - モデル ID
  • status - メッセージステータス
  • from_end_user_id - 送信ユーザーの ID
  • from_account_id - 送信アカウントの ID
  • agent_based - メッセージがエージェントベースかどうか
  • workflow_run_id - ワークフロー実行 ID
  • from_source - メッセージソース

​

ツールトレース情報

ツール呼び出しを追跡するために使用

​

ツールトレース情報

• message_id - メッセージ ID
• tool_name - ツール名
• start_time - 開始時間
• end_time - 終了時間
• tool_inputs - ツール入力
• tool_outputs - ツール出力
• message_data - メッセージデータ
• error - エラー情報（もしあれば）
• inputs - メッセージの入力
• outputs - メッセージの出力
• tool_config - ツール設定
• time_cost - 時間コスト
• tool_parameters - ツールパラメータ
• file_url - 関連ファイルの URL
• メタデータ
  • message_id - メッセージ ID
  • tool_name - ツール名
  • tool_inputs - ツール入力
  • tool_outputs - ツール出力
  • tool_config - ツール設定
  • time_cost - 時間コスト
  • error - エラー情報（もしあれば）
  • tool_parameters - ツールパラメータ
  • message_file_id - メッセージファイル ID
  • created_by_role - 作成者のロール
  • created_user_id - 作成者のユーザーID

名前生成トレース情報 会話タイトル生成を追跡するために使用 名前生成トレース情報

• conversation_id - 会話 ID
• inputs - 入力データ
• outputs - 生成された会話名
• start_time - 開始時間
• end_time - 終了時間
• tenant_id - テナント ID
• メタデータ
  • conversation_id - 会話 ID
  • tenant_id - テナント ID