Dify Cloud | コミュニティ版 ≥ v1.3.1
Weights & Biases (W&B) Weaveは、LLMベースのアプリケーションの追跡、実験、評価、デプロイ、改善のためのフレームワークです。柔軟性とスケーラビリティを考慮して設計されたWeaveは、LLMアプリケーション開発ワークフローのあらゆる段階をサポートします。
詳細については、Weaveを参照してください。
APIキーを取得する
次に、https://wandb.ai でWeights & Biases (W&B)アカウントを作成し、https://wandb.ai/authorize からAPIキーをコピーします
DifyアプリケーションでWeaveを設定します。監視が必要なアプリケーションを開き、サイドメニューのモニタリングを開き、ページ上のアプリケーションパフォーマンスの追跡を選択します。
設定をクリックした後、APIキーとプロジェクト名を貼り付け、W&Bエンティティ(オプション、デフォルトはユーザー名)も指定して設定を保存します。
正常に保存されると、現在のページで監視状態を確認できます。
設定が完了すると、Dify内のアプリケーションからのデバッグまたは本番データをWeaveで監視できます。
Weaveに切り替えると、ダッシュボードでDifyアプリケーションの詳細な操作ログを確認できます。
Weaveを通じた詳細なLLM操作ログは、Difyアプリケーションのパフォーマンスを最適化するのに役立ちます。
ワークフローとチャットフローを追跡するために使用
ワークフロー | Weaveトレース |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | メタデータに配置 |
workflow_ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
モデルトークン消費量 | usage_metadata |
metadata | extra |
error | error |
workflow | tags |
”conversation_id/none for workflow” | メタデータ内のconversation_id |
conversion_id | parent_run_id |
ワークフロートレース情報
LLM関連の会話を追跡するために使用
チャット | Weaveトレース |
---|---|
message_id | id |
user_session_id | メタデータに配置 |
”message_“ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
モデルトークン消費量 | usage_metadata |
metadata | extra |
error | error |
”message”, conversation_mode | tags |
conversation_id | メタデータ内のconversation_id |
conversion_id | parent_run_id |
メッセージトレース情報
会話モデレーションを追跡するために使用
モデレーション | Weaveトレース |
---|---|
user_id | メタデータに配置 |
”moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[moderation] | tags |
message_id | parent_run_id |
モデレーショントレース情報
提案された質問を追跡するために使用
提案質問 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
suggested_question | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
suggested_question | tags |
message_id | parent_run_id |
メッセージトレース情報
ナレッジベース検索を追跡するために使用
データセット検索 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
dataset_retrieval | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
dataset_retrieval | tags |
message_id | parent_run_id |
データセット検索トレース情報
ツール呼び出しを追跡するために使用
ツール | Weaveトレース |
---|---|
user_id | メタデータに配置 |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[“tool”, tool_name] | tags |
message_id | parent_run_id |
名前生成トレース情報
会話タイトル生成を追跡するために使用
名前生成 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
generate_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
generate_name | tags |
名前生成トレース情報
Dify Cloud | コミュニティ版 ≥ v1.3.1
Weights & Biases (W&B) Weaveは、LLMベースのアプリケーションの追跡、実験、評価、デプロイ、改善のためのフレームワークです。柔軟性とスケーラビリティを考慮して設計されたWeaveは、LLMアプリケーション開発ワークフローのあらゆる段階をサポートします。
詳細については、Weaveを参照してください。
APIキーを取得する
次に、https://wandb.ai でWeights & Biases (W&B)アカウントを作成し、https://wandb.ai/authorize からAPIキーをコピーします
DifyアプリケーションでWeaveを設定します。監視が必要なアプリケーションを開き、サイドメニューのモニタリングを開き、ページ上のアプリケーションパフォーマンスの追跡を選択します。
設定をクリックした後、APIキーとプロジェクト名を貼り付け、W&Bエンティティ(オプション、デフォルトはユーザー名)も指定して設定を保存します。
正常に保存されると、現在のページで監視状態を確認できます。
設定が完了すると、Dify内のアプリケーションからのデバッグまたは本番データをWeaveで監視できます。
Weaveに切り替えると、ダッシュボードでDifyアプリケーションの詳細な操作ログを確認できます。
Weaveを通じた詳細なLLM操作ログは、Difyアプリケーションのパフォーマンスを最適化するのに役立ちます。
ワークフローとチャットフローを追跡するために使用
ワークフロー | Weaveトレース |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | メタデータに配置 |
workflow_ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
モデルトークン消費量 | usage_metadata |
metadata | extra |
error | error |
workflow | tags |
”conversation_id/none for workflow” | メタデータ内のconversation_id |
conversion_id | parent_run_id |
ワークフロートレース情報
LLM関連の会話を追跡するために使用
チャット | Weaveトレース |
---|---|
message_id | id |
user_session_id | メタデータに配置 |
”message_“ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
モデルトークン消費量 | usage_metadata |
metadata | extra |
error | error |
”message”, conversation_mode | tags |
conversation_id | メタデータ内のconversation_id |
conversion_id | parent_run_id |
メッセージトレース情報
会話モデレーションを追跡するために使用
モデレーション | Weaveトレース |
---|---|
user_id | メタデータに配置 |
”moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[moderation] | tags |
message_id | parent_run_id |
モデレーショントレース情報
提案された質問を追跡するために使用
提案質問 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
suggested_question | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
suggested_question | tags |
message_id | parent_run_id |
メッセージトレース情報
ナレッジベース検索を追跡するために使用
データセット検索 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
dataset_retrieval | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
dataset_retrieval | tags |
message_id | parent_run_id |
データセット検索トレース情報
ツール呼び出しを追跡するために使用
ツール | Weaveトレース |
---|---|
user_id | メタデータに配置 |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[“tool”, tool_name] | tags |
message_id | parent_run_id |
名前生成トレース情報
会話タイトル生成を追跡するために使用
名前生成 | Weaveトレース |
---|---|
user_id | メタデータに配置 |
generate_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
generate_name | tags |
名前生成トレース情報