LangSmithを統合
Last updated
Last updated
LangSmithはLLMアプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。
LangSmithの公式サイト:https://www.langchain.com/langsmith
ログイン後、ホームページの New Project をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。
作成する後、プロジェクトの中にチェクできます。
左のサイドバーでプロジェクト 設定 を見つける。
Create API Keyをクリックし,新たな認証情報を作ります。
Personal Access Token を選び,のちほとのAPI身分証明の時使えます。
新たなAPI keyをコピーし、保存します。
監視用のアプリのサイトメニューの監視ボタンをクリックし,設定をクリックします。
それから,LangSmith から作った API Key とプロジェクト名を設定の中に貼り付け、保存します。
設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。
保存に成功すると、現在のページで監視状態を見ることができます。
Dify内のアプリケーションからデバッグや製品データを設定することで、LangSmithにてそのデータをモニタリングすることができます。
LangSmithに切り替えると、ダッシュボード上でDifyアプリケーションの詳細な操作ログを見ることができます。
LangSmithを通じて得られる詳細な大規模言語モデル(LLM)の操作ログは、Difyアプリケーションのパフォーマンスを最適化するために役立ちます。
ワークフローやチャットフローを追跡するために使用されます。
workflow_app_log_id/workflow_run_id
ID
user_session_id
- メタデータに配置
workflow_{id}
名前
start_time
開始時間
end_time
終了時間
inputs
入力
outputs
出力
モデルトークン消費
使用メタデータ
metadata
追加情報
エラー
エラー
[workflow]
タグ
"conversation_id/none for workflow"
メタデータ内のconversation_id
conversion_id
親実行ID
ワークフロートレース情報
workflow_id:ワークフローの固有識別子
conversation_id:会話ID
workflow_run_id:現在の実行ID
tenant_id:テナントID
elapsed_time:現在の実行にかかった時間
status:実行ステータス
version:ワークフローのバージョン
total_tokens:現在の実行で使用されるトークンの合計数
file_list:処理されたファイルのリスト
triggered_from:現在の実行を引き起こしたソース
workflow_run_inputs:現在の実行の入力データ
workflow_run_outputs:現在の実行の出力データ
error:現在の実行中に発生したエラー
query:実行中に使用されたクエリ
workflow_app_log_id:ワークフローアプリケーションログID
message_id:関連メッセージID
start_time:実行の開始時間
end_time:実行の終了時間
workflow node executions:ワークフローノード実行に関する情報
メタデータ
workflow_id:ワークフローの固有識別子
conversation_id:会話ID
workflow_run_id:現在の実行ID
tenant_id:テナントID
elapsed_time:現在の実行にかかった時間
status:実行ステータス
version:ワークフローのバージョン
total_tokens:現在の実行で使用されるトークンの合計数
file_list:処理されたファイルのリスト
triggered_from:現在の実行を引き起こしたソース
大規模言語モデル(LLM)関連の会話を追跡するために使用されます。
message_id
ID
user_session_id
- メタデータに配置
“message_{id}"
名前
start_time
開始時間
end_time
終了時間
inputs
入力
outputs
出力
モデルトークン消費
使用メタデータ
metadata
追加情報
エラー
エラー
["message", conversation_mode]
タグ
conversation_id
メタデータ内のconversation_id
conversion_id
親実行ID
メッセージトレース情報
message_id:メッセージID
message_data:メッセージデータ
user_session_id:ユーザーセッションID
conversation_model:会話モード
message_tokens:メッセージ中のトークン数
answer_tokens:回答のトークン数
total_tokens:メッセージと回答の合計トークン数
error:エラー情報
inputs:入力データ
outputs:出力データ
file_list:処理されたファイルのリスト
start_time:開始時間
end_time:終了時間
message_file_data:メッセージに関連付けられたファイルデータ
conversation_mode:会話モード
メタデータ
conversation_id:会話ID
ls_provider:モデルプロバイダ
ls_model_name:モデルID
status:メッセージステータス
from_end_user_id:送信ユーザーのID
from_account_id:送信アカウントのID
agent_based:メッセージがエージェントベースかどうか
workflow_run_id:ワークフロー実行ID
from_source:メッセージのソース
会話のモデレーションを追跡するために使用されます。
user_id
- メタデータに配置
“moderation"
名前
start_time
開始時間
end_time
終了時間
inputs
入力
outputs
出力
metadata
追加情報
[moderation]
タグ
message_id
親実行ID
モデレーショントレース情報
message_id:メッセージID
user_id:ユーザーID
workflow_app_log_id:ワークフローアプリケーションログID
inputs:モデレーションの入力データ
message_data:メッセージデータ
flagged:コンテンツに注意が必要かどうか
action:実行された具体的なアクション
preset_response:プリセット応答
start_time:モデレーション開始時間
end_time:モデレーション終了時間
メタデータ
message_id:メッセージID
action:実行された具体的なアクション
preset_response:プリセット応答
提案された質問を追跡するために使用されます。