LangSmithの統合
1 LangSmithとは
LangSmithはLLMアプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。
LangSmithの公式サイト：https://www.langchain.com/langsmith
2 LangSmithの使い方
1. LangSmithの公式サイトから登録し、ログインする。
2. LangSmithからプロジェクトを作成します
ログイン後、ホームページの New Project をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。
作成する後、プロジェクトの中にチェクできます。
3. プロジェクト認証情報の作成
左のサイドバーでプロジェクト 設定 を見つける。
Create API Keyをクリックし，新たな認証情報を作ります。
Personal Access Token を選び，のちほとのAPI身分証明の時使えます。
新たなAPI keyをコピーし、保存します。
4. Dify アプリの中に LangSmith を設定します
監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。
それから，LangSmith から作った API Key とプロジェクト名を設定の中に貼り付け、保存します。
設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。
保存に成功すると、現在のページで監視状態を見ることができます。
LangSmithでのモニタリングデータの表示
Dify内のアプリケーションからデバッグや製品データを設定することで、LangSmithにてそのデータをモニタリングすることができます。
LangSmithに切り替えると、ダッシュボード上でDifyアプリケーションの詳細な操作ログを見ることができます。
LangSmithを通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、Difyアプリケーションのパフォーマンスを最適化するために役立ちます。
モニタリングデータリスト
ワークフロー/チャットフローのトレース情報
ワークフローやチャットフローを追跡するために使用されます。
| ワークフロー | LangSmith Chain |
|---|---|
| workflow_app_log_id/workflow_run_id | ID |
| user_session_id | - メタデータに配置 |
| workflow_ | 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| [workflow] | タグ |
| ”conversation_id/none for workflow” | メタデータ内のconversation_id |
| conversion_id | 親実行ID |
ワークフロートレース情報
- workflow_id：ワークフローの固有識別子
- conversation_id：会話ID
- workflow_run_id：現在の実行ID
- tenant_id：テナントID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
- workflow_run_inputs：現在の実行の入力データ
- workflow_run_outputs：現在の実行の出力データ
- error：現在の実行中に発生したエラー
- query：実行中に使用されたクエリ
- workflow_app_log_id：ワークフローアプリケーションログID
- message_id：関連メッセージID
- start_time：実行の開始時間
- end_time：実行の終了時間
- workflow node executions：ワークフローノード実行に関する情報
- メタデータ
- workflow_id：ワークフローの固有識別子
- conversation_id：会話ID
- workflow_run_id：現在の実行ID
- tenant_id：テナントID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
メッセージトレース情報
大規模言語モデル（LLM）関連の会話を追跡するために使用されます。
| チャット | LangSmith LLM |
|---|---|
| message_id | ID |
| user_session_id | - メタデータに配置 |
| “message_“ | 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| [“message”, conversation_mode] | タグ |
| conversation_id | メタデータ内のconversation_id |
| conversion_id | 親実行ID |
メッセージトレース情報
- message_id：メッセージID
- message_data：メッセージデータ
- user_session_id：ユーザーセッションID
- conversation_model：会話モード
- message_tokens：メッセージ中のトークン数
- answer_tokens：回答のトークン数
- total_tokens：メッセージと回答の合計トークン数
- error：エラー情報
- inputs：入力データ
- outputs：出力データ
- file_list：処理されたファイルのリスト
- start_time：開始時間
- end_time：終了時間
- message_file_data：メッセージに関連付けられたファイルデータ
- conversation_mode：会話モード
- メタデータ
- conversation_id：会話ID
- ls_provider：モデルプロバイダ
- ls_model_name：モデルID
- status：メッセージステータス
- from_end_user_id：送信ユーザーのID
- from_account_id：送信アカウントのID
- agent_based：メッセージがエージェントベースかどうか
- workflow_run_id：ワークフロー実行ID
- from_source：メッセージのソース
モデレーショントレース情報
会話のモデレーションを追跡するために使用されます。
| モデレーション | LangSmith Tool |
|---|---|
| user_id | - メタデータに配置 |
| “moderation” | 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| metadata | 追加情報 |
| [moderation] | タグ |
| message_id | 親実行ID |
モデレーショントレース情報
- message_id：メッセージID
- user_id：ユーザーID
- workflow_app_log_id：ワークフローアプリケーションログID
- inputs：モデレーションの入力データ
- message_data：メッセージデータ
- flagged：コンテンツに注意が必要かどうか
- action：実行された具体的なアクション
- preset_response：プリセット応答
- start_time：モデレーション開始時間
- end_time：モデレーション終了時間
- メタデータ
- message_id：メッセージID
- action：実行された具体的なアクション
- preset_response：プリセット応答
提案された質問トレース情報
提案された質問を追跡するために使用されます。