このドキュメントは AI によって自動翻訳されています。不正確な部分がある場合は、英語版 を参照してください。
1 LangSmith とは
LangSmith は LLM アプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。
2 LangSmith の使い方
1. LangSmith の公式サイトから登録し、ログインする。
2. LangSmith からプロジェクトを作成します
ログイン後、ホームページの New Project をクリックし、新たな プロジェクトを作成します。このプロジェクトは、Dify 内の アプリと連動したデータモニタリングに使用されます。
作成する後、プロジェクトの中にチェクできます。
3. プロジェクト認証情報の作成
左のサイドバーでプロジェクト 設定 を見つける。
Create API Key をクリックし，新たな認証情報を作ります。
Personal Access Token を選び，のちほとの API 身分証明の時使えます。
新たな API key をコピーし、保存します。
4. Dify アプリの中に LangSmith を設定します
監視用のアプリのサイトメニューの 監視 ボタンをクリックし，設定 をクリックします。
それから，LangSmith から作った API Key と プロジェクト名を 設定の中に貼り付け、保存します。
設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。
LangSmith でのモニタリングデータの表示
Dify 内のアプリケーションからデバッグや製品データを設定することで、LangSmith にてそのデータをモニタリングすることができます。
LangSmith に切り替えると、ダッシュボード上で Dify アプリケーションの詳細な操作ログを見ることができます。
LangSmith を通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、Dify アプリケーションのパフォーマンスを最適化するために役立ちます。
モニタリングデータリスト
ワークフロー/チャットフローのトレース情報
ワークフローやチャットフローを追跡するために使用されます。
| ワークフロー | LangSmith Chain |
|---|
| workflow_app_log_id/workflow_run_id | ID |
| user_session_id | - メタデータに配置 |
| 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| [workflow] | タグ |
| ”conversation_id/none for workflow” | メタデータ内の conversation_id |
| conversion_id | 親実行 ID |
ワークフロートレース情報
- workflow_id：ワークフローの固有識別子
- conversation_id：会話 ID
- workflow_run_id：現在の実行 ID
- tenant_id：テナント ID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
- workflow_run_inputs：現在の実行の入力データ
- workflow_run_outputs：現在の実行の出力データ
- error：現在の実行中に発生したエラー
- query：実行中に使用されたクエリ
- workflow_app_log_id：ワークフローアプリケーションログ ID
- message_id：関連メッセージ ID
- start_time：実行の開始時間
- end_time：実行の終了時間
- workflow node executions：ワークフローノード実行に関する情報
- メタデータ
- workflow_id：ワークフローの固有識別子
- conversation_id：会話 ID
- workflow_run_id：現在の実行 ID
- tenant_id：テナント ID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース
メッセージトレース情報
大規模言語モデル（LLM）関連の会話を追跡するために使用されます。
| チャット | LangSmith LLM |
|---|
| message_id | ID |
| user_session_id | - メタデータに配置 |
| 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| モデルトークン消費 | 使用メタデータ |
| metadata | 追加情報 |
| エラー | エラー |
| [“message”, conversation_mode] | タグ |
| conversation_id | メタデータ内の conversation_id |
| conversion_id | 親実行 ID |
メッセージトレース情報
- message_id：メッセージ ID
- message_data：メッセージデータ
- user_session_id：ユーザーセッション ID
- conversation_model：会話モード
- message_tokens：メッセージ中のトークン数
- answer_tokens：回答のトークン数
- total_tokens：メッセージと回答の合計トークン数
- error：エラー情報
- inputs：入力データ
- outputs：出力データ
- file_list：処理されたファイルのリスト
- start_time：開始時間
- end_time：終了時間
- message_file_data：メッセージに関連付けられたファイルデータ
- conversation_mode：会話モード
- メタデータ
- conversation_id：会話 ID
- ls_provider：モデルプロバイダ
- ls_model_name：モデル ID
- status：メッセージステータス
- from_end_user_id：送信ユーザーの ID
- from_account_id：送信アカウントの ID
- agent_based：メッセージがエージェントベースかどうか
- workflow_run_id：ワークフロー実行 ID
- from_source：メッセージのソース
モデレーショントレース情報
会話のモデレーションを追跡するために使用されます。
| モデレーション | LangSmith Tool |
|---|
| user_id | - メタデータに配置 |
| “moderation” | 名前 |
| start_time | 開始時間 |
| end_time | 終了時間 |
| inputs | 入力 |
| outputs | 出力 |
| metadata | 追加情報 |
| [moderation] | タグ |
| message_id | 親実行 ID |
モデレーショントレース情報
- message_id：メッセージ ID
- user_id：ユーザーID
- workflow_app_log_id：ワークフローアプリケーションログ ID
- inputs：モデレーションの入力データ
- message_data：メッセージデータ
- flagged：コンテンツに注意が必要かどうか
- action：実行された具体的なアクション
- preset_response：プリセット応答
- start_time：モデレーション開始時間
- end_time：モデレーション終了時間
- メタデータ
- message_id：メッセージ ID
- action：実行された具体的なアクション
- preset_response：プリセット応答
提案された質問トレース情報
提案された質問を追跡するために使用されます。
