LangSmithを統合

1 LangSmithとは

LangSmithはLLMアプリケーションの開発、コラボレーション、テスト、デプロイ、監視などのツールを提供するプラットフォームです。

LangSmithの公式サイト：https://www.langchain.com/langsmith

2 LangSmithの使い方

1. LangSmithの公式サイトから登録し、ログインする。

2. LangSmithからプロジェクトを作成します

ログイン後、ホームページの New Project をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。

作成する後、プロジェクトの中にチェクできます。

3. プロジェクト認証情報の作成

左のサイドバーでプロジェクト設定を見つける。

Create API Keyをクリックし，新たな認証情報を作ります。

Personal Access Token を選び，のちほとのAPI身分証明の時使えます。

新たなAPI keyをコピーし、保存します。

4. Dify アプリの中に LangSmith を設定します

監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。

それから，LangSmith から作った API Key とプロジェクト名を設定の中に貼り付け、保存します。

設定したプロジェクト名は LangSmith のいるプロジェクト名と必ず一致します。一致しない場合、データの同期時に LangSmith は自動的に新しいプロジェクトを作成します。

保存に成功すると、現在のページで監視状態を見ることができます。

LangSmithでのモニタリングデータの表示

Dify内のアプリケーションからデバッグや製品データを設定することで、LangSmithにてそのデータをモニタリングすることができます。

LangSmithに切り替えると、ダッシュボード上でDifyアプリケーションの詳細な操作ログを見ることができます。

LangSmithを通じて得られる詳細な大規模言語モデル（LLM）の操作ログは、Difyアプリケーションのパフォーマンスを最適化するために役立ちます。

モニタリングデータリスト

ワークフロー/チャットフローのトレース情報

ワークフローやチャットフローを追跡するために使用されます。

ワークフロー

LangSmith Chain

workflow_app_log_id/workflow_run_id

user_session_id

- メタデータに配置

workflow_{id}

名前

start_time

開始時間

end_time

終了時間

inputs

入力

outputs

出力

モデルトークン消費

使用メタデータ

metadata

追加情報

エラー

[workflow]

タグ

"conversation_id/none for workflow"

メタデータ内のconversation_id

conversion_id

親実行ID

ワークフロートレース情報

workflow_id：ワークフローの固有識別子
conversation_id：会話ID
workflow_run_id：現在の実行ID
tenant_id：テナントID
elapsed_time：現在の実行にかかった時間
status：実行ステータス
version：ワークフローのバージョン
total_tokens：現在の実行で使用されるトークンの合計数
file_list：処理されたファイルのリスト
triggered_from：現在の実行を引き起こしたソース
workflow_run_inputs：現在の実行の入力データ
workflow_run_outputs：現在の実行の出力データ
error：現在の実行中に発生したエラー
query：実行中に使用されたクエリ
workflow_app_log_id：ワークフローアプリケーションログID
message_id：関連メッセージID
start_time：実行の開始時間
end_time：実行の終了時間
workflow node executions：ワークフローノード実行に関する情報
メタデータ
- workflow_id：ワークフローの固有識別子
- conversation_id：会話ID
- workflow_run_id：現在の実行ID
- tenant_id：テナントID
- elapsed_time：現在の実行にかかった時間
- status：実行ステータス
- version：ワークフローのバージョン
- total_tokens：現在の実行で使用されるトークンの合計数
- file_list：処理されたファイルのリスト
- triggered_from：現在の実行を引き起こしたソース

メッセージトレース情報

大規模言語モデル（LLM）関連の会話を追跡するために使用されます。

チャット

LangSmith LLM

message_id