LangFuseを統合

1 Langfuseとは

LangfuseはLLMアプリケーションの開発者がデバッグ、分析、イテレーション等を使用してアプリケーションのパフォーマンスを向上させるためのツールです。

Langfuseの公式サイト：https://langfuse.com/

---

2 Langfuseの使い方

1. Langfuseの公式サイトから登録し、ログインする。

2. Langfuseからプロジェクトを作成します ログイン後、ホームページの New をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。

新たなプロジェクトを作成します。

プロジェクトの名前を付けます。

プロジェクトの名前を付けます。

1. プロジェクト認証情報の作成のために、左のサイドバーでプロジェクト 設定 をクリックする。

左のサイドバーをクリックします

Create API Keyをクリックし，新たな認証情報を作ります。

プロジェクトのAPI Keyを作ります。

Secret Key と Public Key，Host をコピーし、保存します。

APIキーの設定を取得する

1. Dify アプリの中に Langfuse を設定します。監視用のアプリのサイトメニューの監視ボタンをクリックし，設定をクリックします。

Langfuseを設定します

それから，Langfuse から作った Secret Key, Public Key と Host を設定の中に貼り付け、保存します。

Langfuseを設定します

保存に成功すると、現在のページで監視状態を見ることができます。

監視状態を見る

---

3 Langfuse ページで監視データをチェックします

設定した後， Difyのアプリや生産データは Langfuse の中にチェクをできます。

Dify 内でのアプリの調整

Langfuseでアプリデータを見る

---

4 監視データのリスト

ワークフローとチャットフローの情報を追跡

ワークフローとチャットフローの追跡

Workflow	LangFuse Trace
workflow_app_log_id/workflow_run_id	id
user_session_id	user_id
workflow_{id}	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
Model token consumption	usage
metadata	metadata
error	level
error	status_message
[workflow]	tags
["message", conversation_mode]	session_id
conversion_id	parent_observation_id

Workflow Trace Info

• workflow_id - ワークフローのユニークID

• conversation_id - 会話ID

• workflow_run_id - このランタイムのワークフローID

• tenant_id - テナントID

• elapsed_time - このランタイムの経過時間

• status - ランタイムのステータス

• version - ワークフローのバージョン

• total_tokens - このランタイムで使用されたトークンの合計

• file_list - 処理されたファイルのリスト

• triggered_from - このランタイムをトリガしたソース

• workflow_run_inputs - このワークフローの入力

• workflow_run_outputs - このワークフローの出力

• error - エラーメッセージ

• query - ランタイムで使用されるクエリ

• workflow_app_log_id - ワークフローアプリケーションログID

• message_id - 関連するメッセージID

• start_time - このランタイムの開始時刻

• end_time - このランタイムの終了時刻

• workflow node executions - ワークフローノードのランタイム情報

• Metadata

  • workflow_id - ワークフローのユニークID

  • conversation_id - 会話ID

  • workflow_run_id - このランタイムのワークフローID

  • tenant_id - テナントID

  • elapsed_time - このランタイムの経過時間

  • status - 運用状態

  • version - ワークフローのバージョン

  • total_tokens - このランタイムで使用されたトークンの合計

  • file_list - 処理されたファイルのリスト

  • triggered_from - このランタイムをトリガしたソース

Message Trace 情報

LLM会話を追跡するため

Message	LangFuse Generation/Trace
message_id	id
user_session_id	user_id
message_{id}	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
Model token consumption	usage
metadata	metadata
error	level
error	status_message
["message", conversation_mode]	tags
conversation_id	session_id
conversion_id	parent_observation_id

Message Trace Info

• message_id - メッセージID

• message_data - メッセージデータ

• user_session_id - ユーザーのセッションID

• conversation_model - 会話モデル

• message_tokens - メッセージトークン

• answer_tokens - 回答トークン

• total_tokens - メッセージと回答のトータルトークン

• error - エラーメッセージ

• inputs - 入力データ

• outputs - 出力データ

• file_list - 処理されたファイルのリスト

• start_time - 開始時刻

• end_time - 終了時刻

• message_file_data - 関連ファイルデータのメッセージ

• conversation_mode - 会話モード

• Metadata

  • conversation_id - 会話ID

  • ls_provider - モデルプロバイダ

  • ls_model_name - モデルID

  • status - メッセージステータス

  • from_end_user_id - 送信ユーザーID

  • from_account_id - 送信アカウントID

  • agent_based - エージェントベースか

  • workflow_run_id - このランタイムのワークフローID

  • from_source - メッセージのソース

  • message_id - メッセージID

Moderation Trace 情報

会話モデレーションを追跡するため

Moderation	LangFuse Generation/Trace
user_id	user_id
moderation	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
metadata	metadata
[moderation]	tags
message_id	parent_observation_id

Message Trace Info

• message_id - メッセージID

• user_id - ユーザーID

• workflow_app_log_id - ワークフローアプリケーションログID

• inputs - レビュー用の入力データ

• message_data - メッセージデータ

• flagged - 注目対象としてフラグが立てられているか

• action - 実行すべき具体的なアクション

• preset_response - 事前設定の応答

• start_time - レビューの開始時刻

• end_time - レビューの終了時刻

• Metadata

  • message_id - メッセージID

  • action - 実行すべき具体的なアクション

  • preset_response - 事前設定の応答

提案された質問トレース情報

提案された質問を追跡するため

Suggested Question	LangFuse Generation/Trace
user_id	user_id
suggested_question	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
metadata	metadata
[suggested_question]	tags
message_id	parent_observation_id

Message Trace Info

• message_id - メッセージID

• message_data - メッセージデータ

• inputs - 入力データ

• outputs - 出力データ

• start_time - 開始時刻

• end_time - 終了時刻

• total_tokens - トータルトークン

• status - メッセージの状態

• error - エラーメッセージ

• from_account_id - 送信元アカウントのID

• agent_based - エージェントベースであるかどうか

• from_source - メッセージの発信元

• model_provider - モデルの提供者

• model_id - モデルのID

• suggested_question - 提案された質問

• level - ステータスのレベル

• status_message - ステータスメッセージ

• Metadata

  • message_id - メッセージのID

  • ls_provider - モデルの提供者

  • ls_model_name - モデルの名前

  • status - メッセージの状態

  • from_end_user_id - 送信元ユーザーのID

  • from_account_id - 送信元アカウントのID

  • workflow_run_id - このランタイムにおけるワークフローのID

  • from_source - メッセージの発信元

Dataset Retrieval Trace 情報

ナレッジベースの取得を追跡するために使用

データセットの取得	LangFuse生成/トレース
user_id	user_id
dataset_retrieval	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
metadata	metadata
[dataset_retrieval]	tags
message_id	parent_observation_id

Dataset Retrieval Trace Info

• message_id - メッセージのID

• inputs - 入力メッセージ

• documents - ドキュメントデータ

• start_time - 開始時間

• end_time - 終了時間

• message_data - 消息数据

• Metadata

  • message_id - メッセージのID

  • ls_provider - モデルの提供者

  • ls_model_name - モデルの名前

  • status - モデルの状態

  • from_end_user_id - 送信元ユーザーのID

  • from_account_id - 送信元アカウントのID

  • agent_based - エージェントベースであるかどうか

  • workflow_run_id - このランタイムにおけるワークフローのID

  • from_source - メッセージの発信元

Tool Trace 情報

ツールの呼び出しを追跡するために使用

ツール	LangFuse生成/トレース
user_id	user_id
tool_name	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
metadata	metadata
["tool", tool_name]	tags
message_id	parent_observation_id

Tool Trace Info

• message_id - メッセージのID

• tool_name - ツール名

• start_time - 開始時間

• end_time - 終了時間

• tool_inputs - ツールの入力

• tool_outputs - ツールの出力

• error - エラーメッセージ（存在する場合）

• inputs - メッセージの入力

• outputs - メッセージの出力

• tool_config - ツールの構成

• tool_parameters - ツールのパラメータ

• file_url - 関連ファイルのURL

• Metadata

  • message_id - メッセージのID

  • tool_name - ツール名

  • tool_inputs - ツールの入力

  • tool_outputs - ツールの出力

  • tool_config - ツールの構成

  • error - エラーメッセージ

  • tool_parameters - ツールのパラメータ

  • message_file_id - メッセージファイルのID

  • created_by_role - 作成者の役割

  • created_user_id - 作成ユーザーのID

Generate Name Trace 情報

会話タイトル生成の追跡に使用

Generate Name	LangFuse Generation/Trace
user_id	user_id
generate_name	name
start_time	start_time
end_time	end_time
inputs	input
outputs	output
metadata	metadata
[generate_name]	tags

Generate Name Trace Info

• conversation_id - 会話のID

• inputs - 入力データ

• outputs - 生成されたセッション名

• start_time - 開始時間

• end_time - 終了時間

• tenant_id - テナントID

• Metadata

  • conversation_id - 会話のID

  • tenant_id - テナントID