LangFuseを統合
Last updated
Last updated
LangfuseはLLMアプリケーションの開発者がデバッグ、分析、イテレーション等を使用してアプリケーションのパフォーマンスを向上させるためのツールです。
Langfuseの公式サイト:https://langfuse.com/
Langfuseの公式サイトから登録し、ログインする。
Langfuseからプロジェクトを作成します ログイン後、ホームページの New をクリックし、新たなプロジェクトを作成します。このプロジェクトは、Dify内のアプリと連動したデータモニタリングに使用されます。
プロジェクトの名前を付けます。
プロジェクト認証情報の作成のために、左のサイドバーでプロジェクト 設定 をクリックする。
Create API Keyをクリックし,新たな認証情報を作ります。
Secret Key と Public Key,Host をコピーし、保存します。
Dify アプリの中に Langfuse を設定します。監視用のアプリのサイトメニューの監視ボタンをクリックし,設定をクリックします。
それから,Langfuse から作った Secret Key, Public Key と Host を設定の中に貼り付け、保存します。
保存に成功すると、現在のページで監視状態を見ることができます。
設定した後, Difyのアプリや生産データは Langfuse の中にチェクをできます。
ワークフローとチャットフローの追跡
Workflow Trace Info
workflow_id - ワークフローのユニークID
conversation_id - 会話ID
workflow_run_id - このランタイムのワークフローID
tenant_id - テナントID
elapsed_time - このランタイムの経過時間
status - ランタイムのステータス
version - ワークフローのバージョン
total_tokens - このランタイムで使用されたトークンの合計
file_list - 処理されたファイルのリスト
triggered_from - このランタイムをトリガしたソース
workflow_run_inputs - このワークフローの入力
workflow_run_outputs - このワークフローの出力
error - エラーメッセージ
query - ランタイムで使用されるクエリ
workflow_app_log_id - ワークフローアプリケーションログID
message_id - 関連するメッセージID
start_time - このランタイムの開始時刻
end_time - このランタイムの終了時刻
workflow node executions - ワークフローノードのランタイム情報
Metadata
workflow_id - ワークフローのユニークID
conversation_id - 会話ID
workflow_run_id - このランタイムのワークフローID
tenant_id - テナントID
elapsed_time - このランタイムの経過時間
status - 運用状態
version - ワークフローのバージョン
total_tokens - このランタイムで使用されたトークンの合計
file_list - 処理されたファイルのリスト
triggered_from - このランタイムをトリガしたソース
LLM会話を追跡するため
Message Trace Info
message_id - メッセージID
message_data - メッセージデータ
user_session_id - ユーザーのセッションID
conversation_model - 会話モデル
message_tokens - メッセージトークン
answer_tokens - 回答トークン
total_tokens - メッセージと回答のトータルトークン
error - エラーメッセージ
inputs - 入力データ
outputs - 出力データ
file_list - 処理されたファイルのリスト
start_time - 開始時刻
end_time - 終了時刻
message_file_data - 関連ファイルデータのメッセージ
conversation_mode - 会話モード
Metadata
conversation_id - 会話ID
ls_provider - モデルプロバイダ
ls_model_name - モデルID
status - メッセージステータス
from_end_user_id - 送信ユーザーID
from_account_id - 送信アカウントID
agent_based - エージェントベースか
workflow_run_id - このランタイムのワークフローID
from_source - メッセージのソース
message_id - メッセージID
会話モデレーションを追跡するため
Message Trace Info
message_id - メッセージID
user_id - ユーザーID
workflow_app_log_id - ワークフローアプリケーションログID
inputs - レビュー用の入力データ
message_data - メッセージデータ
flagged - 注目対象としてフラグが立てられているか
action - 実行すべき具体的なアクション
preset_response - 事前設定の応答
start_time - レビューの開始時刻
end_time - レビューの終了時刻
Metadata
message_id - メッセージID
action - 実行すべき具体的なアクション
preset_response - 事前設定の応答
提案された質問を追跡するため
Message Trace Info
message_id - メッセージID
message_data - メッセージデータ
inputs - 入力データ
outputs - 出力データ
start_time - 開始時刻
end_time - 終了時刻
total_tokens - トータルトークン
status - メッセージの状態
error - エラーメッセージ
from_account_id - 送信元アカウントのID
agent_based - エージェントベースであるかどうか
from_source - メッセージの発信元
model_provider - モデルの提供者
model_id - モデルのID
suggested_question - 提案された質問
level - ステータスのレベル
status_message - ステータスメッセージ
Metadata
message_id - メッセージのID
ls_provider - モデルの提供者
ls_model_name - モデルの名前
status - メッセージの状態
from_end_user_id - 送信元ユーザーのID
from_account_id - 送信元アカウントのID
workflow_run_id - このランタイムにおけるワークフローのID
from_source - メッセージの発信元
ナレッジベースの取得を追跡するために使用
Dataset Retrieval Trace Info
message_id - メッセージのID
inputs - 入力メッセージ
documents - ドキュメントデータ
start_time - 開始時間
end_time - 終了時間
message_data - 消息数据
Metadata
message_id - メッセージのID
ls_provider - モデルの提供者
ls_model_name - モデルの名前
status - モデルの状態
from_end_user_id - 送信元ユーザーのID
from_account_id - 送信元アカウントのID
agent_based - エージェントベースであるかどうか
workflow_run_id - このランタイムにおけるワークフローのID
from_source - メッセージの発信元
ツールの呼び出しを追跡するために使用
Tool Trace Info
message_id - メッセージのID
tool_name - ツール名
start_time - 開始時間
end_time - 終了時間
tool_inputs - ツールの入力
tool_outputs - ツールの出力
error - エラーメッセージ(存在する場合)
inputs - メッセージの入力
outputs - メッセージの出力
tool_config - ツールの構成
tool_parameters - ツールのパラメータ
file_url - 関連ファイルのURL
Metadata
message_id - メッセージのID
tool_name - ツール名
tool_inputs - ツールの入力
tool_outputs - ツールの出力
tool_config - ツールの構成
error - エラーメッセージ
tool_parameters - ツールのパラメータ
message_file_id - メッセージファイルのID
created_by_role - 作成者の役割
created_user_id - 作成ユーザーのID
会話タイトル生成の追跡に使用
Generate Name Trace Info
conversation_id - 会話のID
inputs - 入力データ
outputs - 生成されたセッション名
start_time - 開始時間
end_time - 終了時間
tenant_id - テナントID
Metadata
conversation_id - 会話のID
tenant_id - テナントID
Workflow | LangFuse Trace |
---|---|
Message | LangFuse Generation/Trace |
---|---|
Moderation | LangFuse Generation/Trace |
---|---|
Suggested Question | LangFuse Generation/Trace |
---|---|
データセットの取得 | LangFuse生成/トレース |
---|---|
ツール | LangFuse生成/トレース |
---|---|
Generate Name | LangFuse Generation/Trace |
---|---|