LangSmith 是一个用于构建生产级 LLM 应用程序的平台,它用于开发、协作、测试、部署和监控 LLM 应用程序。
本章节将指引你注册 LangSmith 并将其集成至 Dify 平台内。
在 LangSmith 内创建项目,登录后在主页点击 New Project 创建一个自己的项目,项目将用于与 Dify 内的应用关联进行数据监测。
在 LangSmith 内创建项目
创建完成之后在 Projects 内可以查看该项目。
在 LangSmith 内查看已创建项目
创建项目凭据,在左侧边栏内找到项目设置 Settings。
项目设置
点击 Create API Key,创建一个项目凭据。
创建一个项目 API Key
选择 Personal Access Token ,用于后续的 API 身份校验。
创建一个 API Key
将创建的 API key 复制保存。
复制 API Key
在 Dify 应用内配置 LangSmith。打开需要监测的应用,在左侧边菜单内打开监测,点击页面内的配置。
配置 LangSmith
点击配置后,将在 LangSmith 内创建的 API Key 和项目名粘贴到配置内并保存。
配置 LangSmith
成功保存后可以在当前页面查看监测状态。
查看配置状态
配置完成后, Dify 内应用的调试或生产数据可以在 LangSmith 查看监测数据。
在 Dify 内调试应用
在 LangSmith 内查看应用数据
在 LangSmith 内查看应用数据
用于追踪workflow以及chatflow
Workflow | LangSmith Chain |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | -放入metadata |
workflow_ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
模型token消耗相关 | usage_metadata |
metadata | extra |
error | error |
[workflow] | tags |
”conversation_id/workflow时无” | metadata中的conversation_id |
conversion_id | parent_run_id |
Workflow Trace Info
用于追踪llm对话相关
Chat | LangSmith LLM |
---|---|
message_id | id |
user_session_id | -放入metadata |
“message_“ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
模型token消耗相关 | usage_metadata |
metadata | extra |
error | error |
[“message”, conversation_mode] | tags |
conversation_id | metadata中的conversation_id |
conversion_id | parent_run_id |
Message Trace Info
用于追踪对话审查
Moderation | LangSmith Tool |
---|---|
user_id | -放入metadata |
“moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[moderation] | tags |
message_id | parent_run_id |
Message Trace Info
用于追踪建议问题
Suggested Question | LangSmith LLM |
---|---|
user_id | -放入metadata |
suggested_question | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[suggested_question] | tags |
message_id | parent_run_id |
Message Trace Info
用于追踪知识库检索
Dataset Retrieval | LangSmith Retriever |
---|---|
user_id | -放入metadata |
dataset_retrieval | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[dataset_retrieval] | tags |
message_id | parent_run_id |
Dataset Retrieval Trace Info
用于追踪工具调用
Tool | LangSmith Tool |
---|---|
user_id | -放入metadata |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[“tool”, tool_name] | tags |
message_id | parent_run_id |
Tool Trace Info
用于追踪会话标题生成
Generate Name | LangSmith Tool |
---|---|
user_id | -放入metadata |
generate_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[generate_name] | tags |
Generate Name Trace Info
LangSmith 是一个用于构建生产级 LLM 应用程序的平台,它用于开发、协作、测试、部署和监控 LLM 应用程序。
本章节将指引你注册 LangSmith 并将其集成至 Dify 平台内。
在 LangSmith 内创建项目,登录后在主页点击 New Project 创建一个自己的项目,项目将用于与 Dify 内的应用关联进行数据监测。
在 LangSmith 内创建项目
创建完成之后在 Projects 内可以查看该项目。
在 LangSmith 内查看已创建项目
创建项目凭据,在左侧边栏内找到项目设置 Settings。
项目设置
点击 Create API Key,创建一个项目凭据。
创建一个项目 API Key
选择 Personal Access Token ,用于后续的 API 身份校验。
创建一个 API Key
将创建的 API key 复制保存。
复制 API Key
在 Dify 应用内配置 LangSmith。打开需要监测的应用,在左侧边菜单内打开监测,点击页面内的配置。
配置 LangSmith
点击配置后,将在 LangSmith 内创建的 API Key 和项目名粘贴到配置内并保存。
配置 LangSmith
成功保存后可以在当前页面查看监测状态。
查看配置状态
配置完成后, Dify 内应用的调试或生产数据可以在 LangSmith 查看监测数据。
在 Dify 内调试应用
在 LangSmith 内查看应用数据
在 LangSmith 内查看应用数据
用于追踪workflow以及chatflow
Workflow | LangSmith Chain |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | -放入metadata |
workflow_ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
模型token消耗相关 | usage_metadata |
metadata | extra |
error | error |
[workflow] | tags |
”conversation_id/workflow时无” | metadata中的conversation_id |
conversion_id | parent_run_id |
Workflow Trace Info
用于追踪llm对话相关
Chat | LangSmith LLM |
---|---|
message_id | id |
user_session_id | -放入metadata |
“message_“ | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
模型token消耗相关 | usage_metadata |
metadata | extra |
error | error |
[“message”, conversation_mode] | tags |
conversation_id | metadata中的conversation_id |
conversion_id | parent_run_id |
Message Trace Info
用于追踪对话审查
Moderation | LangSmith Tool |
---|---|
user_id | -放入metadata |
“moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[moderation] | tags |
message_id | parent_run_id |
Message Trace Info
用于追踪建议问题
Suggested Question | LangSmith LLM |
---|---|
user_id | -放入metadata |
suggested_question | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[suggested_question] | tags |
message_id | parent_run_id |
Message Trace Info
用于追踪知识库检索
Dataset Retrieval | LangSmith Retriever |
---|---|
user_id | -放入metadata |
dataset_retrieval | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[dataset_retrieval] | tags |
message_id | parent_run_id |
Dataset Retrieval Trace Info
用于追踪工具调用
Tool | LangSmith Tool |
---|---|
user_id | -放入metadata |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[“tool”, tool_name] | tags |
message_id | parent_run_id |
Tool Trace Info
用于追踪会话标题生成
Generate Name | LangSmith Tool |
---|---|
user_id | -放入metadata |
generate_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | extra |
[generate_name] | tags |
Generate Name Trace Info