Opik 是一个开源的 LLM 评估平台,用于评估、测试和监控大型语言模型(LLM)应用。它由 Comet 开发,旨在促进对基于 LLM 的应用程序进行更直观的协作、测试和监控。
如需了解更多详情,请参考 Opik。
从右上角的用户菜单中获取 Opik API 密钥。点击 API Key,然后点击 API Key 进行复制:
在 Dify 应用程序中配置 Opik。打开需要监控的应用程序,在侧边菜单中打开监控,并在页面上选择追踪应用性能。
点击配置后,将在 Opik 中创建的 API Key 和项目名称粘贴到配置中并保存。
成功保存后,你可以在当前页面查看监控状态。
配置完成后,你可以照常调试或使用 Dify 应用程序。所有使用历史都可以在 Opik 中监控。
当你切换到 Opik 时,可以在仪表板中查看 Dify 应用程序的详细操作日志。
通过 Opik 的详细 LLM 操作日志将帮助你优化 Dify 应用程序的性能。
用于追踪工作流和对话流
工作流 | Opik 追踪 |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | - 放置在元数据中 |
workflow_{id} | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
error | error |
[workflow] | tags |
conversation_id/none for workflow | conversation_id in metadata |
工作流追踪信息
用于追踪 LLM 相关对话
聊天 | Opik LLM |
---|---|
message_id | id |
user_session_id | - 放置在元数据中 |
”llm” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
[“message”, conversation_mode] | tags |
conversation_id | conversation_id in metadata |
消息追踪信息
用于追踪对话审核
审核 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
”moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“moderation”] | tags |
审核追踪信息
用于追踪建议问题
建议问题 | Opik LLM |
---|---|
user_id | - 放置在元数据中 |
”suggested_question” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“suggested_question”] | tags |
消息追踪信息
用于追踪知识库检索
数据集检索 | Opik Retriever |
---|---|
user_id | - 放置在元数据中 |
”dataset_retrieval” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“dataset_retrieval”] | tags |
message_id | parent_run_id |
数据集检索追踪信息
用于追踪工具调用
工具 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“tool”, tool_name] | tags |
用于追踪对话标题生成
生成名称 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
”generate_conversation_name” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“generate_name”] | tags |
生成名称追踪信息
Opik 是一个开源的 LLM 评估平台,用于评估、测试和监控大型语言模型(LLM)应用。它由 Comet 开发,旨在促进对基于 LLM 的应用程序进行更直观的协作、测试和监控。
如需了解更多详情,请参考 Opik。
从右上角的用户菜单中获取 Opik API 密钥。点击 API Key,然后点击 API Key 进行复制:
在 Dify 应用程序中配置 Opik。打开需要监控的应用程序,在侧边菜单中打开监控,并在页面上选择追踪应用性能。
点击配置后,将在 Opik 中创建的 API Key 和项目名称粘贴到配置中并保存。
成功保存后,你可以在当前页面查看监控状态。
配置完成后,你可以照常调试或使用 Dify 应用程序。所有使用历史都可以在 Opik 中监控。
当你切换到 Opik 时,可以在仪表板中查看 Dify 应用程序的详细操作日志。
通过 Opik 的详细 LLM 操作日志将帮助你优化 Dify 应用程序的性能。
用于追踪工作流和对话流
工作流 | Opik 追踪 |
---|---|
workflow_app_log_id/workflow_run_id | id |
user_session_id | - 放置在元数据中 |
workflow_{id} | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
error | error |
[workflow] | tags |
conversation_id/none for workflow | conversation_id in metadata |
工作流追踪信息
用于追踪 LLM 相关对话
聊天 | Opik LLM |
---|---|
message_id | id |
user_session_id | - 放置在元数据中 |
”llm” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
Model token consumption | usage_metadata |
metadata | metadata |
[“message”, conversation_mode] | tags |
conversation_id | conversation_id in metadata |
消息追踪信息
用于追踪对话审核
审核 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
”moderation” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“moderation”] | tags |
审核追踪信息
用于追踪建议问题
建议问题 | Opik LLM |
---|---|
user_id | - 放置在元数据中 |
”suggested_question” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“suggested_question”] | tags |
消息追踪信息
用于追踪知识库检索
数据集检索 | Opik Retriever |
---|---|
user_id | - 放置在元数据中 |
”dataset_retrieval” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“dataset_retrieval”] | tags |
message_id | parent_run_id |
数据集检索追踪信息
用于追踪工具调用
工具 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
tool_name | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“tool”, tool_name] | tags |
用于追踪对话标题生成
生成名称 | Opik Tool |
---|---|
user_id | - 放置在元数据中 |
”generate_conversation_name” | name |
start_time | start_time |
end_time | end_time |
inputs | inputs |
outputs | outputs |
metadata | metadata |
[“generate_name”] | tags |
生成名称追踪信息