LLM
定义
调用大语言模型回答问题或者处理自然语言。
场景
LLM 是 Chatflow/Workflow 的核心节点，利用大语言模型的对话/生成/分类/处理等能力，根据给定的提示词处理广泛的任务类型，并能够在工作流的不同环节使用。
意图识别，在客服对话情景中，对用户问题进行意图识别和分类，导向下游不同的流程。
文本生成，在文章生成情景中，作为内容生成的节点，根据主题、关键词生成符合的文本内容。
内容分类，在邮件批处理情景中，对邮件的类型进行自动化分类，如咨询/投诉/垃圾邮件。
文本转换，在文本翻译情景中，将用户提供的文本内容翻译成指定语言。
代码生成，在辅助编程情景中，根据用户的要求生成指定的业务代码，编写测试用例。
RAG，在知识库问答情景中，将检索到的相关知识和用户问题重新组织回复问题。
**图片理解，**使用 vision 能力的多模态模型，能对图像内的信息进行理解和问答。
选择合适的模型，编写提示词，你可以在 Chatflow/Workflow 中构建出强大、可靠的解决方案。
如何配置
配置步骤：
选择模型，Dify 提供了全球主流模型的支持，包括 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Google 的 Gemini 系列等，选择一个模型取决于其推理能力、成本、响应速度、上下文窗口等因素，你需要根据场景需求和任务类型选择合适的模型。
配置模型参数，模型参数用于控制模型的生成结果，例如温度、TopP，最大标记、回复格式等，为了方便选择系统同时提供了 3 套预设参数：创意，平衡和精确。
编写提示词，LLM 节点提供了一个易用的提示词编排页面，选择聊天模型或补全模型，会显示不同的提示词编排结构。
高级设置，可以开关记忆，设置记忆窗口，使用 Jinja-2 模版语言来进行更复杂的提示词等。
如果你是初次使用 Dify ，在 LLM 节点选择模型之前，需要在 系统设置—模型供应商 内提前完成模型配置。
编写提示词
在 LLM 节点内，你可以自定义模型输入提示词。如果选择聊天模型（Chat model），你可以自定义系统提示词（SYSTEM）/用户（USER）/助手（ASSISTANT）三部分内容。
提示生成器
如果在编写系统提示词（SYSTEM）时没有好的头绪，也可以使用提示生成器功能，借助 AI 能力快速生成适合实际业务场景的提示词。
在提示词编辑器中，你可以通过输入**“/”或者“{”呼出变量插入菜单**，将特殊变量块或者上游节点变量插入到提示词中作为上下文内容。
特殊变量说明
上下文变量
上下文变量是 LLM 节点内定义的特殊变量类型，用于在提示词内插入外部检索的文本内容。
在常见的知识库问答应用中，知识库检索的下游节点一般为 LLM 节点，知识检索的输出变量 result 需要配置在 LLM 节点中的 上下文变量 内关联赋值。关联后在提示词的合适位置插入 上下文变量 ，可以将外部检索到的知识插入到提示词中。
该变量除了可以作为 LLM 回复问题时的提示词上下文作为外部知识引入，由于其数据结构中包含了分段引用信息，同时可以支持应用端的 引用与归属 功能。
若上下文变量关联赋值的是上游节点的普通变量，例如开始节点的字符串类型变量，则上下文的变量同样可以作为外部知识引入，但 引用与归属 功能将会失效。
会话历史
为了在文本补全类模型（例如 gpt-3.5-turbo-Instruct）内实现聊天型应用的对话记忆，Dify 在原提示词专家模式（已下线）内设计了会话历史变量，该变量沿用至 Chatflow 的 LLM 节点内，用于在提示词中插入 AI 与用户之间的聊天历史，帮助 LLM 理解对话上文。
会话历史变量应用并不广泛，仅在 Chatflow 中选择文本补全类模型时可以插入使用。
高级功能
**记忆：**开启记忆后问题分类器的每次输入将包含对话中的聊天历史，以帮助 LLM 理解上文，提高对话交互中的问题理解能力。
**记忆窗口：**记忆窗口关闭时，系统会根据模型上下文窗口动态过滤聊天历史的传递数量；打开时用户可以精确控制聊天历史的传递数量（对数）。
**对话角色名设置：**由于模型在训练阶段的差异，不同模型对于角色名的指令遵循程度不同，如 Human/Assistant，Human/AI，人类/助手等等。为适配多模型的提示响应效果，系统提供了对话角色名的设置，修改对话角色名将会修改会话历史的角色前缀。
**Jinja-2 模板：**LLM 的提示词编辑器内支持 Jinja-2 模板语言，允许你借助 Jinja2 这一强大的 Python 模板语言，实现轻量级数据转换和逻辑处理，参考官方文档。
最后更新于
