> ## Documentation Index
> Fetch the complete documentation index at: https://docs.dify.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 多模态检索

> 所选模型如何影响知识库中图片的索引与检索

> 本文档由 AI 自动翻译。如有任何不准确之处，请参考 [英文原版](https://docs.dify.ai/en/cloud/use-dify/knowledge-base/multimodal-retrieval.md)。

检索能否处理图片，取决于知识库所选的模型。可以先确定你希望检索怎样处理图片：

* **以文搜图**：用文字提问，按画面内容找到知识库中的图片。

  选择支持视觉的 **嵌入模型**。这样一来，像「组织架构图」这样的问题，即使对应的图表没有图注或替代文本，也能按画面内容匹配到它。

* **以图搜图**：用附加的图片，找到知识库中外观相似的图片。

  选择支持视觉的 **嵌入模型**，相似的图片即使没有共同的文字，也能相互匹配。

* **以图搜文**：用附加的图片，找到相关的文本分段。

  选择支持视觉的 **推理模型**。它会用文字描述图片，再用这段描述检索文本。

三种方式都需要时，嵌入模型和推理模型都要选择支持视觉的。两个模型之后都可在 **设置** > **检索** 中更换，但更换会重新索引所有文档，并消耗 token。

> [!NOTE]
>
> 如果原先两个模型都只支持文本，切换完成后，需在每个含图片的文档上点击 **重新索引**。

## 模型对图片处理的影响

| | 提取图片 | 以文搜图 | 以图搜文 | 以图搜图 |
| :- | :- | :- | :- | :- |
| **两者都支持视觉** | 是 | 按画面内容，以及图注或替代文本 | 「深度」和「研究」：是。 「快速」：否，图片查询只能找到图片。 | 是 |
| **仅嵌入模型支持** | 是 | 按画面内容，以及图注或替代文本 | 否 | 是 |
| **仅推理模型支持** | 是 | 仅按图注或替代文本 | 是 | 否 |
| **两者都不支持** | Markdown 和 HTML：仅保留图注或替代文本。 Office 文件：否。 | 仅按图注或替代文本 | 否。 只含图片的查询会失败，文字查询中附带的图片会被忽略。 | 否 |

无论选择哪种模型，Markdown 和 HTML 文件中图片的图注和替代文本都能被检索到。因此，只要源内容的图注写得好，任何模型组合下的图片检索效果都会更好。

> [!NOTE]
>
> * 只要任一模型支持图片输入，就会读取 PDF 文件中图片里的文字。
> * Word、PowerPoint 和 Excel 文件中图片里的文字不会被读取，因此用户可能会搜索的内容，应写在图片周围的正文中。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.