> ## Documentation Index
> Fetch the complete documentation index at: https://docs.dify.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# マルチモーダル検索

> モデルの選択によって変わる、ナレッジベースでの画像のインデックス作成と、画像を使った検索の動作

> このドキュメントは AI によって自動翻訳されています。不正確な部分がある場合は、[英語版](https://docs.dify.ai/en/cloud/use-dify/knowledge-base/multimodal-retrieval.md) を参照してください。

検索で画像を扱えるかどうかは、ナレッジベースに選んだモデルによって決まります。画像を使ってどのような検索をしたいかを起点に、モデルを選んでください。

* **テキストで画像を検索**：テキストの質問で、ナレッジベース内の画像を、写っている内容から見つけます。

  ビジョン対応の **埋め込み** モデルを選びます。「組織図」のような質問で、キャプションや代替テキストのない図も、その内容から見つけられるようになります。

* **画像で画像を検索**：添付した画像で、ナレッジベース内の見た目が似た画像を見つけます。

  ビジョン対応の **埋め込み** モデルを選びます。共通するテキストがなくても、似た画像どうしが一致するようになります。

* **画像でテキストを検索**：添付した画像で、関連するテキストのチャンクを見つけます。

  ビジョン対応の **推論** モデルを選びます。推論モデルが画像の内容を文章で説明し、その説明でテキストを検索します。

3 つすべてを使うには、埋め込みモデルと推論モデルの両方でビジョン対応のモデルを選びます。どちらのモデルも後から **設定** > **検索** で変更できますが、変更するとすべてのドキュメントのインデックスが再作成され、トークンを消費します。

> [!NOTE]
>
> 埋め込みモデルと推論モデルが両方ともテキスト専用だった場合は、切り替えが完了してから対応が必要です。画像を含む各ドキュメントで **再インデックス** をクリックしてください。

## モデルによる画像の扱いの違い

| | 画像の抽出 | テキストで画像を検索 | 画像でテキストを検索 | 画像で画像を検索 |
| :- | :- | :- | :- | :- |
| **両方がビジョン対応** | はい | 見た目と、キャプションまたは代替テキストで見つかる | 「詳細」と「リサーチ」：はい。  「高速」：いいえ。画像のクエリで見つかるのは画像のみ。 | はい |
| **埋め込みモデルのみ** | はい | 見た目と、キャプションまたは代替テキストで見つかる | いいえ | はい |
| **推論モデルのみ** | はい | キャプションまたは代替テキストでのみ見つかる | はい | いいえ |
| **どちらも非対応** | Markdown と HTML：キャプションまたは代替テキストのみ。  Office ファイル：いいえ。 | キャプションまたは代替テキストでのみ見つかる | いいえ。  画像だけのクエリは失敗し、テキストのクエリに添付した画像は無視される。 | いいえ |

Markdown ファイルと HTML ファイルでは、画像のキャプションと代替テキストは、どのモデルを選んでも検索対象になります。そのため、キャプションをきちんと付けたソースは、どの組み合わせでも画像の検索精度を高めます。

> [!NOTE]
>
> * PDF ファイル内の画像に含まれるテキストは、どちらかのモデルが画像に対応していれば読み取られます。
> * Word、PowerPoint、Excel ファイル内の画像に含まれるテキストは読み取られません。ユーザーが検索しそうな内容は、画像の周りの本文に書いてください。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.