リコールテスト/引用帰属
Last updated
Last updated
Difyナレッジベースには、異なる検索方法とパラメータ設定におけるリコール効果をデバッグするためのリコールテスト機能が提供されています。ソーステキスト入力欄に一般的なユーザーの質問を入力し、テストをクリックして右側のリコールパラグラフでリコール結果を確認できます。最近のクエリでは、過去のクエリ履歴を確認でき、ナレッジベースがアプリケーション内に関連付けられている場合、アプリケーション内からトリガーされたナレッジベースクエリもここで確認できます。
ソーステキスト入力欄の右上のアイコンをクリックすると、現在のナレッジベースの検索方法と具体的なパラメータを変更できます。保存後はリコールテストのデバッグ中のみ有効です。リコールテストを完了し、ナレッジベースの検索パラメータの変更を確認する際には、ナレッジベース設定 > 検索設定で変更を行う必要があります。
リコールテストの推奨ステップ：
一般的なユーザーの質問をカバーするテストケース/テスト問題集を設計・整理する。
適切な検索戦略を選択する：ベクトル検索/全文検索/ハイブリッド検索。各検索方法の利点と欠点については、拡張読み物検索拡張生成（RAG）を参照してください。
リコールパラグラフ数（TopK）とリコールスコア閾値（Score）をデバッグする。アプリケーションシナリオやドキュメント自体の品質に応じて適切なパラメータの組み合わせを選択する必要があります。
TopK値とリコールスコア閾値（Score）の設定方法
TopKは、類似スコアの降順でリコールされるパラグラフの最大数を表します。TopK値を小さくすると、リコールされるパラグラフが少なくなり、関連するテキストが不完全になる可能性があります。TopK値を大きくすると、リコールされるパラグラフが多くなり、意味的に関連性の低いパラグラフが含まれる可能性があり、LLMの応答品質が低下することがあります。
リコールスコア閾値（Score）は、リコールされるパラグラフの最低類似スコアを表します。リコールスコアを小さくすると、リコールされるパラグラフが増え、関連度の低いパラグラフが含まれる可能性があります。リコールスコア閾値を大きくすると、リコールされるパラグラフが少なくなり、過大な場合は関連するパラグラフを失う可能性があります。
アプリケーション内でナレッジベースの効果をテストする際、スタジオ -- 機能追加 -- 引用と帰属に進み、引用と帰属機能を有効にします。
機能を有効にすると、大規模言語モデルが質問に回答する際にナレッジベースからの内容を引用した場合、返信内容の下に具体的な引用段落情報を確認できます。これには元のパラグラフテキスト、パラグラフ番号、マッチ度などが含まれます。引用段落上部のナレッジベースにジャンプをクリックすると、開発者がデバッグ編集を行いやすいように、そのパラグラフが含まれるナレッジベースのパラグラフリストに簡単にアクセスできます。
