ナレッジパイプラインの作成

ナレッジパイプラインは、生データを検索可能なナレッジベースへと変換するためのドキュメント処理ワークフローです。ワークフローを組み立てるように、さまざまな処理ノードやツールを視覚的に組み合わせて設定し、データ処理の精度や関連性を最適化できます。普通の場合、ナレッジパイプラインは次の4つの主要ステップで構成されます。 データソース → データ抽出 → データ処理 → ナレッジストレージ それぞれのステップは特定の目的を担っています。各種ソースからコンテンツを収集し、処理可能なテキストに変換、検索に適した形へ整え、高速かつ正確な検索が可能なフォーマットで保存します。 Difyには特定の用途に最適化されたパイプラインテンプレートが組み込まれているほか、ゼロから独自のナレッジパイプラインを作成することも可能です。本章では、作成方法、全体の流れ、管理方法について解説します。