JSON形式での出力

JSON形式での出力

DifyはLLMツールチェーンプラットフォームとして、JSON形式での出力機能をサポートしています。この機能により、LLMから返されるデータの形式が利用しやすく、安定し、予測可能になります。エラー処理やフォーマット変換の手間を削減できます。

利点

• データ形式の整合性確保: LLMがコンテンツを生成する場合でも、事前に設定された形式に準拠し、データの不整合を防ぎます。

• 後続処理の簡素化: データベース、APIまたはフロントエンドは、追加のデータクレンジングなしでJSONスキーマを直接解析できます。

• ローコード開発の効率化: 開発者は複雑なデータ検証ロジックを手書きする必要がなく、JSONスキーマを使用して出力を制限できます。

JSON形式での出力の実装方法

Difyの操作画面では、次の2つの方法でJSON形式での出力を実装できます。

• 方法1: ツール設定を直接行う

• 方法2: LLMノードのJSONスキーマエディタを使用する

方法1: ツール設定を直接行う

Tool(ツール) > データ構造 > 出力変数の定義を参照してください。

方法2: LLMノードのJSONスキーマエディタを使用する

LLM > 高級機能 > 構造化出力 と LLM > 活用事例 > 構造化出力を参照してください。

例外処理

例外状況

JSONスキーマエディタを使用して構造化出力を行う際に、以下の制限や例外状況が発生する可能性があります。

• モデルの能力制限: 一部のLLM(特に70B以下のモデル、またはGPT-3.5Turbo相当のモデル)は、指示への追従性が低いため、JSONスキーマの解析に失敗する可能性があります。

• 形式の互換性: 一部のLLMはJSONモードのみをサポートし、JSONスキーマをサポートしていないため、厳密なスキーマ解析に失敗する可能性があります。

• エラーメッセージ: Failed to parse structured output: output is not a valid json strというエラーが発生します。この種のエラーは、主にモデルがJSONの生成に失敗したことが原因です。

推奨される対処方法

1. JSONスキーマをサポートするモデルを優先的に使用する: 推奨リストは以下のとおりです。

   • Gemini2.0Flash/Flash-Lite

   • Gemini1.5Flash8B(0827/0924)

   • Gemini-1.5pro

   • GPT-4o

   • GPT-4o-mini

   • o1-mini/o3-miniシリーズ

2. システムプロンプトを適切に調整する: 指示への追従性を高め、LLMの出力がスキーマ規範に準拠するように、システムプロンプトを調整してください。例えば、JSONスキーマが数式の構造化を目的としているのに、法律条文の解析を指示すると、モデルがタスクを正しく理解できず、出力の精度が低下する可能性があります。

3. 例外処理ポリシーを設定する: 解析に失敗した場合、以下の対策を検討できます。

   1. 再試行設定: ノード内で再試行設定を有効にし、最大再試行回数と再試行間隔を設定して、解析エラーの影響を軽減します。

   2. エラー時の処理を設定する: ノード内の例外処理でエラー時の処理を設定します。ノードで例外が発生すると、エラー時の処理が自動的に実行されます。

エラー処理を参照してください。