著者：Steven Lynn. Difyのテクニカルライター

​
はじめに

Difyでは、WebページをLLM（大規模言語モデル）が読み取れるMarkdown形式に変換するためのクローラーツール、例えばJinaを利用できます。 最近、wordware.aiが、クローラーを使ってソーシャルメディアをデータ収集し、LLM分析用の面白いアプリケーションを開発できることを教えてくれました。このアプリケーションは、特にデータ分析や洞察を提供するために設計されています。 しかし、かつてTwitterとして知られていた「X」は、2023年2月2日以降、無料のAPIアクセスを提供しなくなり、それに続いてクローリング対策を強化しました。そのため、JinaのようなツールはXのコンテンツに直接アクセスすることができなくなっています。
2023年2月9日から、Twitter APIの無料アクセスは終了し、v2およびv1.1のサポートも行われなくなります。代わりに、有料の基本プランが提供されます。 🧵 — Developers (@XDevelopers) February 2, 2023
幸いなことに、DifyにはHTTPツールがあり、これを使用して外部のクローリングツールにHTTPリクエストを送信できます。それでは、始めていきましょう！

​
前提条件

​
Crawlbaseの登録

Crawlbaseは、ビジネスや開発者向けに設計されたデータクローリングとスクレイピングのプラットフォームです。このツールを使うことで、X、Facebook、Instagramなどのソーシャルメディアプラットフォームからデータを収集できます。 登録は以下のリンクから行えます：crawlbase.com

​
Difyのローカル展開

DifyはオープンソースのLLMアプリケーション開発プラットフォームで、クラウドサービスを利用するか、docker composeを使用してローカルに展開できます。 この記事では、ローカル展開を希望しない方のために、無料のDify Cloudサンドボックスアカウントをこちらから登録する方法を紹介します：https://cloud.dify.ai/signin。
Dify Cloud Sandboxのユーザーは、200の無料クレジットを取得できます。これは、200のGPT-3.5メッセージまたは20のGPT-4メッセージに相当します。
以下は、Difyを展開するための簡単な手順です：

​
Difyをクローン

git clone https://github.com/langgenius/dify.git

​
Difyを起動

cd dify/docker
cp .env.example .env
docker compose up -d

​
LLMプロバイダーの設定

アカウント設定にて、モデルプロバイダーを設定してください：
LLMプロバイダー設定画面1LLMプロバイダー設定画面2

​
チャットフローの作成

それでは、チャットフローの作成を始めましょう。 最初から作成をクリックして、新しいフローの作成を開始します：
チャットフロー作成画面1チャットフロー作成画面2
初期化されたチャットフローは以下のようになります：
初期化されたチャットフロー画面1初期化されたチャットフロー画面2

​
チャットフローにノードを追加

チャットフローノード追加画面最終的なチャットフロー

​
開始ノード

開始ノードでは、チャットの最初にシステム変数を追加できます。このプロセスでは、TwitterユーザーのIDを文字列型の変数として使用します。変数名をidとしましょう。 開始ノードをクリックして、新しい変数を追加します： 開始ノードの変数追加

​
コードノード

Crawlbaseのドキュメントによれば、次のノードで使用する変数urlはhttps://twitter.com/にユーザーIDを加えた形にする必要があります。例えば、Elon MuskのユーザーIDの場合はhttps://twitter.com/elonmuskとなります。 ユーザーIDを完全なURLに変換するためには、以下のPythonコードを使用して、プレフィックスhttps://twitter.com/とユーザーIDを結合します： 
def main(id: str) -> dict:
    return {
        "url": f"https://twitter.com/{id}"
    }
セキュリティ上の観点から、トークン値を平文で直接入力することは避けるべきです。これは推奨されるベストプラクティスではありません。実際、Difyの最新バージョンでは、トークン値を環境変数に設定できるようになっています。envをクリックしてAdd Variableを選択し、トークン値を設定すると、ノードに平文が表示されなくなります。 あなたのCrawlbase APIキーについては、こちらで確認できます。
API設定画面1API設定画面2
/を入力することで、APIキーを簡単に変数として挿入できます。
APIキー変数設定画面1APIキー変数設定画面2
このノードが正しく動作するか確認するために、ノードの開始ボタンをタップしてください：
ノード動作確認画面LLMノード設定画面

​
LLMノード

さて、Crawlbaseによってスクレイピングされた結果を分析し、コマンドを実行するためにLLMを使用できます。 値contextはHTTPリクエストノードからのbodyでなければなりません。 以下はサンプルのシステムプロンプトです。

​
テスト実行

プレビューをクリックしてテスト実行を開始し、idにTwitterユーザーIDを入力してください。
テスト実行画面1テスト実行画面2
例えば、Elon Muskのツイートを分析し、彼の口調で地球温暖化についてのツイートを書きたいと思います。 Elon Muskの口調分析結果 これはElonらしいですか？笑 右上隅にある公開をクリックして、あなたのWebサイトに追加してください。 楽しんでください！

​
最後に…

​
他のX(Twitter)クローラー

この記事では、Crawlbaseを紹介しました。これはおそらく利用可能な最も安価なTwitterクローラーサービスですが、時々ユーザーのツイートの内容を正しくスクレイピングできないことがあります。 以前に紹介したwordware.aiが使用しているTwitterクローラーサービスはTweet Scraper V2ですが、ホストされているプラットフォームapifyのサブスクリプションは月額49ドルです。

​
リンク

このページを編集する | 問題を報告する