EclipseベースのスクレイピングIDE「WebSundew」

WebSundewの構成要素

WebSundewによるスクレイピング処理の構成要素として、「Webマクロ」、「ページパターン」、「データパターン」、「データビュー」、「データソース」、「エクストラクション」があります。それぞれ、「ページ遷移などの処理を行うマクロ」、「ページ送りのリンクを抽出するためのパターン」、「データ項目を抽出するためのパターン」、「抽出データの書式」、「抽出データの出力形式」、「抽出処理の定義」となっています。

Webマクロの定義

Googleの検索結果のページを対象とした簡単な利用例になります。今回はサイトのタイトルと概要を1組として、検索結果1ページから複数のデータを抽出してみます。

まず、アドレスバーにアドレスを入力して対象のページを開きます。「Record」ボタンをクリックし、すぐに「Stop」ボタンをクリックしてWebマクロを記録します。ウィンドウが開くので必要な設定をして閉じます。

データパターンの定義

「New Data Pattern」ボタンから「Data Iterators」→「Simple Iterator」をクリックします。ページ上をクリックして、抽出したい複数のデータ全体を囲んでいる要素を選択して「Next」ボタンをクリックします。抽出したい項目を1組分のみ「Add」ボタンで追加していきます。「Next」ボタンを押すと、自動的に複数のデータが選択されるので、確認して「Nextボタン」をクリックします。その後も必要な設定をしてウィンドウを閉じます。

データビューの定義

「New Data View」ボタンをクリックし、「Data Pattern」から先ほどのデータパターンを選択します。その後も必要な設定をしてウィンドウを閉じます。

データソースの定義

「New Data View」ボタンから出力形式を選択します(Excelにしました)。「Data View」から先ほどのデータビューを選択します。その後も必要な設定をしてウィンドウを閉じます。

エクストラクションの定義

「New Extraction」ボタンをクリックします。最初に記録したWebマクロを選択して「Next」ボタンをクリックします。「Data Source」の「Add」ボタンをクリックし、先ほどのデータソースを選択します。その後も必要な設定をしてウィンドウを閉じます。

データの抽出

「Start Extraction」ボタンから先ほどのエクストラクションを選択すると、実際の抽出処理が開始されます。

日本語も問題なく抽出できました。

フリーのスクレイピングIDE「Web-Hervest」

同種のソフトウェアに、フリーで利用できるWeb-Hervestというものもあります〈こちらもEclipseがベースのようです)。XMLを書くことによって、こちらもプログラムを製作するよりは簡単にスクレイピング処理が行えます(再帰的なスクレイピングを行うための関数も同梱されています)。ただし、整形・出力処理はJavaの知識がないと難しいかと思います。

PHP製のスクレイピングライブラリ

PHPを利用する場合には、「PHPでのスクレイピングに役立つライブラリ」で紹介しているライブラリ等が利用できます。PHPを利用してスパイダーやクローラーなどを製作する場合には、こちらも参考にしてみてください。