サービス内容

【概要】
特定のWebページにアクセスし、指定HTML要素の情報を抽出、ローカルに保存するツールを開発致します。

【ツール形式】
・Node.jsによるコマンドライン形式
・アクセスURLと保存形式は予め設定ファイルで指定(変更可能)
・取得要素は開発時に指定

【機能一覧】
1.複数Webページの取得対応
 URLが異なる以下のようなページの一括取得が可能です。
 http://www.aaa.com/A.htmlhttp://www.aaa.com/B.html....
2.シナリオ実行対応
 Aページにリクエスト後、リンクをクリックしてBページへ遷移し、情報取得を実施する等に対応
3.特定リクエストの順次実行及びインターバル指定の対応
 以下のURLでパラメータを替えて順次実行して取得したい等の対応が可能
 その際、1リクエスト実行後にインターバル秒数も指定可能
 http://www.aaa.com/foo?id=1
4.特定リクエストのパラレル実行及び同時実行数指定の対応 以下のURLでパラメータを替えてパラレル実行して取得したい等の対応が可能
 その際、同時実行可能数と実行後にインターバル秒数も指定可能
 http://www.aaa.com/foo?id=1
5.保存形式は以下を対応
 CSV、TSV、JSON、MongoDB
 その他のRDBも対応可能
6.処理状況のコンソール出力、ログファイル出力対応
 log4js設定ファイルにより出力レベルやメッセージ形式変更可能
 メール送信も対応可能

【注意事項】
・当ツールはNode.jsのcheerio-httpcliを使用したものです。
 SPAページのJavaScript実行後のリクエスト等には対応できません。
・要素の指定にid属性、class属性等CSSセレクターを使用しますが、idやclassが動的に変更されるページはスクレイピングできません。
 ・スクレイピングを明示的に禁止しているサイトは対応できません。
・上記以外の保存形式が必要な場合は別途カスタマイズが必要です。
・処理状況のはデフォルトでコンソール及びログファイルに出力されます。
 メッセージ形式は以下の形式になります。変更可能です。
 [YYYY-MM-DDTHH:mm:ss.mi] [DEBUG/INFO/ERROR] (hashvalue) - (メッセージ内容)
・上記以外の機能についてもご相談お受け致します。(料金別途)

購入時のお願い

以下の情報をメッセージで送信してください。
①抽出対象のホームページURL
 例:https://www.hoge.com/product.html
②抽出する具体的なデータ
 例:ページ内の商品名、商品説明のテキスト。<p>タグの内容。
③出力ファイル形式
 例:CSV形式
 サンプルが有れば一緒に送付ください。

購入受付時間

  • 0
  • 3
  • 6
  • 9
  • 12
  • 15
  • 18
  • 21
  • 24
まだ評価はありません

出品ランサー

c-ja 本人確認済

/ 東京都 / 40代前半

評価 納品率
5.0 94%
実績 16 件