スクレイピングツールについて

回答者コメント

①そもそも可能でしょうか？
前提：プログラムを作ることを前提に書いています。
例えば、楽天市場の場合、店名やメールアドレスが各店のトップページに掲載されている場合や、会社概要のページに記載されている場合など統一されていないと思います。
楽天市場トップ > 全商品一覧から、全リンクをたどって商品一覧からさらにリンクをたどり、各店舗のページに行き着いたとしても、店名、メールアドレスの記載ページが固定されていないため、困難だと思います。
別の方法として、「楽天市場　会社概要」のキーワードで、Web検索を掛けて、会社概要ページを取得し、ページ内をキーワード「株式会社」や「有限会社」などで検索すれば、ある程度取得できると思います。メールアドレスは「@」で検索すれば見つけられると思います。
100％確実には、難しいですね。
人手でやれば、確度はあがりますが、大変労力が掛かりますね。

②作業開始から納期の期間の目安は？
未回答とさせてください。

③作業料金の目安は？
未回答とさせてください。

回答者コメント

はじめまして。

ご相談の件は以下のとおりです。

①そもそも可能でしょうか？

　可能ですが、全データを収集するのにかなりの時間が掛かってしまい、
　現実的ではないと思います。
　現実的な日数（無いし時間）で結果を出すためには多数のマシンで並列して
　処理を行えば十分可能です。

　他の方も書かれていますが、メールアドレスが表示される部分が固定されていないのであれば
　全件データを取ってきてその中からメールアドレスを抽出する必要があります。


②作業開始から納期の期間の目安は？

　品質次第です。
　例えば、「楽天」と「ヤフーショッピング」のそれぞれの全店舗名＋連絡先アドレスを
　必要とする。という場合であれば、数日~数週間(数ヶ月）掛けてデータを集めてきます。
　
即ち、数日~数週間(数ヶ月）となります。


③作業料金の目安は？

　希望納期見合いですが、仮に６ヶ月掛けて良いということであれば数万円程度ですが
　数日でということであれば、処理を行うサーバや並列処理なども加わってきますので
　数十万~数百万規模だと思います。



.......とここまで書いておきながらなんですが、既にそれらを生業としている業者が
いますので、ご利用されてはどうでしょうか？（\6,000~）です。

ネットショップ店舗リスト
http://climb-factory.com/data/webshoplist/

回答者コメント

業者がいるんですね。
データを買ったほうが、はるかに安いですね。