指定のWebサイトをスクレイピングし、データを自動収集します
業務内容
▼こんな方にオススメ
Amazonなどの通販サイトや不動産サイトの何千〜何万件のデータを収集してビジネスに活用したいが、手動では到底無理だし、プログラムで自動化しようにもやっぱりよくわからない。手軽に低価格で誰かに仕組みを作ってほしい！そんな方に初回データ収集の代行と、ご希望であればオプションでクリックで起動できるアプリケーション（PCソフト）を提供します。
▼スクレイピング対象サイト事例
・通販サイト（Amazon等）
・求人サイト（リクナビ、マイナビ等）
・不動産サイト（アットホーム等）
▼納品物
・初回収集データ（CSVファイル or Googleスプレッドシート等）
・（オプション）スクレイピングプログラム + マニュアル
・（オプション）クリックで起動できるアプリケーション(Mac/Windows) + マニュアル
▼ご購入後の流れ
- メッセージやビデオMTGなどでご希望のデータ収集先や要件、仕様を擦り合わせ
- プログラムの開発
- 数十件のお試しデータお送りし認識合わせ
- 初回全件スクレイピング実行（1~3日）
- 初回データの検証やプログラムの修正
- データのチェックや整形
- 納品とご利用案内
注意点
・サイトによってはスクレイピングが禁止されているものもあります。
・対象サイトのデータ自体が正確性や網羅性（データ欠損）において完璧でないことは多いため、収集できるデータの信頼性はそのサイトのデータ品質によります。
・あくまでスクレイピングによるデータ収集の代行サービスのため、正確で網羅的なデータの販売ではありません。
・Webというのは色んな外部要因にも左右されるため、対象サイトのデータ収集成功率は98%程度とお考えください。
・データのチェックは重要なポイントを中心に行いますが、100%ミスなしは難しいので努力目標となります。
・Twitterなどのリアルタイムでアップデートしたり情報量が膨大なSNS系は難しいです。
・メルカリ等の出品検知や価格変更検知などはスクレイピングとは別の話になるので別途相談ください。
その他
※robots.txtなどのスクレイピングにあたる規約やマナーを順守します。そのためスクレイピングが禁止されているなどでお受けできないことがあります。
