指定のWebサイトをスクレイピングし、データを自動収集します
業務内容
Pythonを用いてWeb上からデータ収集を行います。
基本的にはcsvファイルの納品となりますが、Googleスプレッドシートなど納品形式は相談可能です。
スクレイピングサイト例
・求人サイト(リクナビ、マイナビ等)
・通販サイト(Amazon等)
Scrapy(Python)を活用したスクレイピング(1ヶ月の保守サポート付き)
業務内容
基本セット(19,800円)として以下を提供いたします。
■Docker + Python + poetry + Scrapy によるモダンなクローラの開発/実行環境
・Docker, poetryにより実行環境を選ばない形でクローラを作成
・Scrapyによりメンテナンスしやすく、複数サイトでの並列実行がしやすいプログラムを提供
・お客様環境(Win/Mac/Linux)での動作確認サポート(ビデオチャット可)を含む
■1サイト分のデータ取得Spider作成
・CSVもしくはJSON形式による出力
■動作確認(5営業日分のデータにおいて動作に問題がないことを確認)
・初回保守サポート(納品後)1ヶ月
以下はオプションとさせていただきますので、基本セットと同時、もしくは基本セットでの成果物に
ご満足頂いてから、別途ご注文承ければ幸いです。
■GitHub Actionsを用いた定期実行 (5,000円)
・お客様が実行環境を用意する必要なく、成果物だけ取得できるようにするものです
■CSV/JSON以外の形式(xlsx, google spreadsheetなど)への出力(5,000円〜)
■1サイト追加(10,000円)
・延長保守(2,000円 / 1h)
■他、応相談
ポートフォリオにはスクレイピングを活用した自作のWebサービスがありますので、参考にしていただければ幸いです。