データの抽出クローリング・スクレイピングの仕事の仕事 [IT・通信・インターネット]

見積もり募集の結果

見積もり募集の内容

依頼主の業種

IT・通信・インターネット

依頼の目的・背景

多数のクローリング・スクレイピングしたいサイトがありますので、募集いたしております

【納期目安】契約後、1週間程度

【予算】難易度に応じて１〜３万円程度

【重視する点・開発経験】クローリング、スクレイピングのご経験

【 応募に関して 】簡単な自己紹介や実績をご提示ください。

【環境/納品物】
・使用言語 : python
・想定利用モジュール : requests, lxml, beautiful soap等 requirements.txt に記載。
・可能な限りCLIでお願いします(webdriverの利用は事前相談ください)
・scrapy等のフレームワーク利用については事前相談ください。
・開発環境 : 基本ローカルにて実行＆CSV生成をお願いします。
・納品物 : ソースファイル、requirements.txt、CSVファイル、その他実行に必要な資料等(md形式でOK）

【お願いするサイト/取得項目/CSV等の共有について】
・ご契約者様に、google spread sheet等、クラウドサービスを利用して詳細を共有いたします。
・納品CSVフォーマット（文字コード、改行コード、デリミタ、エンクロージャ）及びサンプルファイルを準備し共有いたします。
・取得項目一覧をご用意します。（サイトによって取得できる項目が変動します）

【実装に関して】
・大きく２つのスクリプトファイルを作成してください(class化, module化は歓迎します）
・例外発生時は、メッセージPUSH実装を行いますので、例外実装は必須とします。
・CSVに出力する内容は変数に入れてください

１．詳細URLの取得処理
一覧ページ等から詳細URLと価格の取得を行いCSV出力。

２．詳細URLのscrape処理
htmlを取得する関数、scrapeする関数をそれぞれ作成してください。
最終的なscrape結果は、CSV出力をお願いします。

サイトの種類

ポータルサイト

作業範囲

ランサーに相談して決めたい

用意してあるもの

• 仕様書

参考URL

設定なし

希望開発言語

Python

フレームワーク

ランサーに相談して決めたい

開発の継続性

この開発の後も、継続的に依頼したいと思っております。

補足説明

・例外実装必須。
・URLアクセスの際のリトライ処理実装必須。
・UIは不要です。
・対象サーバへの負荷を考慮しスリープを行ってください。（１アクセスごとに１秒ウェイト）
・開発完了後は、常駐エンジニアにて保守を行いますが、必要に応じて納品物のサポートをお願いすることがあります。（納品完了後は別途依頼いたします）

プロジェクトをキャンセルしました