この募集は2021年01月04日に終了しました。

データの抽出クローリング・スクレイピングの仕事の仕事 [IT・通信・インターネット]

見積もり募集の結果

募集期間

7日間

提案数

14件

閲覧数

587回

見積もりを提案しているランサー(一部)

見積もり募集の内容

依頼主の業種
IT・通信・インターネット
依頼の目的・背景
多数のクローリング・スクレイピングしたいサイトがありますので、募集いたしております

【納期目安】契約後、1週間程度

【予算】難易度に応じて1〜3万円程度

【重視する点・開発経験】クローリング、スクレイピングのご経験

【 応募に関して 】簡単な自己紹介や実績をご提示ください。

【環境/納品物】
・使用言語 : python
・想定利用モジュール : requests, lxml, beautiful soap等 requirements.txt に記載。
・可能な限りCLIでお願いします(webdriverの利用は事前相談ください)
・scrapy等のフレームワーク利用については事前相談ください。
・開発環境 : 基本ローカルにて実行&CSV生成をお願いします。
・納品物 : ソースファイル、requirements.txt、CSVファイル、その他実行に必要な資料等(md形式でOK)

【お願いするサイト/取得項目/CSV等の共有について】
・ご契約者様に、google spread sheet等、クラウドサービスを利用して詳細を共有いたします。
・納品CSVフォーマット(文字コード、改行コード、デリミタ、エンクロージャ)及びサンプルファイルを準備し共有いたします。
・取得項目一覧をご用意します。(サイトによって取得できる項目が変動します)

【実装に関して】
・大きく2つのスクリプトファイルを作成してください(class化, module化は歓迎します)
・例外発生時は、メッセージPUSH実装を行いますので、例外実装は必須とします。
・CSVに出力する内容は変数に入れてください

1.詳細URLの取得処理
一覧ページ等から詳細URLと価格の取得を行いCSV出力。

2.詳細URLのscrape処理
htmlを取得する関数、scrapeする関数をそれぞれ作成してください。
最終的なscrape結果は、CSV出力をお願いします。
サイトの種類
ポータルサイト
作業範囲
ランサーに相談して決めたい
用意してあるもの
  • 仕様書
参考URL
設定なし
希望開発言語
Python
フレームワーク
ランサーに相談して決めたい
開発の継続性
この開発の後も、継続的に依頼したいと思っております。
補足説明
・例外実装必須。
・URLアクセスの際のリトライ処理実装必須。
・UIは不要です。
・対象サーバへの負荷を考慮しスリープを行ってください。(1アクセスごとに1秒ウェイト)
・開発完了後は、常駐エンジニアにて保守を行いますが、必要に応じて納品物のサポートをお願いすることがあります。(納品完了後は別途依頼いたします)
依頼公開後の追記内容
プロジェクトをキャンセルしました