クローラ、スクレイピングプログラムの開発の仕事

見積もり募集の結果

実際の発注内容

依頼の予算

5,000 円 ~ 50,000 円

実際の支払い金額

50,000 円 ~ 60,000 円

製作期間

3日

実際の受注者

H. Umehara

本人確認 IT系業務経験20年以上、要件定義から開発・環境構築作業まで幅広く対応いたします。

• 希望時間単価 ---
• 実績 34
• 評価満足率 100 %
• プロジェクト完了率 100%

• 機密保持
• 本人確認
• 電話

1998年よりフリーランスとなり要件定義から開発・環境構築作業など行なっています。 会計・給与・販売管理等の業務システムから計測端末監視システム・大手家電メーカー会員サイトなど幅広い業務に対応してきました。 最近はPythonでの開発を中心に行ってます。 　- FastAPI, Pyramid, bottle 　- SQLAlchemy 　- Luigi 　- Panda... 続きを読む

スキル

Python

Elm

... もっと見る

発注者の声

こちらの説明不足だったにも関わらず、嫌な顔（実際は見えてませんが、そのように思わせるほどの）一つ見せず対応していただけました。 とても助かりました。有難うございます。

見積もり募集の内容

• 納期
• 予算

概要・特徴

（例）インターネットサービスを提供している会社です。企業コンセプトは「リアルとネットの架け橋」です。ターゲットは、インターネットを利用する個人の方です。

依頼詳細

（例）運営している法人サイトにお問い合わせフォームを設置したいと考えております。問い合わせを受け付け、メール送信ができるだけの簡単なCGIを希望しています。

必要な機能

■クロールしたいサイト
イケアの商品カタログ
http://ikea.com/jp/ja/

■設定ファイルにて下記の設定が可能（Config.ini,xmlなどフォーマットは任せますが、Vi等で編集できるフォーマットで）
・サイトアドレス
・モード：新規追加（全部ひっぱってくる）、更新（前回とったアドレスリストと比較して、新しいものだけ追加）、比較（前回とったアドレスリストと比較して、無くなっているもの、いわゆる”廃番”のものをリスト化）
・巡回の間隔（攻撃にならないように設定できるように配慮）
・一度にとってくるページ数の指定（これもクロール先のサーバーに負荷がかからないように配慮）
・画像ダウンロード先：相対パスでも絶対パスでもどちらでも


■CSVについて
・取得したいデータはCSVにて出力
・取得内容は下記の通り
　１．商品名（H1タグより取得）
　２．色（１に含まれているものを分離）
　３．価格
　４．商品番号
　５．概要
　６．商品説明
　７．重量（商品説明の中に含まれているものを分離）

画像ダウンロードについて
・画像をダウンロード：商品ページにある画像を指定フォルダにダウンロード

発注確度

予算次第

補足説明

設定なし

5000円～50000円に設定してますが、予算的にはもう少し大丈夫です。
（5000円～50000円しか設定できなかったため）
幅的には0円～10万円とお考えください。
5万円以上でも6万でも7万でも、提案時にご提示ください。
よろしくお願いします。

概要・特徴、依頼詳細がそのままサンプルになってしまっておりました。
概要・特徴：代行販売のサイトへの商品登録用のCSV作成、画像ダウンロード
依頼詳細：レンタルサーバー（VPS、Ubuntu11.04）にて動作可能なプログラム
・開発言語：PHP5以上（PHPは既に構築済みなため）、Java等の場合はこちらから構築時に質問させていただく可能性がありますので、そのサポートも必要とお考えください。
・クロール先のリストの比較、管理等用にMySQL等を使用してでも構いません
・プログラムはモジュールごとに分かれても構いません。（むしろメンテナンス等でそちらのほうがいいかもしれません）
・コマンドラインからの動作でかまいません。
■動作環境：レンタルサーバー（VPS,Ubuntu）

すいませんひとつ忘れておりました。
取得したいデータで、カテゴリ名も追加します。
商品HP上からカテゴリは表示されてますので、取得できると思いますが、取得したい形式が
カテゴリ名親/カテゴリ名子/カテゴリ名孫
のような感じです。
ただ複数のカテゴリにまたがった商品があり、その場合の処理は
カテゴリ名親A/カテゴリ名子A/カテゴリ名孫A;;カテゴリ名親B/カテゴリ名子B/カテゴリ名孫B
が理想なのですが、無理であれば
カテゴリ名親/カテゴリ名子/カテゴリ名孫
のみで結構です。