【フリーランス優遇・長期継続あり】PythonによるWebスクレイピング（商品データ取得） [ ソフトウェア・業務システム開発 の仕事 / 卸売・小売 ]

依頼詳細

依頼の目的・背景

御覧いただきありがとうございます。
弊社はAMAZONや楽天等、ネット通販を主とした会社となります。

今回は、仕入れ先問屋さんの各ウェブサイトの
スクレイピング作業ならびに
仕様書作成やサーバー設置・運用等もしていただける方を募集いたします。

■業務内容---------------------------------------------------

①スクレイピング作業
仕様書を元に、指定問屋のWebサイトから全商品データ（約3,000件～50,000件以上）を収集して
xlsx形式で出力するpythonプログラムを作成し、動作確認及び取得データを提出する。
（すでに複数メンバーで対応中です。）

②サーバー設置、運用
スクレイピングのプログラムをX-ServerやVPS等に設置して毎日定期実行する。
※全商品データを毎日取得しDropboxへアップロードする必要があります。
不具合が発生した際は修正や再開等の対応を行い、毎日安定して取得できるようにする。
（すでに稼働中のスクレイピングも多数あり、他の方が作成したプログラムの設置や
不具合対応も必要になります。）
★Linuxの知識やpython定期実行の経験がある方が望ましいです。

③仕様書作成
他の作業者にスクレイピング作業を依頼するため、仕入れ先候補となるウェブサイトを確認し
効率的かつ安定してスクレイピングできる処理手順や各データの取得仕様を考えて仕様書を作成する。
（サーバー設置後の運用も考慮する。）
★小売業や問屋に関わる基本知識のある方が望ましいです。

現在の問屋数は約40社となり週4～5件ペースで追加を目標にしております。

サイトにもよりますが2日でプログラム作成、
1日で修正、完了を目安目標に作業していただいております。

また、PhantomJSでの動作やwindowsでの定期実行、
その他様々な工夫が必要な場合があるため、 経験ないことでも調べて対応頂ける方が望ましいです。


■勤務時間などの詳細---------------------------------------------

【　応募時、※部分２つの回答が記載されている方が選考対象となります　】
【※応募時に勤務可能日数ならびに時間をご提示ください。】
【※応募時に希望時間単価をご提示ください。】

・勤務時間
終日勤務出来る方を優遇します。
【※応募時に勤務可能日数ならびに時間をご提示ください。】

・単価
弊社の業務形態は、社長や上司からのウォーターフォール式ではなく
各人が主体となって活躍するアジャイル式です。
そのため報酬形態も1サイトあたりの単価でなく、時給で作業して頂いております。

時間単価目安：1,800円～2,500円（税込・ワーカー様手取り）
【※応募時に希望時間単価をご提示ください。】
勤務中は時間確認ソフトにて勤務時間の計測をしていただきます。


■応募条件---------------------------------------------

・日本国籍の方
・卸に関わる知識のある方
・スクレイピング作成・運用の経験がある方
・目標とスピード感を持ち、まずは自身で問題解決に努められる方
・作業効率を優先している方（複数PCもしくは複数モニターやビッグモニターをお持ちの方）
・Linuxの知識やXSERVERでのpython定期実行の経験がある方

スクレイピングの実行環境についての詳細は下記をご参照ください。
以上、ご応募お待ちしております。


＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

■スクレイピングの実行環境について■

・Python 3.9
・ライブラリは主に Selenium (Version 3.141.0)
・ブラウザ　基本的にPhantomJS
（開発中はchromeでも可、提出前にPhantomJSで動作確認お願いします。）
・requirements.txtの添付
・可能な限り3時間以内（プログラム実行時間）で処理が終わるように。
・状況に応じてデータベース（SQLite, MySQLなど）使用
・運用時のスクレイピング状況や完了目安確認、不具合対応のためにログファイルを出力（logフォルダ内に日付ファイル名で出力）
・Selenium使用時の要素表示や要素クリックまでの待機は、 基本的にtime.sleep()ではなく、WebDriverWait()でお願いします。
（環境が変わるとエラーとなったり、日々の実行が不安定になること避けるため）
・HTML要素の指定は、なるべく XPath ではなく、 ID や Name, Class などサイト改修時も適応しやすいよう配慮お願いします。
・作成したプログラムは当方に提出頂きます。
・場合によって実行環境は変更する場合もあります。

作業範囲

ランサーに相談して決めたい

用意してあるもの

設定なし

参考URL

設定なし

希望開発言語

ランサーに相談して決めたい

開発の継続性

ランサーに相談して決めたい

補足説明

設定なし