PythonによるWebスクレイピング（継続あり・自走型者優先・複数フリーランス活動中）の仕事 [卸売・小売]
PythonによるWebスクレイピング（継続あり・自走型者優先・複数フリーランス活動中）に関する仕事・募集案件ページです。クラウドソーシングのランサーズで、Webシステム開発・プログラミングに関する最適な外注/発注先をお探しの方、副業案件・求人をお探しのフリーランスの方はまず会員登録がおすすめです。
Webシステム開発・プログラミングに関連した他の仕事を探す
見積もり募集の結果
募集期間
5日間
提案数
11件
当選人数
1 件
(募集人数1人)
実際の発注内容
PythonとMetatraderであなたのビジネスをスマートに
- 希望時間単価 3,000円~
- 実績 202
- 評価満足率 100 %
- プロジェクト完了率 93%
- 機密保持
- 本人確認
- 電話
フリーランスとして活動を始めて丸８年、多様なクライアントからのご依頼を承ってきました。 主な実績 Metatrader4でのEA（エキスパートアドバイザー）とカスタムインジケーターの開発・改修 Pythonを用いたWebスクレイピング、日常業務の自動化ツールの作成 特にMetatrader4に関しては、個人から証券会社、小規模法人まで幅広いクライアントからの依頼をこなしてきま... 続きを読む
- 対応可能な依頼のジャンル
- IT・通信・インターネット
- 金融・保険
- 工業・製造
- 卸売・小売
- ... もっと見る
見積もり募集の内容
- 依頼主の業種
- 卸売・小売
- 依頼の目的・背景
-
御覧いただきありがとうございます。
弊社はスポーツをはじめ、様々なジャンルの商品を販売する、ネット通販を主とした会社となります。
この度は仕入れ先問屋さんの各ウェブサイトのスクレイピングをしていただける方を募集させていただきます。
条件としては以下の内容となります。
1.
時間単価の準委任契約
希望時間単価を出していただいてご応募ください。(最初は30時間分のお見積りをご提出いただけますようお願いいたします。)
2,
スクリーンショットモニターという作業時間確認ソフトをパソコンに入れていただき時間の計測をしていただきます。
3.
連絡は原則Chatworkとなります。
指定問屋サイトにログインして定価、仕入れ価格、JANコード、商品名、発注単位(特定の商品を発注するのは複数個の発注が必要か)、在庫数、在庫有商品か予約商品なのか、などの情報をスクレイピングしてエクセルかCSVで出力されるようにしていただきます。
現在5問屋以上スクレイピングが必要なサイトがあります。
毎月複数問屋が増えていきますので納期やコミュニケーションに問題が無ければ長期間続けていただける方を希望しております。
現状スクレイピング対象サイトが増え、1人の方では追い付かなくなってきましたので追加人員として募集させていただきます。既に仕事をしていただいている方もおられるので、相談等していただきやすいと思います。
サイトによって取得商品数が数百行～数万行と幅があります。ボリュームゾーンとしては数千行程度になります。
商品一覧でデータを取得出来る場合と各商品ページに入って情報を抜く必要がある場合、在庫数表示がない場合は商品をカートに入れて在庫数を確認しないといけない場合等各問屋によって必要な作業が異なります。
1日1回回るようにしていただきます。
■スクレイピングの実行環境について■
・Python 3.9
・ライブラリは主に Selenium
・データベースは基本的に SQLite（データ保持必要な場合）
・ブラウザ 作成・テスト環境はGoogle Chrome、サーバー上はPhantomJSで実行中です。
・requirements.txtの添付
・可能な限り3時間以内（プログラム実行時間）で処理が終わるように。並行処理などでサーバー負荷増が考えられる場合は相談ください。
・適所に logging.info() を実行し、実行後にログファイルの出力もお願いします。例えば、個別商品URLやエラー発生時のlog収集として。
・要素表示、要素クリックまでの待機は、 基本的にtime.sleep(2)ではなく、WebDriverWait()でお願いします。（Seleniumの場合）
・スクレイピングで取得したデータの出力ファイルは、.xlsx もしくは .csv(shift-jis)にて下記保存先に出力 。
・データ取得後のファイル保存先
2022年5月27日に実行した場合
/csv/20220527/〇〇/△△.csv
/〇〇/サイト名もしくは問屋さん名.py <--実行ファイル
csv/ 下の日付ディレクトリは動的に生成お願いします。（毎日自動的にスクレイピングするため）
日付ディレクトリ名の生成コード例：
dt_now = datetime.datetime.now()
folder_name = dt_now.strftime('%Y%m%d')
出力するログファイルの内容例（後でエラーなどを確認できるように）
{
"start": "2021年11月25日 19:40:18",
"end": "2021年11月25日 21:34:34",
"check_count": 707,
"error": [
[
"〇〇カテゴリ",
"https://www.〇〇.html"
]
]
}
・作成したプログラムは、当方に提出頂きます。
・当方にてサーバー環境で実行し、問題なく出力されているか確認します。
・最近は、ページ読み込み後、ボタンを押した後にデータが変わるWebページも増えています。労働時間最短化に向けて、自力では解決できないことはチームで解決します。自己向上力も必要ですが、過度な心配は無用です。
・Python力、データ解析力等の向上は期待できます。
是非ご検討よろしくお願いいたします。
- サイトの種類
- ECサイト
- 作業範囲
- ランサーに相談して決めたい
- 用意してあるもの
-
- サーバー
- ドメイン
- 参考URL
- 設定なし
- 希望開発言語
- Python
- フレームワーク
- ランサーに相談して決めたい
- 開発の継続性
- この開発の後も、継続的に依頼したいと思っております。
- 補足説明
- 設定なし