pythonを使ってのスクレイビング開発の仕事 [卸売・小売]
pythonを使ってのスクレイビング開発に関する仕事・募集案件ページです。クラウドソーシングのランサーズで、Webシステム開発・プログラミングに関する最適な外注/発注先をお探しの方、副業案件・求人をお探しのフリーランスの方はまず会員登録がおすすめです。
Webシステム開発・プログラミングに関連した他の仕事を探す
見積もり募集の結果
募集期間
4日間
提案数
3件
当選人数
1 件
(募集人数1人)
実際の発注内容
ブロンズ 認証済み、受注実績のあるランサーです デスクトップアプリ開発によるタスク自動化を得意としています
- 希望時間単価 2,000円~
- 実績 21
- 評価満足率 100 %
- プロジェクト完了率 95%
- 機密保持
- 本人確認
- 電話
●経歴および実績 [開発] ・食品検査データ向け教師なし学習（k-means）アプリ開発（Python） ・Webスクレイピングを用いた家計管理を一部自動化するアプリ作成（Python） ・個人事業者様のホームページのデザインおよびコーディング（HTML、CSS、Bootstrap） ・350のHTMLファイル内の特定箇所を一括修正するツール開発（Python） ・CSV内の... 続きを読む
見積もり募集の内容
- 依頼主の業種
- 卸売・小売
- 依頼の目的・背景
-
会員サイトのスクレイピング作業をおこなっっております。
pythonで、組んでおり
Seleniumと、beautifulsoupを使って画像の取得とテキスト情報を取得しようとしております。
1.ログイン認証
↓
2.商品画像表示
↓
3.画像、情報取得
↓
4.ローカルにcsvと商品コード(数字)フォルダを作成して画像を保存
2-4を商品数分繰り返す
するという仕組みです。
HTML情報は取得可能なのですが、
画像を保存しようとすると、xml形式のエラーを吐き出してエラーとなります。
Urlの取得は可能、ブラウザに画像の読み込み済
読み込みしてある画像を保存しようとしてるのですが
うまくいきません。
ちなみに。商品ページを名前をつけて保存とすると保存可能です。
完全保存(Chrome)
認証の処理〇
商品情報取得〇
画像取得→×
商品情報の保存→未実装
ループ処理未実装
とりあえず、取得すれば、その先進むとおもいますが、その先の実装と他にも開発したいことがありますので、引き続きご相談できると助かります。
つたないソースをお見せすることは可能ですが、ログインサイトは、セキュリティの、関係で実際に、試してもらうことは、できないので、すみませんが、こちらで、ログインして、確認させていただきます。
テストや動作テストは、協力します！！
こちらでログインして、しらべるようなことが、あれば、あわせて確認して結果を、お渡しはいたします。
amazonのAWSを利用しているようです。
認証して、その後、商品ページを表示、保存したい画像はすべて表示されております。
表示は完璧に表示されているので、その画像データを保存しようしておりますが、うまくいきません。
商品データは2万件ぐらいありますが、一気におこなうことは不可能なので、300件ずつづでも処理したいとおもってます。
といったところです。やったことがある人なら難しいことはないのではないかとおもいます。
別の言語、方法でも可能ですが、すでに認証などの処理しておりますので、Pythonからコールするようなことが、できたら助かります。
※1部コピペ失敗して重なってましたので、文章削除しました。
- サイトの種類
- 会員制サイト
- 作業範囲
- ランサーに相談して決めたい
- 用意してあるもの
-
- 参考URL
- 設定なし
- 希望開発言語
- Python
- フレームワーク
- ランサーに相談して決めたい
- 開発の継続性
- ランサーに相談して決めたい
- 補足説明
-
金額は、テンプレートをもとにしてるので、あくまでも目安です！！
予算で難しい場合はご相談ください！納期も相談！