amazonのスクレイピングの仕事
amazonのスクレイピングに関する仕事・募集案件ページです。クラウドソーシングのランサーズで、Webシステム開発・プログラミングに関する最適な外注/発注先をお探しの方、副業案件・求人をお探しのフリーランスの方はまず会員登録がおすすめです。
Webシステム開発・プログラミングに関連した他の仕事を探す
見積もり募集の結果
募集期間
5日間
提案数
6件
当選人数
1 件
(募集人数1人)
実際の発注内容
本人確認 OSSの開発やLinuxを用いたPCサポートビジネスを展開中。職業訓練施設でLinuxやEC-CUBEの講師もしています。
- 希望時間単価 ---
- 実績 1
- 評価満足率 100 %
- プロジェクト完了率 100%
- 機密保持
- 本人確認
- 電話
WEB系の会社でLinuxサーバー運用、LaravelでのWebシステムの開発、WordPressでのWebサイト構築、SEO対策、iPhoneアプリの開発など多岐に渡る仕事をマネージャーかつプレーヤーとしてこなしてきました。 現在は独立しBuildFunという屋号で活動しております。 職業訓練施設でLinuxサーバー、ECサイト構築の講師もやっております。
見積もり募集の内容
- 依頼の目的・背景
-
今までPHPでamazonのスクレイピングをしていたのですが最近になってブロックされるようになった（画像認証のページが出る）。
ただクライアントアプリ（C#などで作ったデスクトップでブラウザ経由でアクセスして取得）ではブロックされることなく取得できます。
PHPの方もヘッダやクッキーを持たせるように作り直したが、ブロックは解消されませんでした。。。
おそらく足りない部分があるためかもしれないので、これを改善できる技術力がある方にお願いします。
具体的にはアマゾンのセラーIDからセラーが出品している商品リスト（価格、タイトル）をスクレイピングして欲しいです。
例えば、以下のようなページです
http://www.amazon.co.jp/gp/aag/main/ref=olp_merch_name_6?ie=UTF8&isAmazonFulfilled=0&seller=A2XKJD9RA4U3ZT
このページの内部でajaxか何かで商品リスト（１リクエストで９０商品）を取得するURLがあるのですがそこにアクセスしてブロックされなければ１リクエストで９０商品取得できるので、そちらが理想です。
さらに１分間に１０〜５０回アクセスしてもブロックされないようなシステムを作成して欲しいです。
過去３年以上、ブロックされずに同じサーバーでうごていましたが、急にここ最近ブロックされるようになってしまい困っています。
ヘッドレスブラウザとかの技術とかお持ちの方も歓迎します。
3日以上動かし続けてブロックされない事を確認させていただきます。
環境はさくらVPSサーバーを利用しています。
よろしくお願いします。
- 開発の進捗状況
- ランサーに相談して決めたい
- 開発の継続性
- ランサーに相談して決めたい
- 重視する点
- 予算、納期、クオリティ
- 希望開発言語
- PHP、JavaScript
- フレームワーク
- ランサーに相談して決めたい
- 補足説明
- 設定なし