【IPローティションサーバーの構築と既存スクレイピングツールのセットアップ】の仕事

見積もり募集の結果

見積もり募集の内容

依頼の目的・背景

＜内容＞
・下記スクレイピングツールがクラウド上若しくはローカルマシンとしてアクセス毎若しくは一定間隔でIPを自動ローティションする
(切り替え時にキャッシュ、履歴等消去)仕組みを依頼します。
・アクセス間隔の設定やイレギュラーなレスポンスがあった場合それを記録し、次回では自動で別のIPに切り替えるなどの機能
＊本体をローカルマシンに置くかクラウド上に置くかはご提案次第で検討。
・APIによる前後ツールとの接続
・各種設定画面の作成
・契約予定のプロクシは約10～20台を想定

＜ツール紹介＞
https://www.octoparse.jp/

＜条件＞
・上記ツールを使った並行タスク数は常時１００
・ローカルマシンでのPCの物理メモリ２４GB　WINDOWS10　CPU:CORE-i7を使用。
・APIに明るい方であること。

サイトの種類

その他

作業範囲

ランサーに相談して決めたい

用意してあるもの

設定なし

参考URL

設定なし

希望開発言語

ランサーに相談して決めたい

フレームワーク

ランサーに相談して決めたい

開発の継続性

この開発の後も、継続的に依頼したいと思っております。

補足説明

設定なし