「最適クローラーの仕組み構築」の仕事

見積もり募集の結果

見積もり募集の内容

提示した予算

1,000,000 円 ~ 3,000,000 円

依頼概要

＜１．目的＞
「大量のデータを収集する最適クローラーの仕組みとその収集した情報を活用し　たAmazon出品管理システムの構築を目的にしたプログラムの製作請負契約」
　＊すぐに使用できるよう環境構築(サーバーの選定やプログラムの稼動検証等)も　お願い致します。

＜２．希望納期/予算＞　
　約６か月/200万～250万が予算です。
　＊製作納期の遅延・製作の断念がない様に製作納期の回答は要検討願います。
　
＜３．発注先決定までの流れ＞
　以前サーバーレスネットワークの利用を検討し「AWS lamdba」ベースで検証　したところ　アクセスが拒否される事象が起きた為、今回サーバーレスにこだわ　らず広く「ウェブサイトへ最少の負担で情報を収集・利用する仕組み」を作るた　めすべての仕組みを募集致します。
　 ＊無論サーバーレスであっても問題なく情報収集できるのであれば可です。

　「一次審査」
　　・どういった仕組み(簡単な概念図等での）を考えられてるかのご説明や
　　　製作実績をアピール願います。
　　・最後まで仕事をやり遂げる熱意をアピール願います。
　　　どの世界・社会でも当たり前のことですが、一旦出来ると引き受けた仕事
を、壁にぶつかると軽い損得感情で簡単に投げ出さす方にはお願いできま
せん。【最後までやり遂げる責任感のある方】【個人等関係なく、契約の重　　　みと仕事をやり遂げることへの意識を十分に持たれている方】を募集して
　　　おります。

　「二次審査」
　　必要機能の詳細(＊出来るだけ細かくお伝え致します) を提示致しますので　　「見積」と「製作・検査工程表」をご提出願います。
　＊これまでの作成した機能全体のイメージ図を提供致します。
　　　これに沿う仕様にされるかはお任せ致します。
　＊各項目をどういったスケジュールで製作していくかイメージを提示願います。
　 【趣旨】
　　基本的には、注文仕様書に記載の機能を全て製作いただく前提で発注致します　　のでこちらが要望する各機能をまず最初にご確認いただき、解らないままにし　　て引き受けないでください。
　　＊月当りの保守費用・その保守の範囲については別途見積り願います。
ランニングコストが明確であることも評価致します。

＜４．今回の主な依頼内容の概要＞
　・十分な処理能力をもったクローラー(プログラム)をつかって情報収集したい。
　・在庫情報の収集対象となるウェブサイトは現時点で約30サイト
　・商品情報の収集対象となるウェブサイトは現時点で約5サイト(全てapi)で
　 収集に必要な分類コード等の一覧はこちらで用意します。
　　(国立国会図書館、amaozn japan,amazon usa,等)
　・商品情報の管理はクラウドでの管理を前提としますが、
　　容量次第ではハードでの管理も検討します　
　・ウェブ API も情報の収集対象としたい
　・収集対象となるウェブサイトは継続的に増加していく予定
　・収集対象となる情報は数千万のオーダーになる。
　・情報の収集は継続的に繰り返したい。商品ごと情報収集先サイトごとに
　　最適な更新頻度で行う。
　・複数台のクローラーを並行して動かしたい
　・任意のクローラーがアクセス禁止を食らってしまったら、
　　そのクローラーはしばらくの間そのサイトを訪れないようにして
　 　別のクローラーに切り替わるようにする
　・ランニングコストはできるだけ下げたい。取扱い件数に応じた段階ごとの
　　費用積算を希望。
　・どのクローラーがどのウェブサイトのどの情報を収集しているのかなどのモニ　　タリングも出来るようにしたい。
　・収集したデータを閲覧するための管理画面がほしい
　・クローラーの数や収集頻度などは管理画面上で設定したい。

＜５．再募集にあたって＞
　過去に当方の募集を拝見いただいた方も多いと思いますので
　今回再募集に至った経緯についてご説明致します。
　この点が今回の依頼の難点でもあると言えますので、この点要ご検討の上ご提案　願います。
　＜理由＞
　①想定していたプログラムの能力不足
　　「取扱商品数」は提示しておりましたが「情報の更新頻度」や「１回のアクセ　　スごとの情報量」の想定が甘く、考えていたプログラムのスペックでは捌きき　　らないとのことでした。
　　＜対策＞
　　事前に「取扱商品数」「情報の更新頻度」「１回のアクセスごとの情報量」
　　を予測想定値を予め提供致します。事前に議論を重ねてトラブルがないように　　する方針です。
　②ランニング費用の膨張
　　取扱商品数を契約サーバーの能力に合わせて段階的に調整することで解決でき　　ると思います。サーバー切り替えタイミングを何段階に分けるかを協議する必　　要があります。

＜６．今後の展開＞
　派生システムを別料金で手配致します。　メンテナンス・能力増強も含む。

キャンセル理由：依頼内容を修正するため

依頼内容を一部変更致します。