■具体的な作業イメージ
発注後にクローラーのフレームワークとなるgitのリポジトリをお伝えします。
このリポジトリには、以下の機能をもったクローラーのフレームワークが入ってます。
A. 定義(※1)に従い、一覧ページのページングをたどり、全ての詳細ページのURLを取得する
B. Aで取得したURLを1件づつクローリングし、定義(※2)に従い、必要となるデータを取得する
C. Bで取得したデータを、最終的なアウトプットに変換する
サイトによってHTMLの構造が異なるため、クローリング対象のサイトの構造を把握して頂き、※1と※2の定義をソースコード内に記述して頂く作業となります。