指定のWebサイトをスクレイピングし、データを自動収集します

求人サイトや通販サイトの指定の情報を一括収集

松田拓也

業務内容

▼こんな方にオススメ
Amazonなどの通販サイトや不動産サイトの何千〜何万件のデータを収集してビジネスに活用したいが、手動では到底無理だし、プログラムで自動化しようにもやっぱりよくわからない。手軽に低価格で誰かに仕組みを作ってほしい!そんな方に初回データ収集の代行と、ご希望であればオプションでクリックで起動できるアプリケーション(PCソフト)を提供します。

▼スクレイピング対象サイト事例
・通販サイト(Amazon等)
・求人サイト(リクナビ、マイナビ等)
・不動産サイト(アットホーム等)

▼納品物
・初回収集データ(CSVファイル or Googleスプレッドシート等)
・(オプション)スクレイピングプログラム + マニュアル
・(オプション)クリックで起動できるアプリケーション(Mac/Windows) + マニュアル

▼ご購入後の流れ

  1. メッセージやビデオMTGなどでご希望のデータ収集先や要件、仕様を擦り合わせ
  2. プログラムの開発
  3. 数十件のお試しデータお送りし認識合わせ
  4. 初回全件スクレイピング実行(1~3日)
  5. 初回データの検証やプログラムの修正
  6. データのチェックや整形
  7. 納品とご利用案内

注意点

・サイトによってはスクレイピングが禁止されているものもあります。
・対象サイトのデータ自体が正確性や網羅性(データ欠損)において完璧でないことは多いため、収集できるデータの信頼性はそのサイトのデータ品質によります。
・あくまでスクレイピングによるデータ収集の代行サービスのため、正確で網羅的なデータの販売ではありません。
・Webというのは色んな外部要因にも左右されるため、対象サイトのデータ収集成功率は98%程度とお考えください。
・データのチェックは重要なポイントを中心に行いますが、100%ミスなしは難しいので努力目標となります。
・Twitterなどのリアルタイムでアップデートしたり情報量が膨大なSNS系は難しいです。
・メルカリ等の出品検知や価格変更検知などはスクレイピングとは別の話になるので別途相談ください。

その他

※robots.txtなどのスクレイピングにあたる規約やマナーを順守します。そのためスクレイピングが禁止されているなどでお受けできないことがあります。

業務
データ収集・マイニング・スクレイピング

基本料金

プラン
50,000

ベーシック

1カテゴリの一覧と詳細ページのシンプルなスクレイピング。
・10,000件まで
・最大10項目
150,000

スタンダード

カテゴリごとにページの構造が違うなど複雑なサイトのスクレイピング
・2カテゴリ
・20,000件
・最大20項目
300,000

プレミアム

ベーシックやプレミアムで対応できない高度なスクレイピングやサポート
・Excelによる整形やチェック
・2サイトからの収集
・データのダブルチェック
・etc
納期
5 日
7 日
14 日
合計
50,000円
150,000円
300,000円

オプション料金

プログラムの譲渡
40,000円 / 納期 +3日
アプリケーションの譲渡
100,000円 / 納期 +7日
カテゴリーの追加
15,000円 / 納期 +1日
収集先サイトの選定相談
20,000円 / 納期 +2日

出品者

松田拓也
松田拓也 (takuya108817)

C向け0→1の経験が豊富なプロダクト思考のフルスタックエンジニア

2018年にWebサイト制作で独立後、予約システムやEC、サイト内検索エンジンなどのシステム導入、不動産ポータルサイト等のスクレイピングプログラムの開発、Google Analytcis 等のWebマーケティング支援などのサービスを提供してきました。AIはChatGPTはもちろん、Perplexity, Genspark, Claudeなどを普段から活用しています。

▼対応可能な業務
・AIによる業務効率化、DX支援
・社内ツールなどの小規模Webシステム開発
・Stripeなどの決済サービス導入
・Algoliaなどの検索システム導入
・LINE公式アカウント導入やミニアプリ構築、チャットボット開発
・Google Analytics や Google Tag Manger 設定代行

▼活動時間/連絡について
平日日中は基本的に連絡可能です。

▼対応が難しい案件
- 1次受け以外のプロジェクト
- 長期正社員前提での雇用

▼好きなこと・趣味
- 野鳥撮影
- サーフィン
- コーヒー
- 散歩

注文時のお願い

# 相談時にお伝えいただきたいこと
・対象サイトの一覧ページのURLと、詳細ページ(1例)のURL
・抽出したい項目(例: 商品名、詳細ページURL、価格など具体的ページ上の場所)

※対象サイトのデータも完璧でなく、また同じ情報でもページによってデータの有無や正確性が間違っている場合があるので、「どのページの何処」と、必ず一覧ページと詳細ページの具体的な要素の指定をお願いします。