mokinoki｜Python自動化 (mokinoki) | IT・通信・インターネット卸売・小売住宅・不動産リサーチ・調査人材紹介・人材派遣

納品後も止まりにくいデータ収集の仕組みを作ります

はじめまして。Pythonを使ったWebデータ収集・業務自動化を専門にしています。

「毎週、手作業でサイトを確認してリストにまとめている」
「営業リストや価格情報を、定期的にCSVで欲しい」
「以前作ってもらったスクレイピングが、すぐ動かなくなって困った」

こうした業務を、定期的に動き続けるデータ収集の仕組みにします。

個人プロジェクトとして、定期実行・異常時の通知・途中からの再開処理を備えたデータ収集を継続運用してきました。スクレイピングは「一度動く」ことより「動き続ける」ことの方がずっと難しい、というのが実感です。

【運用で必ず起きる問題への備え】
・途中で止まっても最初からやり直しになりません(取得済み分を保存し、続きから再開)
・「データが取れていない日」に気づけます(取得後に件数を機械チェック)
・アクセス制限を踏みにくい設計(適切な間隔での取得)
・結果は毎朝CSVやスプレッドシートで届く形に

直近では個人プロジェクトとして、ログインが必要なサイトから約2万件のデータを、アクセス負荷に配慮しながら半日で収集し、抜け漏れ検証まで含めてCSVに整形しました。

【できること】
・Webサイトからのデータ収集 → CSV/Excel/スプレッドシート納品
・毎日・毎週の定期実行の自動化(実行環境の構築込み)
・既存スクレイピングの修理・安定化
・データ整形・重複除去・突合
・納品後のサイト変更への追従(ご希望に応じて月額保守)

【依頼側の不安も理解しています】
ランサーズでは2017年から発注者として11件の取引があり(データ抽出ツールの開発依頼を含む)、依頼する側がどこで不安になるかを知っています。進捗は隠さず、詰まったら早めに報告し、対応案を添えます。

【お約束】
・納品物は必ず実データで動作確認してからお渡しします
・対象サイトの利用規約とアクセス負荷を事前に確認し、長く安全に使える方法をご提案します(規約違反やアクセス制限の突破を前提とするご依頼には対応できません)

在宅で作業しており、平日・週末とも柔軟に対応できます。ご連絡には原則24時間以内に返信します。

発注したい業種: IT・通信・インターネット

卸売・小売

住宅・不動産

リサーチ・調査

人材紹介・人材派遣
発注したいカテゴリー: データ収集・入力・リスト作成

Webシステム開発・プログラミング

AI自動化・エージェント開発

システム管理・保守・運用

ソフトウェア・業務システム開発

データベース設計・構築

データクレンジング

APIインテグレーション・外部連携開発
24時間以内のメッセージ返信率: ---%
メッセージ通知: お知らせ

メールの受信

ブラウザの通知
登録日: 2017年2月7日