Beautiful Soup・Seleniumを使用して、Webスクレイピングツールを開発しました

python スクレイピング

本ツールは手作業でのデータ収集を完全自動化します。
毎日・毎週の手作業でのデータ取得を、ボタン一つで自動化できます。
例えば、以下のような場面で活用できます：
・競合サイトの価格リサーチ（ECサイト運営者向け）
・不動産情報の定期収集（不動産業者向け）
・最新ニュースの収集（ライター・メディア向け）
手作業の時間を削減し、業務効率を向上できます！

例として、天気予報Webページから「場所」と「天気」の情報をスクレイピングし、取得データをGoogleスプレッドシートへ送信する機能を実装しています。

■ 特徴
① データ取得
・Seleniumを用いてWebサイトにアクセスし、動的に表示される情報を取得
・BeautifulSoupでHTMLを解析し、目的のデータを抽出
・スクレイピング対象の要素が表示されるまで待機する仕組みを搭載

② データ保存
・Pandasを用いて取得データをCSVファイルに保存
・既存のファイルがある場合は、上書き前にユーザーへ確認メッセージを表示
・取得データをGoogleスプレッドシートにもアップロード（Google API連携）

③ エラー処理
・タイムアウト時は最大3回の再試行を実施（リトライ機能）
・予期しないエラー発生時には詳細なエラーログを記録
・ログファイル（scraping.log）に処理履歴を保存し、デバッグが容易

④ 実行環境対応
・Windowsのタスクスケジューラを利用して、定期的な自動実行が可能
・スクリプトの実行方法に応じてディレクトリパスを自動調整
・エラーが発生しても処理が途中で止まらないよう設計

⑤ ユーザー通知
・処理完了時にポップアップメッセージを表示し、成功を直感的に把握可能
・保存処理前に「データを上書きしてもよいか」を確認するダイアログを表示

■ 開発環境
言語: Python
主要ライブラリ: Selenium, BeautifulSoup, Pandas, Google API（google-auth, google-api-python-client）
実行環境: Windows 11
開発ツール: Spyder
バージョン管理: GitHub
設定管理: configparserを使用し、設定ファイル（scraper_config.ini）で管理

カテゴリー: ソフトウェア・業務システム開発
業種: IT・通信・インターネット
場所: 山梨県
制作期間: 20時間
参考価格: 80,000 円
最終更新日: 2025年2月26日

制作者

Shimoza _{(Etia1983ike)}

Webシステム開発や業務効率化ツールでお力になれれば幸いです

5 件満足

0 残念
シルバー
個人
山梨県

お問い合わせ

はじめまして、Shimozaと申します。

業務効率化＆データ収集自動化ツールの開発を通じて、手作業削減・ミス防止・データ活用など、多くの業務改善を支援してまいりました。
「日々の作業をもっとラクにしたい」といったお悩みに寄り添い、業務担当者様の目線で、シンプルかつ使いやすいツールをご提案します。

プロトタイプ開発で、試作 → 確認 → 改善を重ねながら完成度を高めていくスタイルです。
WordPressを用いたWebサイト制作にも対応可能です。

◆ 対応可能業務
・Webスクレイピング（ログイン対応／CSV・スプレッドシート出力）
・Python・GASによるExcel／Gmail／スプレッドシートの自動化
・GUIツール（Python tkinter）開発
・Power Automate Desktopによるルーチン業務の自動化
・WordPressサイト制作（企業／個人問わず）

※ 詳細は各出品パッケージをご参照ください

◆ 実績例
・毎日1～2時間かかる更新作業を5分に短縮
・データ整形による分析支援や、作業ミスの削減など多数実績あり

◆ 対応時間
月・火・木・金：9:00～21:00
土曜：14:00～21:00／日曜：9:00～21:00
（水・祝はお休み）
※即時返信は難しい場合もございますが、できる限り迅速に対応いたします。
※必要に応じて、Lancers内のビデオ通話機能にも対応可能です。

◆ ヒアリングについて
ご相談・目的確認・全体像の把握などの初期ヒアリングは無料で承っております。
ただし、ご提供ファイルの詳細な構造整理や、対応可否の判断にあたる工程については、相応の作業時間を要するため、原則としてお見積りご同意後に対応させていただいております。

納期には余裕をもち、丁寧なすり合わせを重視しています。
どうぞお気軽にご相談ください。