-
PythonによるWebスクレイピング・データ整形・CSV納品プロジェクト
■ プロジェクトの目的
Web上に公開されている情報を対象に、
Pythonを用いてデータ収集から整形、CSV形式での納品までを
一貫して行えるスキルを身につけることを目的とした。
■ 体制・人数
1名
■ 自分のポジション・役割
要件整理、対象Webページの調査、
スクレイピング可否の確認（利用規約・robots.txt）、
Pythonによるデータ取得処理の実装、
pandasによるデータ整形・欠損処理、
CSV形式での出力までを担当。
■ 目的を達成する上での課題
Webページ構造の変更や欠損値、
文字列データの数値変換など、
実務で発生しやすい不整合への対応が課題であった。
■ 課題に対して取り組んだこと
例外処理を実装し、想定外データでも処理が停止しない構成にした。
■ ビジネス上の成果
実案件を想定し、データ収集からCSV納品までを
単一スクリプトで完結できる構成を実装。
GitHubにてポートフォリオとして公開している。
Python
Webスクレイピング
pandas
データクレンジング
CSV作成.納品