【Google Colaboratory】無料環境でスクレイピング開発します

スクレイピングで何ができるかわからない人も安心サポート

合同会社ムジンケイカクプロ

業務内容

日々の業務改善として、スクレイピングをご検討の方をサポートします。

基本的な開発に関して

  • Python言語での開発になります

  • requests+BeautifulSoupを利用します

  • 環境構築の手間と費用を省くためGoogle Colaboratoryを利用します

  • プログラムが長大になった場合には、外部ファイルへのクラス化を行います

  • プログラムの定期実行は費用内に含まれておりません(基本的に対応しません)

  • 連続で対象をスクレイピングをする場合、対象への負荷軽減のため、3秒から二桁秒までの処理間隔を空けます

実績例

  • 対象をあらかじめHTML保存し、保存したHTMLをスクレイピングし、CSVにデータをまとめる

  • GoogleスプレッドシートにまとめたURLに対し、連続でスクレイピング実行

  • サイトへのログイン操作の自動化から、ログイン後のページ情報をスクレイピングしデータ取得

DBが必要な場合

SQLITEというDBを使います。
参考までに、手元にて自然言語処理プログラムとの連携で900万レコードくらいを常時扱っています。

その他に、

  • Googleスプレッドシート
  • CSV
    をデータ保存の方法として用意しています。
    ※いずれもGoogle Drive内に保存します。

スプレッドシートは扱いが手軽です。
CSVはかさばりますが、他のシステムやアプリケーションとの連携が容易かと思われます。

Seleniumに関して

Selenium利用は、ブラウザ操作その他対応が必要な場合に限定します。
(ターゲットURLがスクレイピングは禁止していないサイトだが仮想ブラウザ外のアクセスを受け付けない等)

免責

  • 対象HTMLファイル自体が壊れている場合、データ取得ができません

  • スクレイピング対象の文字コードの設定ミスなどで一部のデータが取れないことがあります

  • 開発時にスクレイピング対象がスクレイピング対策やセキュリティ対策を行った場合、スクレイピングが不可能となります。その場合も、作業費としていただいた費用に関しては返金返品ができかねます。

基本料金

プラン
10,000

ベーシック

ブラウザ操作を伴わないデータ収集
30,000

スタンダード

ブラウザ操作を伴うデータ収集
149,000

プレミアム

スクレイピングの難易度が高い場合や、その物量が多い場合
納期
14 日
30 日
90 日
合計
10,000円
30,000円
149,000円

出品者

合同会社ムジンケイカクプロ
合同会社ムジンケイカクプロ (mkp_troubleshooting)

伴走型の作業支援。業務改善・サイト改善・VBA・Python・SEO対策・マーケティング分析にも対応

  • 108 満足
    0 残念
  • 認定ランサー
  • 法人
  • 東京都

2024年もよろしくお願い致します。

業務効率改善と、ECサイト改善をメインに活動しております。
ランサーズ内ビデオ通話機能の利用にて、平日午後14時以降の時間帯で事前MTG対応可能です。
お気軽にお声がけください。

弊社はご相談から即案件を受注するスタイルではなく、コミュニケーションを大事に、事前の認識合わせに時間をかけております。
お急ぎの方の利用には向かないため、あらかじめご了承ください。

## ▼主な対応業務
・業務改善
・システム導入
・マーケティング戦略
・プロジェクトマネジメント
・ショップサイト改善と各種作業代行
・ショップサイト制作(Shopifyその他)
・SEO対策
・Webライティング
・動画編集
・データ分析[機械学習]
・VBAツール制作
・Python利用の各種分析業務

▼セキュリティ関連
セキュリティチェックシート、3年で国内外700件超を対応経験あり。
国際資格者のもとで経験あり。英語圏含め対応。

▼実績例
※守秘義務の都合上、記載不可の実績多数

□サイト改善
ネットショップの悩みを解消|月商数千万円の売上改善を経験したプロがサポートします
なにもわからない・これからどうすれば?柔軟にサポートします。

□業務改善
業務効率に問題、多忙で身動きが取れない。
・現場スタッフからの要望をヒアリング、低コストで導入できるシステムを選定し導入支援。

□作業効率化例
▽WEB知識が乏しいが、日々のHP更新を効率化したい。
HPの原稿を各部署から収集するが、管理が複雑。
・VBAでHTMLページ生成ツールを作成
・共有Excel上で原稿入稿

□広告配信
HPの構成上、広告の効果測定ができない。
・HPを複製したLPを生成し、広告判定設定を実施

▼代表略歴
IT企業数社で役職経験後、ITシステム導入と業務改善→システム販売とサポート→セキュリティ業務を経験し、案件増のため法人化。
長年、知人・旧知の代理店経由の紹介案件のみで活動。
高難度の紹介案件より一次請け案件をとランサーズ登録。

▼代表者の趣味
・スポーツ観戦(サッカー・格闘技中心になんでも)
・映画鑑賞
・読書(統計学/ビジネス)
最低限の知識証明として、各種初級資格取得済。
セキュリティマネジメント試験合格。

▼ご連絡について
できる限り素早い返信を心がけます。
お問い合わせはお気軽に。

よくある質問

ランサーズも含めて、なにもわからないのだけど相談したい。
ランサーズや外注自体が初めてでもご安心ください。 そういったクライアント様も多く対応してきました。
納期の目安を教えてください
既に手元で運用しているものをカスタマイズしていきます。 そのため1週間以内には、なんらかの動くものが作れているはずです。 ただ、実際に運用してみると発注側の観点漏れや、その他の問題が出るため、1ヶ月くらいを見て、じっくり作ったほうがいいと伝えています。

注文時のお願い

スクレイピング対象がそもそもスクレイピングを禁止していないことをお約束ください。
また、対象サイト運営側による対応変更により開発途中でスクレイピング不可となった場合に、返金などの対応は致しかねます。
何卒ご了承ください。