【Google Colaboratory】無料環境でスクレイピング開発します

スクレイピングで何ができるかわからない人も安心サポート

合同会社ムジンケイカクプロ

業務内容

日々の業務改善として、スクレイピングをご検討の方をサポートします。

基本的な開発に関して

  • Python言語での開発になります

  • requests+BeautifulSoupを利用します

  • 環境構築の手間と費用を省くためGoogle Colaboratoryを利用します

  • プログラムが長大になった場合には、外部ファイルへのクラス化を行います

  • プログラムの定期実行は費用内に含まれておりません(基本的に対応しません)

  • 連続で対象をスクレイピングをする場合、対象への負荷軽減のため、3秒から二桁秒までの処理間隔を空けます

実績例

  • 対象をあらかじめHTML保存し、保存したHTMLをスクレイピングし、CSVにデータをまとめる

  • GoogleスプレッドシートにまとめたURLに対し、連続でスクレイピング実行

  • サイトへのログイン操作の自動化から、ログイン後のページ情報をスクレイピングしデータ取得

DBが必要な場合

SQLITEというDBを使います。
参考までに、手元にて自然言語処理プログラムとの連携で900万レコードくらいを常時扱っています。

その他に、

  • Googleスプレッドシート
  • CSV
    をデータ保存の方法として用意しています。
    ※いずれもGoogle Drive内に保存します。

スプレッドシートは扱いが手軽です。
CSVはかさばりますが、他のシステムやアプリケーションとの連携が容易かと思われます。

Seleniumに関して

Selenium利用は、ブラウザ操作その他対応が必要な場合に限定します。
(ターゲットURLがスクレイピングは禁止していないサイトだが仮想ブラウザ外のアクセスを受け付けない等)

免責

  • 対象HTMLファイル自体が壊れている場合、データ取得ができません

  • スクレイピング対象の文字コードの設定ミスなどで一部のデータが取れないことがあります

  • 開発時にスクレイピング対象がスクレイピング対策やセキュリティ対策を行った場合、スクレイピングが不可能となります。その場合も、作業費としていただいた費用に関しては返金返品ができかねます。

基本料金

プラン
10,000

ベーシック

ブラウザ操作を伴わないデータ収集
30,000

スタンダード

ブラウザ操作を伴うデータ収集
149,000

プレミアム

スクレイピングの難易度が高い場合や、その物量が多い場合
納期
14 日
30 日
90 日
合計
10,000円
30,000円
149,000円

出品者

合同会社ムジンケイカクプロ
合同会社ムジンケイカクプロ (mkp_troubleshooting)

伴走型作業支援。サイト改善・SEO対策・VBA・Python・業務改善・機械学習や各種数値分析に対応

  • 213 満足
    0 残念
  • 認定ランサー
  • 法人
  • 東京都

【年末年始のご案内】
12/27(土)〜1/4(日)は、
・新規案件:ご相談のみ可
・MTG対応:お休み
・継続案件:メール/チャットで対応(返信やや遅れます)

サイト改善(SEO対策)と、IT業務効率改善が主なサービスとなります。
ランサーズのパッケージ販売に登録しております。
多くのご相談をいただいているため、提案営業は滅多に致しません。

弊社は、クライアント様との事前の認識合わせに時間をかけます。
納期をお急ぎの方には向かないため、ご了承ください。

ご契約前のMTGは、Lancers内ビデオ通話機能の利用にて、平日14時以降の時間帯で対応可能です。
その他ご相談は、メッセージにてお気軽にどうぞ。

## ▼主な対応業務
・サイト改善(SEO対策)
・サイト保守
・サイトカスタマイズ(Shopify等)
・業務改善、システム導入
・マーケティング戦略
・PM、ディレクション
・記事制作
・画像、動画編集
・データ分析
・VBAツール制作
・Python開発[機械学習]

▼セキュリティ関連
セキュリティチェックシートに関して、3年で国内外700件超の対応経験。
英語圏含め対応中。

▼実績例:守秘義務の都合上、詳細は控えます。
クライアントによって正解は違います。
あくまで参考程度に留めてください。
Lancers上の実績・評価欄を見ていただくのが手軽です。

□サイト改善(SEO対策)
月間売上14倍、ROAS2000%UPなども経験がありますが、クライアント側の頑張りが9割です。

3ヶ月でアクセス数77%増、成果数57%増
(月間5万アクセス未満)

1.5ヶ月でアクセス数が75%増、成果数12.7%増
(月間3万アクセス未満)

1ヶ月でユーザー数40%増、成果数120%増
(現在月間5000アクセス前後)

□業務改善
業務効率に問題、多忙で身動きが取れない。
・現場スタッフからの要望をヒアリング、低コストで導入できるシステムを選定し導入支援

□広告配信
HPの構成上、広告の効果測定ができない。
・HPを複製したLPを生成し、広告判定設定を実施

▼代表略歴
フリーランス活動を開始後、知人・旧知の代理店経由の紹介案件のみで活動。
IT企業数社で役職経験後、業務改善→システム構築→販売とサポート→セキュリティ業務を経験し、案件増のため法人化。
最低限の知識証明として、各種初級資格取得済。
セキュリティマネジメント試験合格。

▼ご連絡について
お問い合わせはお気軽に。

よくある質問

ランサーズも含めて、なにもわからないのだけど相談したい。
ランサーズや外注自体が初めてでもご安心ください。 そういったクライアント様も多く対応してきました。
納期の目安を教えてください
既に手元で運用しているものをカスタマイズしていきます。 そのため1週間以内には、なんらかの動くものが作れているはずです。 ただ、実際に運用してみると発注側の観点漏れや、その他の問題が出るため、1ヶ月くらいを見て、じっくり作ったほうがいいと伝えています。

注文時のお願い

スクレイピング対象がそもそもスクレイピングを禁止していないことをお約束ください。
また、対象サイト運営側による対応変更により開発途中でスクレイピング不可となった場合に、返金などの対応は致しかねます。
何卒ご了承ください。