【Python+Colaboratory】無料環境でのスクレイピング サポートします

スクレイピングでどこまでできるかわからない人も安心サポート

合同会社ムジンケイカクプロ
  • 合同会社ムジンケイカクプロ (mkp_troubleshooting)
  • 認定ランサー 本人確認済み、受注実績あり、評価と報酬額も最上ランクのフリーランスです
  • 49 満足の評価件数
    0 残念の評価件数
  • 相談中 (17) 現在、見積もり・カスタマイズの相談を受けている件数です

業務内容

日々の業務改善として、スクレイピングをご検討の方をサポートします。

基本的な開発に関して

  • Python言語での開発になります

  • requests+BeautifulSoupを利用します

  • 環境構築の手間と費用を省くためGoogle Colaboratoryを利用します

  • プログラムが長大になった場合には、外部ファイルへのクラス化を行います

  • プログラムの定期実行は費用内に含まれておりません(基本的に対応しません)

  • 連続で対象をスクレイピングをする場合、対象への負荷軽減のため、3秒から二桁秒までの処理間隔を空けます

実績例

  • 対象をあらかじめHTML保存し、保存したHTMLをスクレイピングし、CSVにデータをまとめる

  • GoogleスプレッドシートにまとめたURLに対し、連続でスクレイピング実行

  • サイトへのログイン操作の自動化から、ログイン後のページ情報をスクレイピングしデータ取得

DBが必要な場合

SQLITEというDBを使います。
参考までに、手元にて自然言語処理プログラムとの連携で900万レコードくらいを常時扱っています。

その他に、

  • Googleスプレッドシート
  • CSV
    をデータ保存の方法として用意しています。
    ※いずれもGoogle Drive内に保存します。

スプレッドシートは扱いが手軽です。
CSVはかさばりますが、他のシステムやアプリケーションとの連携が容易かと思われます。

Seleniumに関して

Selenium利用は、ブラウザ操作その他対応が必要な場合に限定します。
(ターゲットURLがスクレイピングは禁止していないサイトだが仮想ブラウザ外のアクセスを受け付けない等)

免責

  • 対象HTMLファイル自体が壊れている場合、データ取得ができません

  • スクレイピング対象の文字コードの設定ミスなどで一部のデータが取れないことがあります

  • 開発時にスクレイピング対象がスクレイピング対策やセキュリティ対策を行った場合、スクレイピングが不可能となります。その場合も、作業費としていただいた費用に関しては返金返品ができかねます。

業務
データ収集・マイニング・スクレイピング

基本料金

プラン
10,000

ベーシック

ブラウザ操作を伴わないデータ収集
30,000

スタンダード

ブラウザ操作を伴うデータ収集
149,000

プレミアム

スクレイピングの難易度が高い場合や、その物量が多い場合
納期
14 日
30 日
90 日
合計
10,000円
30,000円
149,000円

注文時のお願い

スクレイピング対象がそもそもスクレイピングを禁止していないことをお約束ください。
また、対象サイト運営側による対応変更により開発途中でスクレイピング不可となった場合に、返金などの対応は致しかねます。
何卒ご了承ください。

よくある質問

ランサーズも含めて、なにもわからないのだけど相談したい。
ランサーズや外注自体が初めてでもご安心ください。 そういったクライアント様も多く対応してきました。
納期の目安を教えてください
既に手元で運用しているものをカスタマイズしていきます。 そのため1週間以内には、なんらかの動くものが作れているはずです。 ただ、実際に運用してみると発注側の観点漏れや、その他の問題が出るため、1ヶ月くらいを見て、じっくり作ったほうがいいと伝えています。

出品者

合同会社ムジンケイカクプロ
合同会社ムジンケイカクプロ (mkp_troubleshooting)

伴走型の作業支援を。業務改善・サイト改善・VBA・Python・SEO対策・分析業務もサポートします

  • 49 満足の評価件数
    0 残念の評価件数
  • 認定ランサー
  • 法人
  • 東京都
  • ネットショップ改善コンサルティング例
  • 【VBA】指定キーワードでハッシュタグを作り、自動でクリップボードに入れるツール

【本年の最終営業日は12/28となります】

業務効率改善と、ECサイト改善をメインに活動しております。
お気軽にお声がけください。

▼主な対応業務
・業務改善とシステム導入
・ネットショップ改善と各種改修作業代行
・ショップサイト制作(Shopifyその他プラットフォーム上)
・SEO対策
・Webライティング
・動画編集
・データ分析[機械学習]
・VBAツール制作
・Python利用の各種分析業務

▼セキュリティ関連
セキュリティチェックシート、3年で国内外700件超を対応経験あり。
国際資格者のもとで経験を積む。
英語圏含め対応。

▼実績例
※守秘義務の都合上、記載不可の実績多数

□サイト改善
ネットショップの悩みを解消|月商数千万円の売上改善を経験したプロがサポートします
なにもわからない・これからどうすれば?柔軟にサポートします。
※ランサーズパッケージ出品中

□業務改善
業務効率に問題、多忙で身動きが取れない。
・現場スタッフからの要望をヒアリング、低コストで導入できるシステムを選定し導入支援。

□HTML作成効率化
WEB知識が乏しいが、日々のHP更新を効率化したい。
HPの原稿を各部署から収集するが、管理が複雑。
・VBAでHTMLページ生成ツールを作成
・共有Excel上で原稿入稿
担当者はボタンひとつで画像入りHTML出力。

□社内業務効率化
全社員にメール配信を実施したいが、内容を宛先別に変えたい。
・VBAで送信対象を判定
・指定文言の自動差し替えツール作成
半日の作業が20分に短縮。

□コストカット
プレスリリースで利用する画像を効率的に作成したいが、400万円の見積もりが出た。
・MTGを経て、30万円でVBAツール化

□広告配信
HPの構成上、広告の効果測定ができない。
・HPを複製したLPを生成し、広告判定設定を実施

▼代表略歴
IT企業数社で役職経験後、ITシステム導入と業務改善→システム販売とサポート→セキュリティ業務を経験し独立。
案件増のため法人化。
長年、知人・旧知の代理店経由の紹介案件のみで活動。
高難度の紹介案件より一次請け案件をとランサーズ登録。

▼代表者の趣味
・スポーツ観戦(サッカー・格闘技中心になんでも)
・映画鑑賞
・読書(統計学/ビジネス)
最低限の知識証明として、各種初級資格取得済。
セキュリティマネジメント試験合格。

▼ご連絡について
できる限り素早い返信を心がけます。
お問い合わせはお気軽に。