クローラーの依頼・発注・代行

webスクレイピングツール運用します

Webサイトのブラウザ操作の自動化
Webサイトのデータ抽出

繰り返し行う必要がある作業、大量のデータを用意する作業などを自動化し
時間やコストの削減を可能にします。

本パッケージにつきまして

多くのご依頼をいただきましてありがとうございます。
この度、クライアント様のお声をいただきまして
2024年12月22日よりご提供内容を変更させていただきました。

・要件定義
・ツール制作・用意
・成果物の提供

＊以下の内容を必ずご確認ください

お断りさせていただく内容

・webサイトを公開しているサーバを攻撃する意図がある又はサーバがダウンすることが予想できるツールの設計及び制作の協力
・有料で提供されている情報を未購入のまま収集するツールの設計及び制作の協力

・納品するデスクトップアプリの推奨スペック

推奨PCスペックは以下になります。

OS Windows10以上 MacOS 10.15.7以上
メモリ 8GB以上
Google Chromeインストール

＊初回納品後１ヶ月後まではWebサイトの更新、Chromeの更新による不具合の保証期間を設け、期間中は無償で対応させていただきます。

また、PCに不慣れな方へのPC操作サポートに関しましてもツールの案件とは別で、ビデオ通話等の有料サポートで対応させていただければと思います。
特にMac OSを使用されている方はWindowsに比べ操作が難しいためご利用の前にご注意ください。
（ツールに関する操作方法や動作説明はこれに該当致しません）
＊プレミアムプランで第三者に販売された場合、サポートの対象となるのはあくまでこちらのパッケージでご契約されたご購入者様のみとなります。

＊ツールの運用環境のご提供も可能です

ご希望いただければ私の事務所の環境にて、制作したツールの運用を代行いたします。
・ツールの長期・定期的な実行
・安定したインターネット環境
・優先的なメンテナンスや緊急時のメンテナンス対応

・3,850円／月

ご利用までの流れ

１・対象となるWebサイトをご連絡いただく
２・対象のWebサイトが対応可能か確認
３・Webサイトで確認したい内容の確認
４・内容を確認後、お見積りの提出
５・合意後、制作作業開始
６・作業完了、ツール納品
７・ツール運用の開始

Web上に上がっている様々なデータをクローリング及びスクレイピングし、
ExcelデータやCSVなどお好みの出力方法で取得するツールになります。
SQLiteやMySQLなどのDBに保存したり、
結果をメールで通知するといったことも可能です。

対象サイトのAPIが公開されていればそれを利用することもできますし、
APIがなくてもサイトの情報をスクレイピングして
お好みのデータを取得することが可能です。

納品形式はWindowsであればexeファイル、MacでもLinuxでも
クライアント様のご要望に応じてそれぞれの実行形式になります。
その為、クライアント様のPC上で動作させることも、
サーバーにアップロードして実行することも可能です。

近年、AI関連の仕事を受注することが多くなりました。
AI関連の開発では、まずどういうことができるのかについて、お客様の抱えている問題に合わせてご提案させて頂くところから始まります。

しかしながら、ご提案の際に、具体的に調査をしなければご提案そのものが難しい場合も多いのですが、実働の工数がそれなりに発生してしまうため事前調査を無償でご提供することは難しく、またお客様からのご要望も強い箇所であるため、この事前調査についての受注をお請けすることにしました。

金額に関して、調査にかかるものであり、実際の開発についてはその後ということになります。
また納期に関しては、他の仕事が立て込んでいる場合の調整期間も盛り込んでいるため、この期間フルで実働するということではありません。

目安として、最小規模(10万円)で1日程度、小規模(30万円)で4日程度、中規模(50万円)で7日程度の技術者の実働が伴うとお考え下さい。
（Lancers手数料および消費税は別途発生致します）

また期間中は、追加の情報提供をお願いする場合も多いかと存じます。
ご協力をお願い致します。

AI関連開発の事前調査（最小規模）
https://www.lancers.jp/menu/detail/83470

AI関連開発の事前調査（小規模）
https://www.lancers.jp/menu/detail/83475

AI関連開発の事前調査（中規模）
https://www.lancers.jp/menu/detail/83476

無料でクロール対象の調査を行いますのでお気軽にお問い合わせください。

【ご発注までの流れ】
クロール対象調査
↓
お見積り発行
↓
ご確認/ご発注
↓
実装
↓
ご導入

ご不明な点があればお気軽にお申し付けください。

ハイコストパフォーマンス求人クローラーサイトの決定版！

■こんなお悩み解決いたします！
・制作会社は高い、個人は信憑性やアフターフォローが心配
・制作単価を下げて県ごとの求人情報サイト運営しSEO対策が可能に！
・大手求人サイト依存による広告費を自社サイトへ誘導してSEO対策へ繋げたい
・自社サイトのSEOが上がらない
・サイト制作した後の変更やトレンドワード対策などに後からが高くつくのを避けたい
・SNS運営が上手くいかないor続かない
・会員機能を充実させたい

■このような企業様にご利用頂いてます
・人材派遣会社
・外国人派遣会社
・介護グループ
・資格教育系
・医療・福祉系
・運送会社

スクレイピングツールをPythonにて作成いたします。
ソースコードと使用方法をまとめたファイルを納入させて頂きます。
納入物の環境構築はサポートさせて頂きます。

シンプルなサイトの構造であれば価格通り1万円でお受けすることが可能です。

以下実装経験のあるものです。
・画像URLやテキストの抽出
・クロール機能
・クロール中にプロセスが中断してしまった際に、最後のページから再開
・JavaScript対応
・CSV出力対応
・進捗状況表示

納期や価格はサイトや納品物の仕様により要相談となります。
その他機能の追加についてのご相談も受け付けております。

企業向けの大規模スクレイピングツールの作成も何なりとご相談ください。
バグ、エラー修正かつサイトのHTML構造の細かな変更は半年間無料にて対応いたします。

ご連絡お待ちしております。

WEBサイトからお客様の指定した情報をスクレイピングで自動収集します。

専門的な事は全くわからない。。という様な方でもご安心ください。

開発からサポートまで全て一人が担当いたします。

調査（スクレイピング 可能か）や相談は完全無料です
不安や迷いがあってもまずはご相談ください！オンラインミーティングも可能です！

◼︎納品までの流れ◼︎

1.お問い合わせ、ご相談

スクレイピングが可能か、ご要望などをヒアリングします。
以下項目をお聞かせください。
・対象URL
・収集したい項目
・検索ワード 、備考（検索ワード数で料金に変化はありません）
・収集範囲（何ページ目、何件など）※範囲が不明な場合はこちらで判断いたします。

2.データ収集可能か無料調査

簡易的なスクレイピングを行い、ご要望にお答えが可能か確認します。
難しければ代替案のご提案をさせて頂く事があります。

3.お見積り

プログラムの作成工数、収集にかかる時間から料金をお見積もりさせて頂きます。
作成工数 目安
5,000円~ (簡易的)
15,000円~ (標準)
30,000円~ (難しめ)
50,000円~ (かなり難しい)
収集料金 目安
3,000円 (~約8時間で完了)
6,000円 (~約12時間で完了)
10,000円(~約24時間で完了)
以降、24時間毎に10,000円

※料金は目安です。
※スクレイピング時は意図的に○○秒待機 の様な動作を組み込みます。機械判定の回避やスクレイピング先のサイトに負荷をかけない為です。ご理解頂けますと幸いです。
※2回目以降の収集はプログラム作成料金はかかりませんが、改修や機能追加の場合は別途お見積りと
なります。

4.作業開始

お見積りの内容にご納得頂けましたら、作業スタートです。
数件取得した時点で一度確認のサンプルをお送りします。

5.データ加工

データの加工は無料です。文字列と数値の変換、特定の文字で区切るなど。
複雑な場合は別途お見積りとなります。

6.納品

ご希望の出力形式で納品いたします。

7. アフターサポート

納品後の修正費用が高額だったり、音信不通になったりと納品後のトラブルのご経験はありませんか？
また、スクレイピングは対象サイトのHTMLに依存するところがあり、頻繁に改修が入る事もあります。
納品後もご安心して頂く為、月額980円で保守プランをご用意しました！
もちろん、プランの加入はご自由です。

プラン内容
月に1度まで再収集を無料で行います。
スクレイピング先のサイトが原因で改修が必要な場合、月に一度まで無償で改修いたします。
※サイトリニューアルや移転等、大規模な変更を除く
※項目や機能の追加は含まれません。

◼︎定期クローリング◼︎
Linux Windows MacOS環境があります。定期クローリングも承っておりますので
お気軽にご相談ください。メール送信やSlackなどのサービスへの通知はもちろん
API等のご用意がございましたら、取得したデータをお客様のアプリケーションへ表示　といった事も可能です。料金形態は別途ご相談となります。もちろん相談は無料です。

スクレイピング（クロール・データ収集）を行わせていただきます。
お客様のスクレイピングしたいサイトを共有していただいて、そのサイト構造等を私が調査してスクレイピング可能かお知らせいたします。

その後、お見積りを提示させていただきますので、発注いただいて作業開始となります。

▼納期
・３～7日程度
※サイトによりけりですので納期は前後します。その際は都度お知らせします。

▼値引き
大量のサイトのスクレイピングにも対応させていただきます。
その際は、ボリュームディスカウントに対応させていただきますので、ご相談ください。

▼納品形式
・csvファイル
・sqlite3
※ソースコードの納品は致しません。あくまでサービスとして実行結果をお渡しする形になります。

▼サーバー代
・スポットの場合：不要です。
・定期実行する場合：別途サーバー代として1000円/(1か月)（税抜）頂きます。クローラー数が多くなるとスケールアップするのでサーバー代は上がります。1クローラー1000円の認識で頂ければ大丈夫かと思いますが、都度相談させてください。

検索サイトでの検索やサイトURL取得、通販サイトでの検索や必要情報の抽出作業（クローリング）を行います。

例：Yahoo!で〇〇で検索したとき１位に表示されるサイトのURLの収集
例：楽天で〇〇と検索したときの最安値とその店舗名

作業内容によっては納期に間に合わない、あるいは不可能な場合もございますので予め作業内容についてご相談ください。
作業内容につきましては秘密厳守いたします。

近年、AI関連の仕事を受注することが多くなりました。
AI関連の開発では、まずどういうことができるのかについて、お客様の抱えている問題に合わせてご提案させて頂くところから始まります。

しかしながら、ご提案の際に、具体的に調査をしなければご提案そのものが難しい場合も多いのですが、実働の工数がそれなりに発生してしまうため事前調査を無償でご提供することは難しく、またお客様からのご要望も強い箇所であるため、この事前調査についての受注をお請けすることにしました。

金額に関して、調査にかかるものであり、実際の開発についてはその後ということになります。
また納期に関しては、他の仕事が立て込んでいる場合の調整期間も盛り込んでいるため、この期間フルで実働するということではありません。

目安として、最小規模(10万円)で1日程度、小規模(30万円)で4日程度、中規模(50万円)で7日程度の技術者の実働が伴うとお考え下さい。
（Lancers手数料および消費税は別途発生致します）

また期間中は、追加の情報提供をお願いする場合も多いかと存じます。
ご協力をお願い致します。

AI関連開発の事前調査（最小規模）
https://www.lancers.jp/menu/detail/83470

AI関連開発の事前調査（小規模）
https://www.lancers.jp/menu/detail/83475

AI関連開発の事前調査（中規模）
https://www.lancers.jp/menu/detail/83476

CSVやExcelファイルから検索対象のIDを読み取り、
Twitterのツイート数・フォロー数・フォロワー数・いいね数を
ファイル出力できるツールです。

近年、AI関連の仕事を受注することが多くなりました。
AI関連の開発では、まずどういうことができるのかについて、お客様の抱えている問題に合わせてご提案させて頂くところから始まります。

しかしながら、ご提案の際に、具体的に調査をしなければご提案そのものが難しい場合も多いのですが、実働の工数がそれなりに発生してしまうため事前調査を無償でご提供することは難しく、またお客様からのご要望も強い箇所であるため、この事前調査についての受注をお請けすることにしました。

金額に関して、調査にかかるものであり、実際の開発についてはその後ということになります。
また納期に関しては、他の仕事が立て込んでいる場合の調整期間も盛り込んでいるため、この期間フルで実働するということではありません。

目安として、最小規模(10万円)で1日程度、小規模(30万円)で4日程度、中規模(50万円)で7日程度の技術者の実働が伴うとお考え下さい。
（Lancers手数料および消費税は別途発生致します）

また期間中は、追加の情報提供をお願いする場合も多いかと存じます。
ご協力をお願い致します。

AI関連開発の事前調査（最小規模）
https://www.lancers.jp/menu/detail/83470

AI関連開発の事前調査（小規模）
https://www.lancers.jp/menu/detail/83475

AI関連開発の事前調査（中規模）
https://www.lancers.jp/menu/detail/83476

Webサイトから欲しいデータを自動で収集するツールの作成を行います。

例えば、以下のような要望に対応できます。
・株価や企業の決算情報を定期的に収集したい。
・商品情報や価格などの情報を収集したい。
・Webサイト上の画像やPDFファイルを一括でダウンロードしたい。

上記に限らず、Webサイトから収集したいデータがございましたら、お気軽にご相談ください。

＜ご相談から納品までの流れ＞

1. ご相談

まずは「こういったことがしたい」というご要望をお聞かせください。
その際に、以下について教えてください。
・収集サイトのURL
・収集したい項目
・ご予算の上限
　※ご予算内で対応できない場合は、ご予算内で対応可能な案をご提案させて頂きます。

2. 調査

ご相談いただいた内容をもとに、スクレイピングツールを作成することができるか調査いたします。
（調査は無料です）

3. お見積もり

調査結果を踏まえて、お見積もりをご提示させていただきます。

4. ご契約

お見積り内容に問題なければご契約をお願いいたします。
ご契約後にツールを作成します。

5. 納品

ツールの作成が完了したらツールをお渡しいたしますので、ツールの動作確認をお願いいたします。
ご指摘事項があればご連絡下さい。指摘事項がなくなるまでツールの修正を行います。
指摘事項がなくなったら納品となります。
なお、動作確認はツールをお渡ししてから1週間以内にお願いいたします。（期間は調整可能です）

ご要望に合わせて指定頂いたウェブサイトなどからページ内の情報を収集して提供いたします。取得した情報は各種フォーマット（CSV、XML、Json）での提供以外にデータベースの構築も可能です。営業リスト作成、飲食店などの料金、AI、機械学習用データ、まとめサイトなどのコンテンツ、データ入力などの人手のかかるルーチン業務の代替などでご利用頂けます。

データの取得元になる文書のファイルフォーマットはHTML、XML、json、PDF、RSSなど種類は問いません。

ご要望頂ければスクレイピングツールもあわせて提供可能です。環境構築が不要なwindows環境で利用できるものを想定しています。