6月30日まで 新規会員登録とパッケージ出品で 2000円割引クーポンプレゼント! ※無くなり次第終了 ご利用方法

卸サイト・メーカーサイト等から商品データと商品画像を取得します

Webスクレイピングにより卸サイト・メーカーサイト等から大量の商品データと商品画像を自動的に取得する。

Uehara Kenichi

業務内容

▼こんな方へオススメ
楽天やYahoo!ショッピングに出店し、商品を登録しようとしたが、そもそも仕入れ先のサイトにある商品データや商品画像を取得できていない方。
とりあえず、ネット卸から商品データCSVだけは取得できたが、画像のダウンロードができずに困っている方。

Webスクレイピングにより、大量の商品データと画像を取得することが可能です。

▼ご提供内容
1)卸サイト、メーカーサイトの商品データを取得します。
 商品CSVファイルを取得できなくても、Webスクレイピングによりデータを抽出できます。
 特にBtoB専用カートで国内最大手のBcartからのデータ取得は実績があります。
 もちろんBcart以外の卸サイト、メーカーサイトからも対応可能です。

2)卸サイト、メーカーサイトの商品画像を取得します。
 商品画像を一括ダウンロードできなくても、Webスクレイピングにより画像を取得できます。

▼ご購入後の流れ
1)ランサーズ上の「メッセージ機能」または「ビデオ通話機能」で詳細を詰めます。
2)以下をご提供ください。
 ・卸サイト、メーカーサイトのIDとパスワード
3)商品データを取得します。
4)画像ファイルを取得します。
5)商品CSVファイルと商品画像ファイルを提供します。

▼特徴
・ログインが必要な会員サイトや卸サイトのスクレイピングが可能
・ボタンをクリックしてファイルをダウンロードする等の複雑な操作が可能

▼料金プランやオプション
スクレイピング対象サイトが複数の場合、1万ページを超える場合は、別途見積もり致します。
商品データをYahoo!などのモールに登録するサービスは、別パッケージで提供しております。

業務
データ収集・マイニング・スクレイピング

基本料金

プラン
10,000

ベーシック

テキスト100ページと画像2000個まで
50,000

スタンダード

テキスト1000ページと画像20000個まで
100,000

プレミアム

テキスト1万ページと画像10万個まで
納期
14 日
21 日
30 日
合計
10,000円
50,000円
100,000円

オプション料金

スクレイピング対象サーバが複数ある場合
50,000円 / 納期 +7日

出品者

Uehara Kenichi
Uehara Kenichi (ueken10)

EC業務自動化エンジニア

EC業務の自動化を得意とするBizOpsエンジニア兼コンサルタントです。
東京在住。
責任者としてネットショップの企画、構築、運用の経験があり、EC業務の自動化を主導した実績があります。
主に、中小企業・個人事業主向けのシンプルで運用しやすいネットショップの構築及び業務自動化を得意としています。
Yahoo!ショッピング、BASE、Stores、カラーミーショップなどの経験がありますが、これからはShopifyに注力したいと考えています。
スクレイピングによるWEB情報収集なども対応可能ですので、ご相談ください。

▼可能な業務/スキル
・Shopify構築
・ネットショップの商品登録(Shopify、BASE、Yahoo!ショッピング)
・ドロップシッピングの発注の自動化
・ネットショップと問屋の在庫連携
・宅配便の配達状況の自動追跡(ヤマト運輸、佐川急便)
・スクレイピングによるWEB情報収集
・Rubyによるプログラミング

▼Shopify構築の詳細
・プランはベーシック、スタンダード、プレミアムに対応。Shopify plusには対応しておりません。
・テーマは無料テーマ(公式)に対応。有料テーマには非対応。
・テーマカスタマイズは簡単なHTML/CSS/Liquidコードの編集は対応しますが、高度なデザイン編集は致しません。
・アプリのインストールと設定は対応しますが、アプリ作成は受け付けておりません。
・商品登録は最も得意なスキルです。大量の商品登録や他カートや他モールからの商品データ移行などなんでも対応します。
・多店舗展開、在庫連携は応相談です。
・運用代行は致しません。
・広告運用は致しません。

▼資格
Shopify Partner Boot Camp in Japanを修了

▼活動時間/連絡について
活動時間は基本的に土日です。平日は18時以降となります。
世田谷、渋谷、目黒近辺でしたら、お会いしてのリアル打合せの可能ですが、特別料金を頂きます。

ご興味持っていただけましたら、メッセージでお気軽にお声がけください。
どうぞ宜しくお願いいたします!

よくある質問

なぜログイン必須のサイトやボタン操作が必要なサイトのスクレイピングができるのか?
通常、WebスクレイピングにはBeautifulSoupやScrapyなどのスクレイピング用ライブラリを使うことが多いのですが、それらではログイン操作やボタン操作が難しいのです。 一方、Seleniumというブラウザ操作フレームワークとヘッドレスChromeを組み合わせて使うと、ログイン操作やボタン操作などブラウザでできることは実質的に何でもできます。その分、スクレイピング用の便利機能はないのでコードはたくさん書かなければならないのですが、最強のフレームワークだと思います。
スクレイピング先のWebサイトにBAN(アクセス拒否)されることはありませんか?
卸問屋の担当営業に卸サイトのテキストも写真も自動でとって自由に使って良い、と言われたのにいざスクレイピングを始めると途中でアクセスできなくなる、というのはスクレイピングあるあるだと思います。最近のサーバーでは標準的にWAFやIDSが入っているので、担当者が良いと言おうと、自動的にBANされることがあるのです。当方はサーバーに負荷をかけないように間隔をあけ、自前のPROXYサーバーを通してヘッダーを隠蔽し、かつIPアドレスを分散するのでBANを回避できます。
画像認証のサイトに自動ログインしスクレイピングは可能ですか?
ログインしようとすると「画像として表示されている文字列」を入力させる認証を、CAPTCHA認証といいますが、最近増えてきました。「私はロボットではありません」というメッセージが出て、「横断歩道」や「信号機」などの画像選択させるタイプ(reCAPTCHA)もあります。現状、CAPTCHA認証を突破するのは、おそらく画像認識や機械学習で回避できるかもしれませんが、当方の実力では難しいです。したがってログイン時のみ目視チェックして手動操作で認証するという方法で突破してスクレイピングすることになります。

注文時のお願い

事前に卸サイトやメーカーサイトの商品データ取得が許可されていることを確認してください。
PDFや電子カタログなどは、サイト上からデータを取得できません。