スクレイピングの開発とクラウド上で定期実行する環境を提供します

terask
  • terask (terask)
  • 本人確認 本人確認済みのフリーランスです
  • 3 満足
    0 残念

業務内容

WIP. パッケージ化中。

スクレイピングの開発・運用環境をシンプルかつ高い水準でパッケージ化しました。

  • クラウド上に配置して定時実行されます(もちろん手動も)
  • 結果はクラウド上に格納されるのでいつでもダウンロードできます
  • ローカルでの開発・実行方法が(エンジニアであればすぐに開発できる水準で)整備されています

  • 固定の特定ページ内から抽出するだけでなく、対象のページが動的に決まる(ほかのページのコンテンツから決まる)場合などにも対応できる仕組みで作っています。
     - クリックやフォームの入力などの操作によって決まる場合でも対応できる仕組みにしています
  • クラウド上では並列で実行されます(設定可能)
  • スクレイピング中にリアルタイムにご指定のデータベースに保存することもできます
  • スクレイピング開始のトリガーは柔軟に作ることができます。例) 特定メールを受信したら開始

私の本業での得意領域そのままに

  • 後続のエンジニアが改修しやすい開発・運用環境
  • クラウド利用なのでサーバーの管理不要。GCPを想定していますがコンテナーなので移行も容易。VPSも可。
  • (必要であれば)本番環境と検証開発環境の二系統を用意
    などが含まれます。

基本料金

プラン
20,000

ベーシック

指定サイトがスクレイピング可能であるかの簡単な調査と。
スクレイピングの開発・運用環境の提供。
(サイト対応含まず、仕組みの提供まで)
40,000

スタンダード

指定サイトのスクレイピング対応。出力データ(CSVなど)を指定の形へ整形。
金額は想定作業量に応じて可変。
80,000

プレミアム

各種複雑な場合に対応、または柔軟に対応。
e.g. 外部データベース連携。トリガー整備。
納期
1 日
7 日
14 日
合計
20,000円
40,000円
80,000円

オプション料金

Windows対応
30,000円 / 納期 +1日

出品者

terask
terask (terask)

おそらく高水準です

  • 3 満足
    0 残念
  • 本人確認
  • 個人
  • 東京都

副業の経験はまだまだ浅いので、平日の夜や週末ワーカーとして稼働したいと考えています。
まずは任せやすい(自走させやすい)コーダーとして見ていただければと思います。

Lancersの利用は初めてなので不手際のご容赦いただけると幸いです。

【経歴】
- ウェブアプリ(インフラ選定から運用の一通りを複数回含みます)
- バックエンド・Python関連10年
- フロントエンド(直近は浅くなっています)

小規模に限りますが、技術面はゼロベースからの選定設計開発・運用が可能です。

【現在の業務内容】
- 業務ウェブアプリ設計開発
- toBウェブアプリ設計開発
バックエンド設計開発・開発環境・CI/CD・インフラ連携を中心にフロント開発やBizとのコミュニケーションを含めて行っています。
(フルスタックをベースとしてチームメンバー内・外である程度分業してます)

やっていないこと(スキル外なので他の方に任せていること)は
- SEOや詳細な数値計測
- UI/UXデザイン・デザインを精密に反映するウェブコンポーネント開発
(一般的なレベルでデザイナーやプロダクトマネージャーとの議論は行います)
- 近代的な中規模以上のインフラ・セキュリティのゼロベースからの設計
(Terraformなどは趣味レベルor習熟度の高い方に助けられながら行うようなイメージです)
- ピープルマネジメント(実戦経験に基づき苦手です)
- 長期計画・経営視点(意識はしたいものですが、私は手を動かすエンジニアです)

【可能な業務】

【開発言語】
- Python(機械学習とGUI開発を除き概ねを含みます)
- Node.js / TypeScript (Nuxt.js)
- Makefile,Docker,GitHub Actions,ほかCI/CD

※ 私個人としてはLinux上でしか開発作業をしたことがなく、Mac環境を所有していません。Mac互換の環境開発は概ね行うことができます。

【稼働時間】
副業の経験はまだまだ浅いので、平日の夜や週末ワーカーとして稼働したいと考えています。
まずは任せやすい(自走させやすい)コーダーとして見ていただければと思います。

本業はリモートワークでリアルタイム性は低いので短時間MTGなどは調整可能です。

【SNS】
- GitHub: ___
- GitHub: @splat-report

よくある質問

運用費
概ね一度のスクレイピングで取得するデータ量に比例します。 概ね$1/月をみれば十分です。 数ドル/月を超える可能性がある場合は事前にお知らせ・相談します。 画像を(URLではなく実際にデータとして)収集するなどでデータ量が膨れる場合は大きく変わります。
実装言語
Pythonです。 Node.jsなどへの移植も用意ですが、今パッケージとして用意できているのはPythonだけです。

注文時のお願い

クラウド上からのアクセスを拒否しているサイトがあるので、事前に簡単な調査が必要です。

基本的にはクラウドプラットフォームへのクレジットカード登録が必要になります。
  • 20,000

    指定サイトがスクレイピング可能であるかの簡単な調査と。
    スクレイピングの開発・運用環境の提供。
    (サイト対応含まず、仕組みの提供まで)

    納期 1日

    今相談すれば最短1営業日以内で依頼できます

    受付休止中

    ※金額・依頼内容の調整も相談できます

  • 40,000

    指定サイトのスクレイピング対応。出力データ(CSVなど)を指定の形へ整形。
    金額は想定作業量に応じて可変。

    納期 7日

    今相談すれば最短1営業日以内で依頼できます

    受付休止中

    ※金額・依頼内容の調整も相談できます

  • 80,000

    各種複雑な場合に対応、または柔軟に対応。
    e.g. 外部データベース連携。トリガー整備。

    納期 14日

    今相談すれば最短1営業日以内で依頼できます

    受付休止中

    ※金額・依頼内容の調整も相談できます

  • カスタマイズ

    プランが決まってない方はまず相談しましょう

    まずは相談する(無料)