Webページ情報抽出ツール開発 | スクレイピングツール

鎌形システムエンジニアリング

業務内容

【概要】
特定のWebページにアクセスし、指定HTML要素の情報を抽出、ローカルに保存するツールを開発致します。

【ツール形式】
・Node.jsによるコマンドライン形式
・アクセスURLと保存形式は予め設定ファイルで指定(変更可能)
・取得要素は開発時に指定

【機能一覧】
1.複数Webページの取得対応
 URLが異なる以下のようなページの一括取得が可能です。
 http://www.aaa.com/A.html、http://www.aaa.com/B.html....
2.シナリオ実行対応
 Aページにリクエスト後、リンクをクリックしてBページへ遷移し、情報取得を実施する等に対応
3.特定リクエストの順次実行及びインターバル指定の対応
 以下のURLでパラメータを替えて順次実行して取得したい等の対応が可能
 その際、1リクエスト実行後にインターバル秒数も指定可能
 http://www.aaa.com/foo?id=1
4.特定リクエストのパラレル実行及び同時実行数指定の対応 以下のURLでパラメータを替えてパラレル実行して取得したい等の対応が可能
 その際、同時実行可能数と実行後にインターバル秒数も指定可能
 http://www.aaa.com/foo?id=1
5.保存形式は以下を対応
 CSV、TSV、JSON、MongoDB
 その他のRDBも対応可能
6.処理状況のコンソール出力、ログファイル出力対応
 log4js設定ファイルにより出力レベルやメッセージ形式変更可能
 メール送信も対応可能

【注意事項】
・当ツールはNode.jsのcheerio-httpcliを使用したものです。
 SPAページのJavaScript実行後のリクエスト等には対応できません。
・要素の指定にid属性、class属性等CSSセレクターを使用しますが、idやclassが動的に変更されるページはスクレイピングできません。
 ・スクレイピングを明示的に禁止しているサイトは対応できません。
・上記以外の保存形式が必要な場合は別途カスタマイズが必要です。
・処理状況のはデフォルトでコンソール及びログファイルに出力されます。
 メッセージ形式は以下の形式になります。変更可能です。
 [YYYY-MM-DDTHH:mm:ss.mi] [DEBUG/INFO/ERROR] (hashvalue) - (メッセージ内容)
・上記以外の機能についてもご相談お受け致します。(料金別途)

基本料金

プラン
12,500

ベーシック

はじめての方におすすめ
納期
7 日
合計
12,500円

出品者

鎌形システムエンジニアリング
鎌形システムエンジニアリング (c-ja)

kintone開発専門のエンジニアです。kintone運用中のお客様向けの伴走支援も実施中です。

鎌形システムエンジニアリングの鎌形と申します。
SEとして21年 業務システム開発に従事し、kintone開発専門で活動を始めて、今年で9年目を迎えます。
kintoneについては、新規導入時のコンサルティングから、アプリ開発、JavaScriptカスタマイズ、既存システム運用保守までトータルでサポート可能です。
特にJavaScriptを使ったカスタマイズが得意です。オリジナルの機能を御社向けに実装いたします。

<2023年度 kintone開発売上実績>
売上案件数:64件
取引先件数:17社
※ランサーズ以外の受注も含む

<直近の実績一例>
・SalesForceからkintoneへ移行開発(取引先マスタ、担当者マスタ、案件管理アプリ開発)
・日付フィールドの計算処理実装
・計算結果が手修正可能な自動計算フィールドの開発
・kintone新規導入コンサルティング
・日報管理アプリ開発
・エアレジとの連携開発(在庫管理システム開発)
・サイボウズOfficeカスタマイズ(商品マスターのサムネイル一覧画面開発)

【注意】
kintone運用者と直接やり取りできない、仲介案件はお断りしております。
理由は、仲介者を通すと、お互い話の真意が伝わりづらく、時間も掛かる傾向にあるためです。

<英日翻訳業務>
IT系ドキュメントやシステムUIの英日翻訳業務も承ります。
特に開発者/技術者を対象とした技術的なコンテンツやドキュメントなどを得意としています。
実績は開発者向けコンテンツやセキュリティ文書に加え、ニュース、ブログ、プレスリリース、
マーケティング資料など多岐にわたります。定期案件や大型案件、長期プロジェクトにも対応可能です。
Trados等、ツールによる翻訳案件も対応可能です。

注文時のお願い

以下の情報をメッセージで送信してください。
①抽出対象のホームページURL
 例:https://www.hoge.com/product.html
②抽出する具体的なデータ
 例:ページ内の商品名、商品説明のテキスト。<p>タグの内容。
③出力ファイル形式
 例:CSV形式
 サンプルが有れば一緒に送付ください。