月額0円〜でスクレイピングを行うシステムをAWS上に構築します
業務内容
【サービス内容】
AWS Lambdaを活用したスクレイピングシステムの開発を提供いたします。Lambdaは「サーバレス」サービスと称され、これによりサーバの管理を必要とせずにスクレイピングを定期的に実行できます。このシステムの導入により、スクレイピングのためにパソコンを常時稼働させる必要がなくなり、また、サーバの故障によるスクレイピング不能といった状況も回避できます。このシステムで利用するサービスは、毎月の無料枠が大きいため、一般的な利用ケースではAWSの利用料金は無料となります。サービスの購入時に、スクレイピングを行うWebページのURLと収集対象データの詳細をお知らせください。また、出力や通知の形式はお客様のニーズに応じて柔軟に対応します。通知は、Line、Eメール、Slack、Discordなどが選択可能です。
開発言語はTypescriptです。
要望がございましたら詳細なコメントをソースコード中に記載致しますので、プログラミング言語の学習にもお役立て頂けます。
※ Webページによってはスクレイピングが禁止されている場合があります。利用規約をお客様自身でご確認いただき、システムの利用はお客様の責任で行ってください。
【お客様の役割】
まずは、お客様にAWSアカウントの作成と、「Administrator Access」権限を持つIAMユーザの作成をお願いいたします。その後、ユーザーの情報を我々と共有していただきます。スクレイピング環境のお引き渡し後は、セキュリティ上の理由から該当ユーザーを削除してください。
【AWS月額料金の目安】
無料
LambdaやEventBridgeなど、このシステムで使用するサービスは毎月大きな無料枠があり、一般的な利用ケースでは無料となります。
【使用サービス】
AWS Lambda(スクレイピングの実行)
Amazon EventBridge(Lambdaを定期実行)
Amazon DynamoDB(ログの保存等)
AWS認定エンジニアがAWS運用・機能構築をお手伝いします
業務内容
お目通しありがとうございます。
【本サービスについて】
AWSの運用からインフラの構築、これから導入を考えている方への開発サポートなどを中心にお手伝いさせていただきます。
ご質問や不明点、些細なお悩みでもお気軽にお問い合わせてください。
お客様のご要望にお応え出来るよう尽力いたします。
【このようなお悩みを抱えていないですか?】
・需要に応じて柔軟に変動する、コスト効率の良いサーバーが構築したい。
・複数のデータセンターに跨って構築される、耐障害性と高可用性の優れたDBを設定したい。
・大規模ストレージを利用して、データ共有やWebサイトのホスティングを実現させたい。
・サーバレスでコスト効率の良い機能を構築したい。
・ソーシャルメディアアカウントを使用した認証機能が欲しい。
上記以外のことでも全てご相談ください。
【過去の対応事例】
◯EC2、ELB、AutoScaling機能を使用したインフラ構築
◯ApiGateway、Lumbda、RDS、RDSProxyを利用したサーバレス機能の構築
◯ECR、ECSを利用したDockerイメージの構築、コンテナクラスターの作成
◯S3への静的ウェブサイトのホスティング
◯CloudFormationを利用した、再利用性のあるインフラの構築やコスト管理
◯Route53を利用したドメイン登録や移管、DNSルーティングの設置
◯Cognitoを利用した認証機能の構築
◯CodePipelineを利用したCI/CD環境の構築
【主な使用サービス】
★EC2.EBS
★ELB
★AutoScaling
★Route53
★S3
★ApiGateway
★Lumbda_
★ECS.EKS.ECR
★CloudFormation
★Cognito
上記内容に該当しないものでも一度ご相談ください。
お客様のご要望を元に柔軟に対応させていただきます。
ご相談、ご依頼の程お待ちしております。