システムが完了後1週間後に使えなくなった

  • Webシステム開発・プログラミングの相談
  • 回答受付中
  • 回答数:4
  • 閲覧数:724
  • お気に入りの相談に追加
    ログインすると「お気に入りの相談」リストに追加できます。
    「お気に入りの相談」に回答やコメントがあると、お知らせ通知が届きます。

dljkjgiojgggj (dljkjgiojgggj)

ログインすると、dljkjgiojgggj (dljkjgiojgggj)さんに「ありがとう」を伝えられます。
スクレイピング機能を作ったのですがDOMの構造が変わったため全く機能しなくなりました。完了後1週間後です。もう本業が忙しいから修正も出来ないと言われているので正直なにに10万を払ったのかよく分かりません。どうしたらいいのでしょうか?
投稿日時:2022年07月08日 07:43:27

回答者コメント

素人なもので恐縮ですが
【構造が変わる→機能しなくなる】
は誰が悪いのでしょうか?

業者が納めた納品物に不具合があるのか
お客さんが納品物に対して何か好ましくない事をしてしまったのか
いずれでもなく、仕方ないものなのか

それと大事なのは契約内容ですね
業者がどこまでの範囲対応するのか?
予算に限りがある場合は初回提出を条件とする場合もあります

……とはいえ、「本業が忙しいから」は理由になってないという印象です





投稿日時:2022年07月08日 08:46:33

回答者コメント

クライアントからランサーへは請け負い契約になります。以下読んで、どちらに問題があるか検討して、相手と折衝しましょう。
https://www.ishioroshi.com/biz/kaisetu/it/index/ukeoi_juninin/

ランサーズは契約書を発行しませんので、世間の標準が適用されるものと思いますが、システム制作依頼って、普通のライティングと違ってしっかり契約しないと、いつまでバグ取りするか?とか怖いなと思います。

ご仕様の問題か?ランサーの問題か?誰も判断しかねますので、ご自分でネットで調べてみてください。あとは無料法律相談でも使うといいでしょう。

そして、今後は、10万円以下であっても、貴社が「事細かな契約書」を作ってきちんと取り交わすのがよいでしょう。
NDA契約書も結んでください。

ログインすると、ミミノコ|Word.Studio 青野 (study21)さんに「ありがとう」を伝えられます。
投稿日時:2022年07月08日 09:54:29

回答者コメント

Pythonの案件ですね?

ひとつポイントになるは、

◇スクレイピング対象のサイトは、スクレイピングを禁止・問題視していないサイトなのか?

でしょう。

ざっと調べてみたのですが、「トップコート法律事務所」の解説コラムに次のようなことが書かれていました。


トップコート法律事務所
スクレイピングは違法?3つの法律問題と対応策を弁護士が5分で解説
https://topcourt-law.com/internet_security/scraping-illegal

**以下、記事本文より一部引用**
2010年3月、愛知県にある岡崎市立図書館の蔵書検索システムにアクセス障害が発生し、その利用者の一人が逮捕されました。

逮捕された人物がLibrahackというサイトを開設していたことから、「Librahack事件」とも呼ばれています。

逮捕された男性の目的は、岡崎市立図書館の蔵書検索システムの使い勝手に不満であったため自分で作ったクローラによって、蔵書検索システムから図書の情報をスクレイピングすることにありました。この男性は、蔵書検索システムに執拗にリクエストを送りつけたものとして偽計業務妨害容疑で逮捕されたのです。

スクレイピングをしたことで逮捕された、という事業者から見るとすごい怖くて、ドラスティックな事件ですよね。

この事件から言えることは、スクレイピング自体には違法性がないものの、誤った使い方をしてしまうと、逮捕された男性のように容疑をかけられる可能性があるということです。

「誤った使い方」としては、

スクレイピングの頻度が高く、相手に対する負荷が大きすぎる
スクレイピングにより取得した情報を不正に使用する
といったことが挙げられます。

結局のところ、この男性は業務妨害の強い意図が認められなかったことなどを理由に、起訴猶予処分となりましたが、少なくとも、スクレイピングを問題視されて逮捕されたという事実を軽く受け止めてはいけないものと考えられます。

~~~~~~~~~~~~~~~~~~~~~~~~~

事業者がスクレイピングをする際には、以下の3つの法律問題をクリアする必要があります。

著作権法上の問題
利用規約との抵触
サーバーへの過度なアクセス
**ここまで**


DOMはWEBサイト構築のために使うAPIですよね。
そのランサーが作ったサイトでない限り、ランサ―には何の罪もありません。

「スクレイピングに気付いたサイト運営側が、サーバ負荷や著作権侵害等の被害を防止するためにDOM構成を変えた」可能性はないのでしょうか?
その場合ランサーには何の罪もありませんし、スクレイピング実行者であるあなた側に責任の一端がある、とも考えられますよね。

WEB上の自社コンテンツへのアクセスには、セキュリティの観点からどこの企業も敏感になっています。
スクレイピングに手を出すこと自体を、慎重に考え直してみるほうが良いかも知れません。
上記のように実在の法律事務所が、わざわざ注意喚起のための記事を書いているくらいですから。
ログインすると、文字もじモジュール.com (vyora)さんに「ありがとう」を伝えられます。
投稿日時:2022年07月08日 10:37:39

回答者コメント

先の回答で挙げた問題のうち著作権侵害については、例外規定があるため可能性は低いかも知れません。


**以下、トップコート法律事務所の解説記事から該当箇所引用**
(2)「情報解析を目的とした記録または翻案」
コンピュータによって情報を解析することが目的である場合には、例外的に著作権者の同意を得ることなく、スクレイピングによって取得した他社情報などを記録媒体に記録したり翻案することができます。

「翻案」とは、取得した情報に新たに表現を加えることをいいます。

もっとも、以下のような場合には、違法となる可能性があるので注意が必要です。

取得情報を複製した物の譲渡
目的外利用
簡単に見てみましょう。

①取得情報を複製した物の譲渡
スクレイピングによって取得した情報を他人に譲渡することは、著作権法上禁じられています。そのため、スクレイピングで他社情報を取得した事業者は、取得した情報を自社で独自に分析したうえで、再構成する必要があります。

②目的外利用
情報解析目的以外の目的で利用した場合には、著作権法に違反することになります。

そのため、スクレイピングをする際には、あくまで「情報解析」を目的としたものでなければなりません。

以上のように、スクレイピングをする際には、取得する情報が「著作物」にあたるかどうかをきちんと確認する必要があります。取得する情報が「著作物」にあたるのであれば、スクレイピングが違法とならないよう、以上に挙げた2点をしっかりと確認するようにしましょう。
**ここまで**


ですが同記事では他にも、

◆サイト利用規約に抵触していないか?
◆対象サイトのサーバーに負荷をかけていないか?

を問題点として挙げています。


スクレイピングを依頼したサイトの全てに対して、上記の問題をクリアしていることを確認したのでしょうか?
例えば、ランサーズの利用規約・第34条の禁止行為では、(14)項で次の行為が禁止されています。


**以下、利用規約第34条14項より抜粋引用**
(14)本サイトのセキュリティホールやバグの利用・不正アクセスや人為的な高負荷アクセスを発生させる行為、本サイトによりアクセス可能な本サイト又は他者の情報を改ざん、消去する行為、他者の設備又は本サイト用設備(本サイトがサービスを提供するために用意する通信設備、通信回線、電子計算機、その他の機器及びソフトウェアをいい、以下同様とします。)に無権限でアクセスし、又はその利用若しくは運営に支障を与える行為、本サイトを逆アセンブル、逆コンパイル、リバースエンジニアリングする行為。
**ここまで**

ランサーズ利用規約
https://www.lancers.jp/help/terms


上記はサイト利用規約の条文の一例ですが、はっきりと「スクレイピング」の文字が含まれていなくても、『人為的な高負荷アクセスを発生させる行為』に抵触する恐れがありますよね。
サイト利用規約は条文が多い上に細かいですから、全て確認するのは大変かも知れません。
対象サイトがいくつあるのかもわかりませんが、「5000近くあるurlを取得し」と依頼説明に書かれていますから、きっと1つや2つではないのでしょう。
スクレイピングに関係しそうな利用規約の見落としがないかどうか、再確認なさってみてはいかがでしょうか?
ログインすると、文字もじモジュール.com (vyora)さんに「ありがとう」を伝えられます。
投稿日時:2022年07月08日 10:55:50
会員登録する (無料)