ヘッドレスChrome+puppeteer+nodejs上で特定サイトのスクレイピング処理の修正の仕事

見積もり募集の結果

見積もり募集の内容

提示した予算

1 円 ~ 5,000 円

依頼概要

centos7にヘッドレスChromeとpuppeteerとnodejsをインストールして、動的に更新されているサイトをスクレイピングしています。
一応、ログイン処理と実際に「情報を取得する」処理自体はできたのですが、以下の問題があります

・要素（クリックボタンなど）が見つからないエラーが出たり出なかったり
・動いたり動かなかったり
・取得した情報が空（ajaxで表示させているみたいなのですが、「取得」ボタンを押せるのですが取得した情報が空）

という問題を抱えています。

理想としては

1　ログイン
2　指定ページへ移動
3　絞り込み検索
4　CSVダウンロード

なのですが、2まではできています。
3の絞り込み検索なのですが、フォームに値を入れるところまで成功し
await page.screenshot({ path: 'test.png', fullPage: true })
で実際にフォームに値が入っているのは見えています。（添付画像calendarOpen.png)

ですがその状態で絞り込み検索をしても情報が取得できない、といったところです。

推測ですが、入力した条件を確定する「apply」ボタンが押せていないと思っています。
なので条件未指定のままCSVを出力しているのでだめなんだと思っています。

CSVがダウンロードできればいいのですが、どうしたらいいかお手上げです。

不明なところも多数あると思います。
お気軽にお問い合わせください。

ソースは添付します。

（自動メッセージ）選定期限を経過しても当選決定やキャンセルが行われなかったため、自動キャンセルとなりました。

添付ファイル

※ 締切後、添付ファイルはクライアントと当選したランサー以外は閲覧できません

• calendarOpen.png
• test.js