moto4554
契約金額：4000円 ~ 5000円
2019年2月18日
この度はお取引ありがとうございました。
株深サイト pythonによるスクレイピング（クローリング）ツール作成 [ Webシステム開発・プログラミング の仕事 ]
株深サイト pythonによるスクレイピング（クローリング）ツール作成に関する仕事・募集案件ページです。クラウドソーシングのランサーズで、Webシステム開発・プログラミングに関する最適な外注/発注先をお探しの方、副業案件・求人をお探しのフリーランスの方はまず会員登録がおすすめです。
ろーいん (yoshitaka_hh)
募集開始:
2019年01月26日
募集終了
依頼概要
※現在は、AI判定対象外の仕事です
- 依頼番号：2261339
- 終了
- 源泉徴収されない
- 経験者優遇
開始： 2019年01月26日 締切： 2019年01月31日 13:10 希望納期： 2019年02月16日
提案状況
提案数 3件
お気に入り 2人
閲覧数 194回
進行中 0人
完了数 1人
実際の受注者からの評価
moto4554
依頼詳細
- 依頼の目的・背景
-
はじめて利用させていただきます。
ＩＴに詳しくないため、不十分な点あるかと思いますが以下ご確認いただけますでしょうか。
（依頼概要）
株深サイト（https://kabutan.jp/stock/news?code=XXXX）のニュースタブの一覧及び詳細情報を取得し、
銘柄コード（XXXX）ごとにファイル出力する。
※XXXXには上場企業の銘柄コード４桁が設定されます。
取得したい銘柄コードをリスト化したテキストファイルを読込み、順にクローリングを行う。
（取得したい情報）
<一覧画面>
①日付（YYYYMMDD）
②時間（hhmm）
③識別子（「材料」「開示情報」「決算」 等 ）
④タイトル
⑤詳細画面のURL（絶対パス）
<詳細画面>
⑥詳細情報全て（改行コードは特殊文字に置き換える）
※注１ 一覧の識別子「開示情報」の場合、詳細画面はPDFのため詳細情報は取得しない
※注２ 一覧の識別子「決算」または「修正」の場合、詳細画面には５つの表も含まれています。
これらの情報も一覧に展開していただきたいです。
１つのニュースを１行にして、上記①～⑥を可変長CSVファイルとして出力。
（クローリングする順番・範囲）
・直近から順に取得
・但し、指定した遡り日に達する、又は前回取得したニュースと同じニュースに達した時点で、クローリングを終了する。
（処理タイミング・頻度）
・１日に１回（夜間）
（出力ファイル仕様）
・銘柄コードごとにファイル作成（XXXX.csv）
・上記①～⑥を設定
・ニュースが更新された場合、追加されたニュースのみの差分ファイルではなく、全件ファイルを作成。
ニュースが更新されていない場合は、タイムスタンプを変更しないようファイルを更新しない。
（その他機能）
・取得するニュースを識別子で選択できるようにする。
例）「テク」や「市況」を除く など
（留意いただきたい事項・懸念事項）
・相手側のサーバーに負荷がかからないように配慮
・今後会員登録予定ですが、開発において影響があるかどうか
・再現性の確保
誤って日に何度処理を行っても結果が変わらないことを担保
（ソース）
・pythonの勉強を始めたところなので、ソースの提供及び可能な限りコメントを記述いただけると大変助かります
- サイトの種類
- その他
- 作業範囲
- ランサーに相談して決めたい
- 用意してあるもの
-
- 参考URL
- 設定なし
- 希望開発言語
- Python
- フレームワーク
- ランサーに相談して決めたい
- 開発の継続性
- ランサーに相談して決めたい
- 補足説明
-
○環境
・Windows7 64bit
・virtualBoxでUbuntuの仮想マシンを構築
・phthon3,mongoDB,BeutifulSoup,pyquery,lxml,pandas等基本的なライブラリ
質問・回答一覧この依頼に関する質問と回答コーナーです
回答・質問はありません。
この依頼に質問する
Webシステム開発・プログラミングの新着の仕事
- 最近依頼されたWebシステム開発・プログラミングのお仕事です
募集中
あと4日
LINEのAPIでスプレッドシートにメッセージを吐き出す設定方法の指南の依頼
- Webシステム開発・プログラミング
- IT・通信・インターネット
プロジェクト
5,000
円
~
10,000
円 / 固定
【依頼概要】
【注意】本案件は製作の依頼ではなく、製作方法をオンライン等で指南いただきたいというものです。
・詳しい依頼内容：
LINEグループにて、営業マンからヒアリングシートを受け取り、その内容をスプレッドシートにコピペする
という作業を手で行っています。
この動きをAPI連携で完全に自動化したく考えております。
定型文のためトリガーの条件等に難航することはありませんので、
単純な...
募集中
あと4日
【急募】Djangoで韓国向け輸出DXツール開発の依頼
- Webシステム開発・プログラミング
- IT・通信・インターネット
プロジェクト
50,000
円
~
100,000
円 / 固定
【依頼概要】
・依頼の背景：
韓国市場への輸出を促進するためのデジタルトランスフォーメーション（DX）ツールを開発したいと考えています。特に、プロキシやスクレイピング機能が必要です。どちらかというと長期的に保守運用なども今後ご依頼させていただきたく思っております。
・詳しい依頼内容：
Djangoを使用して、韓国向けの輸出業務を効率化するためのシステムを構築します。具体的には、データ収集や...
募集中
あと3日
Python FlaskでのバックエンドAPIのテストアプリ開発。
- Webシステム開発・プログラミング
- IT・通信・インターネット
プロジェクト
100,000
円
~
200,000
円 / 固定
【依頼概要】
・依頼の背景：
既存のPython Flaskウェブアプリのバックエンド機能を検証するために、テストアプリを開発したいと考えています。簡単な機能を実装してもらいたいです。ラズパイに作ってます。ＩｏＴです。
・詳しい依頼内容：
具体的には、既存のAPIエンドポイントに対するリクエストを行い、そのレスポンスを確認するためのシンプルなテストアプリを作成していただきます。必要に応じて...
募集中
あと3日
【急募】経験者優遇！リモート可のSAP導入プロジェクト要員募集
- Webシステム開発・プログラミング
- IT・通信・インターネット
プロジェクト
200,000
円
~
300,000
円 / 固定
【依頼概要】
・依頼の背景：
現在、当社ではSAP導入プロジェクトを進めており、専門的な知識と経験を持つ要員を急募しています。リモートでの作業が可能なため、全国どこからでもご応募いただけます。
・詳しい依頼内容：
SD、PP、FI、COなどのモジュールに関する実務経験がある方を対象に、要件定義からテストまで幅広く対応していただきます。特にリモートでのコミュニケーション能力が求められます。
...
募集中
あと5日
公式LINE向け英単語問題配信システム開発
- Webシステム開発・プログラミング
- 塾・予備校
プロジェクト
200,000
円
~
300,000
円 / 固定
【依頼概要】
・依頼の背景：
英語学習を支援するため、公式LINEを通じて英単語問題を配信するシステムを構築したいと考えています。多くのユーザーに利用してもらうため、使いやすさや機能性が求められます。
・詳しい依頼内容：
このシステムでは、ユーザーがLINE上で簡単に英単語問題に挑戦できるようにし、解答結果をフィードバックする機能を実装します。また、ウェブサイトとの連携も必要ですので、デー...
