-
AIを用いた旅館のウェブサイトのI18N化（国際化)
私は、旅館のWebサイトにおける多国語翻訳プロジェクトにおいて、1人でコーディングと翻訳を担当しました。
記事の一覧が与えられず、Webサイトからスクレイピングする必要があったため、私はScrapyを用いて記事を収集しました。また、中国語(マンダリン)、スペイン語、ヒンズー語、アラビア語の翻訳も必要でしたが、私はChatGPTを用いて流暢な文章に翻訳するための工夫をしました。
日本語では曖昧な部分をはっきりとした文章に書き直し、Google SheetとGoogle Translateを用いてChatGPTが生成した翻訳のダブルチェックも行いました。私自身は、中国語、スペイン語、ヒンズー語、アラビア語をまったく扱えないため、翻訳の正確性を確保するためにダブルチェックを行いました。また、ChatGPTに命令する命令文についても、元の文章の意味を変えてしまわないように工夫しました。
記事を翻訳することで、世界中の顧客に旅館の魅力をアピールすることができ、ビジネス上の成果を生み出すことができました。私の貢献により、旅館のWebサイトがグローバルな市場で競争力を持つことができました。ChatGPT, Google Translate, Google Sheet, Python
-
フランス大手ショッピングサイトのスクレイピング
フランスのECサイトを対象としたデータ収集プロジェクトにおいて、価格、商品概要、使い方、画像等の情報を効率的に収集するためのスクレイピング技術を開発しました。このプロジェクトでは、PostgreSQLデータベースを活用して特定ブランドのデータ抽出や新規商品のみのスクレイピングを実現し、効率的なデータ管理を可能にしました。また、BrightDataのHTTP Proxyを利用してスクレイピングを行いました。
ヘッドレスブラウザではなくScrapyを使用してスクレイピングを行いましたが、Ajax通信でページネーションされていることに遭遇しました。この問題に対処するために、JavaScriptをパースし、ページネーション先URLを取得する技術を習得しました。これにより、迅速かつ正確なデータ収集を実現し、プロジェクトの成功に貢献しました。
このプロジェクトにより、クライアント企業は迅速かつ正確に商品情報を収集できるようになり、市場調査や競合分析において有用な情報を得ることができました。さらに、新規商品のみを効率的に抽出できるようになったことで、クライアントは市場動向を把握しやすくなり、適切な戦略を立てることが可能となりました。これらの成果は、クライアントのビジネス展開や競争力向上に寄与しました。
この経験を通じて、データ収集やデータベース管理におけるスキルを向上させるとともに、技術的な課題に対処する能力を強化しました。これらの経験は、将来のプロジェクトでも活かすことができ、あらゆる業界でデータ収集やデータベース管理が求められる現代において、私の職業経歴の強みとなります。また、プロジェクトがビジネス上の成果を生むことを実感し、技術力をビジネス価値に変換する力を身につけました。scrapy, postgresql, Django, BrightData, http proxy
-
Tableauダッシュボードプロジェクト
私は、定期的なユーザのモニタリングと分析を目的としたプロジェクトにおいて、設計・コーディングを担当しました。
プロジェクトの目的は、BigQueryのデータマートを作成し、API利用ユーザー動向のモニタリングのためのTableauダッシュボードを作成することでした。
課題として、ビッグデータであったため、大量のデータを一つのテーブルにサマライズし、Tableauに取り込む必要がありました。
また、データは正規化されていなかったため、取り込んだ後に複雑なSQLを書かなければならない状況が生じました。
私たちは、この課題に対して熟考し、最適な方法を見つけ出しました。その結果、データマートとダッシュボードを作成し、定期的なユーザのモニタリングと分析ができるようになりました。これにより、プロジェクトの成功に貢献しました。
BigQuery, Tableau, SQL
-
世界最大手ショッピングサイトのスクレイピング
世界最大手のショッピングサイトにおけるマルチリンガルサイトのスクレイピングプロジェクトに参加しました。BrightDataのhttp proxyを活用し、商品価格などの情報を収集し、PostgreSQLに保存しました。
このプロジェクトでは、要件定義、設計、開発を担当しました。
当初、Splashを使用してJavaScriptのレンダリングを行っていましたが、Ajax通信のために高額な通信費が発生しました。また、対象OSがWindowsであったため、HTTP/3、WebRTCによるIPアドレスの漏洩の問題がありました。
この課題に対して、開発OSであるLinuxでtcpdumpを用いた通信モニタリングを行い、MITMによって通信分析を実施しました。
その結果、通信量を抑え高額な通信費を回避することができました。
結果として、商品最安値を継続的に取得できるようになり、プロジェクトの成功に貢献しました。Scrapy, splash, postgresql, discord, BrightData
-
一部上場の大手メーカー系SIerでWebアプリケーション構築
私は、通信データの圧縮・高速化を目的としたプロジェクトにおいて、メンバーとして参加しました。プロジェクトのリーダーを含め、3人でチームを組み、目的達成に向けて取り組みました。
私の役割は、コーディングを担当しました。
プロジェクトの課題として、サーバがJavaで、クライアントがC言語で書かれた異種環境であったこと、また、ドキュメントがコメントしかなく、通信時にデータをバックグラウンドで圧縮し、圧縮完了後に送信する必要があったことが挙げられます。
これらの課題に対して、私たちは熟考し、効率的な圧縮方法を導入し、通信量の圧縮と高速化に成功しました。その結果、プロジェクトの成功に貢献しました。MVCフレームワークのウェブアプリケーション