提案はありません
提案作成者
30日前以上
AWSインフラエンジニア・Web系エンジニア
-
0 満足0 残念
- 個人
フリーランスAWSエンジニア・Web系エンジニア/AWS資格：SAP・SAS・DBS・AIF/スキル：Python・Javascript・Vue.js・React・Java・Golang
AWS最上位パートナー企業によるAWSを利用したデータウェアハウス(Snowflake・
Redshift)へのデータ連携自動化を行うための環境構築を実施
≪担当業務≫
・StepFunctions・WorkatoによるSnowflakeへのデータ連携自動化
<AWS StepFunctions>
- バックアップファイル自動検知(EventBridge・S3)
- 自動リストア(SSM・EC2)
- データ自動加工処理・Slack通知(Lambda(Python))
- CSVファイル自動出力(SSM・EC2)
<Workato>
- CSVデータをSnowflakeテーブルへコピー・マージ処理
- Snowflakeテーブルの欠損埋め処理(ストアドプロシージャ(Python))
・Cloud FormationによるAWSリソース構築
・Redshiftデータマートへのデータ連携自動化
- CSVファイル自動取り込み
- データ自動加工処理、データウェアハウス・データマート作成
- CSVファイル自動出力
・StepFunctionsによるRDS(Postgres)バックアップファイル出力の自動化
・CSVデータ自動加工およびSnowflakeへの取り込み自動化
- CSVファイルからJSONLデータへの自動変換
- JSONLデータの自動取り込み処理(Snowflakeストアドプロシージャ(Python))
・テーブル(Snowflake、Redshift)設計
・構成図作成
・検証およびテスト
・本番デプロイ
・ノウハウの標準化、手順書作成