Job offer curation - ⁨Apache Airflow⁩

データエンジニアのポジションでは、分析データの作成およびマネジメント、OA、メール、広告のターゲティングデータの開発、データパイプライン、機械学習パイプラインの開発など幅広い業務があります。SQLを利用したデータ集計および分析経験、Hadoop、Spark、Trino、Hive、Teradata、Amazon Athena、Amazon Redshiftのいずれかを利用した分析データの開発およびマネジメントの経験、Apache Airflow、Apache Nifiのいずれかを利用したデータパイプラインの開発経験が必要です。

このポジションでは、Pythonを使用してRESTful APIを設計、開発、および維持し、Trino/PrestoやPinotを利用した堅牢なデータウェアハウスを構築および管理します。また、Apache AirflowやApache Sparkを使用してデータパイプラインを設計および開発し、AWSやGCPなどのクラウドプラットフォームで作業し、Kubernetes（k8s）を利用してコンテナのオーケストレーションを行います。

データエンジニアは、データサイエンティストや他のエンジニアと協力しながら、データ基盤を整備・改善して課題解決を行い、データ収集、管理、処理、システム運用、技術的な問題の解決など幅広い業務に携わります。クラウド（AWS、GCP、Azure）やKotlin/JVM言語、Pythonなどの技術を使用し、大規模データを安定的に処理するインフラ環境構築の経験が求められます。