Job offer curation - ⁨データインフラ⁩

データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。

MLOpsの開発・運営を中心に、Airflowを使用した機械学習モデルの移行と新規モデル構築、データ分析基盤の構築、AIサービスやワークフローの開発・導入を行います。また、ビジネス成長に直結する予測モデルや推薦システムの開発に取り組み、データ活用による企業価値向上を目指します。

クラウド上での機械学習基盤設計、データ基盤の構築と運用、社内向けツール実装、開発支援ツールの設計、ソフトウェアエンジニアへの技術サポートを行います。自動運転モデル開発に必要な複雑で大規模なデータインフラを最適化する重要な役割を担います。