データエンジニア

データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。具体的には、HadoopやGoogle Cloud Platformを使用して、大規模なバッチデータパイプラインを構築し、データ処理フレームワークや技術（Spark、Hive、Kafkaなど）を活用して、データの取り込みプロセスを自動化します。また、オンプレミスのデータインフラをGoogle Cloud Platformに移行し、アプリケーションの管理を行い、データのストレージや取得に関する複雑な問題を解決します。さらに、プロダクション環境でのデバッグやメンテナンスを行い、他のチームとの効果的なコラボレーションを図ります。チームリーダーとして、ソフトウェアエンジニアのチームを指導し、プロジェクトの目標達成に向けて取り組みます。

・Hadoop、Spark、Kafkaアプリケーションの開発および運用経験 ・PythonまたはJava/Scalaでの開発経験 ・データエンジニアとして5年以上の経験 ・Google Cloud PlatformまたはBigQueryでの開発および運用経験 ・SQLの高度な知識とリレーショナルデータベースの経験 ・データパイプラインとデータセットの構築および最適化の経験 ・データモデリングの経験 ・Linuxでの開発経験 ・データ処理および変換のための強力な分析スキル ・プロジェクト管理スキルを持ち、プロジェクトを管理し高品質なソリューションを提供する能力 ・ソフトウェアエンジニアリングチームをリードし、指導する経験 ・日本語のネイティブレベルの能力（読み、書き、会話）

・ビッグデータを使用した開発経験