Job offer curation - ⁨Hive⁩

データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。

データ分析基盤構築エンジニアとして、AWSを利用したデータ分析基盤の構築全般を担当します。プロジェクトの企画・要件定義から設計・コーディング・テスト・リリースまでの各フェーズに参画し、クラウド上での分析基盤環境を提供することを目指します。

このポジションでは、大量の販売データを分析し、予測モデルを実装する業務を担当します。機械学習アルゴリズムの運用に必要なインフラの構築や、周辺システムの開発も行います。具体的には、AWSやGCPなどのクラウドインフラを利用し、MLOpsの知識を活かしてプロジェクトを推進します。チームでの協力を重視し、ビジネス課題を解決するための論理的思考力が求められます。