データエンジニア
楽天グループ株式会社
-
東京都
-
10,000名以上
-
企業ページ
仕事内容
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。会社情報
楽天スーパーDEALサービスは、楽天グループの100万会員を持つ最大のポイント還元サービスで、企業とユーザーを「ポイント」で結びつけるプラットフォームを提供しています。企業には高い売上を可能にする成果報酬型の販売チャネルを、ユーザーには魅力的な商品と高ポイント還元を提供し、日本最大のポイント経済の実現を目指しています。募集概要
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。具体的には、HadoopやGoogle Cloud Platformを使用して、大規模なバッチデータパイプラインを構築し、データ処理フレームワークや技術（Spark、Hive、Kafkaなど）を活用して、データの取り込みプロセスを自動化します。また、オンプレミスのデータインフラをGoogle Cloud Platformに移行し、アプリケーションの管理を行い、データのストレージや取得に関する複雑な問題を解決します。さらに、プロダクション環境でのデバッグやメンテナンスを行い、他のチームとの効果的なコラボレーションを図ります。チームリーダーとして、ソフトウェアエンジニアのチームを指導し、プロジェクトの目標達成に向けて取り組みます。
ユーザー登録で
よりマッチした求人が見つかる
LabBase転職とは
技術求人に特化した
「パーフェクトサーチ生成AI」です。
膨大な求人から今までできなかった柔軟な条件の検索を。
- 株式会社LabBaseについて詳しく教えて
- 自分の経歴に合った企業を教えて
- LLMモデル開発をしている企業を探したい
- 画像認識企業で独自のデータ/デバイスを持つ企業を探したい
- 無機化学領域でマテリアルズインフォマティクスを活用したい
新規登録は簡単1分で登録完了します。