データエンジニア
楽天グループ株式会社
-
東京都
-
10,000名以上
-
企業ページ
仕事内容
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。会社情報
楽天技術研究所（RIT）は、機械学習、深層学習、自然言語処理、コンピュータビジョンなどの専門家が集まるAI研究の中心です。RITは、AIの安全性、公平性、透明性を向上させることを目指し、AI関連の全てのステークホルダーと協力して活動しています。具体的には、AIの構築と評価に関するガイドラインの策定、評価ツールの開発、AIの安全性やバイアスに関する研究を行っています。募集概要
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。具体的には、HadoopやGoogle Cloud Platformを使用して、大規模なバッチデータパイプラインを構築し、データ処理フレームワークや技術（Spark、Hive、Kafkaなど）を活用して、データの取り込みプロセスを自動化します。また、オンプレミスのデータインフラをGoogle Cloud Platformに移行し、アプリケーションの管理を行い、データのストレージや取得に関する複雑な問題を解決します。さらに、プロダクション環境でのデバッグやメンテナンスを行い、他のチームとの効果的なコラボレーションを図ります。チームリーダーとして、ソフトウェアエンジニアのチームを指導し、プロジェクトの目標達成に向けて取り組みます。
ユーザー登録で
よりマッチした求人が見つかる
LabBase転職とは
技術求人に特化した
「パーフェクトサーチ生成AI」です。
膨大な求人から今までできなかった柔軟な条件の検索を。
- 株式会社LabBaseについて詳しく教えて
- 自分の経歴に合った企業を教えて
- LLMモデル開発をしている企業を探したい
- 画像認識企業で独自のデータ/デバイスを持つ企業を探したい
- 無機化学領域でマテリアルズインフォマティクスを活用したい
新規登録は簡単1分で登録完了します。