データエンジニア
楽天グループ株式会社
- Python
- SQL
- Linux
- BigQuery
- Spark
- Hadoop
- Google Cloud Platform
- Data processing
- Data modeling
- Hive
- Data Pipeline
- Kafka
- Data Migration
- Application management
- Spark-Streaming
- Data Ingestion
-
Tokyo
-
Over 10,000
-
Company Homepage
Company Info
Rakuten Institute of Technology (RIT) is a core AI research institute in Rakuten, and has 6 strategic bases in Tokyo, Singapore, Boston, San Mateo, Bengaluru, and Paris. We conduct cutting-edge research in machine learning, deep learning, natural language processing, computer vision, knowledge discovery, and data mining, and have a dedicated AI research team that specializes in data mining, and optimization of user experiences and marketing effectiveness within the Rakuten Group. We conduct advanced research in machine learning and bandit algorithms, and conduct the forefront research of reinforcement learning and optimization of the bandit algorithm within the Rakuten Group.Job Summary
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。Duties
データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。具体的には、HadoopやGoogle Cloud Platformを使用して、大規模なバッチデータパイプラインを構築し、データ処理フレームワークや技術（Spark、Hive、Kafkaなど）を活用して、データの取り込みプロセスを自動化します。また、オンプレミスのデータインフラをGoogle Cloud Platformに移行し、アプリケーションの管理を行い、データのストレージや取得に関する複雑な問題を解決します。さらに、プロダクション環境でのデバッグやメンテナンスを行い、他のチームとの効果的なコラボレーションを図ります。チームリーダーとして、ソフトウェアエンジニアのチームを指導し、プロジェクトの目標達成に向けて取り組みます。Login to see all information about offers.
By registering with LabBase Plus you...
- can view all offer information,
- receive notifications of new offers,
- possibly be scouted by corporations
Registration takes roughly 2 minutes