Job offer curation - ⁨Hive⁩

データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。

データエンジニアとして、LINEヤフーのサービス開発におけるデータエンジニアリング業務を担当します。主な業務は、データ利用者との要件定義、大規模データのテーブル設計、ETL開発、DataMartやFeature Storeの開発と運用です。ビッグデータ基盤の構築と最適化を通じて、事業の成長に貢献します。

ユーザーデータを活用した興味関心推定アルゴリズムの研究開発、ユーザー行動確率予測モデルの構築、コンテンツ・サービスデータを用いた広告配信最適化の研究を行います。AIと機械学習技術を駆使して、広告配信の精度向上と事業貢献を目指すデータサイエンティストの役割を担います。