データエンジニア

PayPayのデータエンジニアとして、大規模なデータ基盤の設計、開発、運用を担当します。主な業務は、Databricks、Airflow、Lambda、Terraformを使用した拡張性の高いデータ取り込みパイプラインの設計と実装です。Spark、Delta Lake、PySpark、Scalaを活用したデータ処理ワークフローの構築や、大規模データパイプラインの最適化と管理を行います。データレイクハウスのUnity Catalogを使用した効果的なデータ管理と発見、クロスファンクショナルチームとの連携によるシームレスなデータフローの確保も重要な役割です。さらに、観測性、データガバナンス、セキュリティ、コンプライアンスのベストプラクティスを実装し、エンドツーエンドのデータエンジニアリングワークフローをサポートするための自動化とツール改善に取り組みます。