データエンジニア
PayPay株式会社
-
1,001 to 10,000
-
Company Homepage
Job Summary
データエンジニアとして、Databricks、Spark、Delta Lakeなどの最新技術を用いて、大規模データパイプラインの設計、開発、最適化を行います。データ基盤の構築、データ連携、自動化ワークフローの改善、クロスファンクショナルなチーム間での協働を通じて、PayPayの成長を支えるデータインフラストラクチャの拡張に貢献します。Company Info
Duties
PayPayのデータエンジニアとして、大規模なデータ基盤の設計、開発、運用を担当します。主な業務は、Databricks、Airflow、Lambda、Terraformを使用した拡張性の高いデータ取り込みパイプラインの設計と実装です。Spark、Delta Lake、PySpark、Scalaを活用したデータ処理ワークフローの構築や、大規模データパイプラインの最適化と管理を行います。データレイクハウスのUnity Catalogを使用した効果的なデータ管理と発見、クロスファンクショナルチームとの連携によるシームレスなデータフローの確保も重要な役割です。さらに、観測性、データガバナンス、セキュリティ、コンプライアンスのベストプラクティスを実装し、エンドツーエンドのデータエンジニアリングワークフローをサポートするための自動化とツール改善に取り組みます。
Login to see all information about offers.
By registering with LabBase Plus you...
You can select from our vast stock of job offers.
- Can view all curation offers.
- Receive notifications of new offers added to curations.
- Possibly be scouted by corporations.
- Search for companies with unique technologies.
- Search for job offers in areas like inorganic chemistry material science.
Registration takes roughly 2 minutes