バックエンドデータエンジニア

大規模分散システムにおけるデータパイプラインの設計、開発、および保守を担当します。Apache Sparkを使用したデータパイプラインの構築、Kafkaクラスターの管理、データレイクやデータウェアハウスの最適化を行います。大規模データプラットフォームの性能プロファイリングとチューニング、システムアーキテクチャの改善、ソフトウェア開発プロセスの効率化に取り組みます。Java/Scalaを中心としたプログラミングを行い、分散システムの運用、モニタリング、パフォーマンス最適化に注力します。大量データを扱うビッグデータシステムの設計と実装を通じて、企業のデータ活用戦略に重要な役割を果たします。

・BS/MS degree in Computer Science ・2+ years of experience in building and operating large-scale distributed systems or applications ・Experience in developing Java/Scala project ・Experience in building data pipeline using Apache Spark ・Experience in managing data lake or data warehouse ・Expertise in developing data structures, algorithms on top of Big Data platforms ・Ability to operate effectively and independently in a dynamic, fluid environment ・Eagerness to change the world in a huge way by being a self-motivated learner and builder

・Experience in developing Golang/Python project ・Experience in profiling and optimizing JVM performance ・Experience in managing data platforms, such as Hadoop, Kafka, Flink, Trino/ClickHouse, etc. ・Experience in cloud service (AWS, GCP, Azure) ・Experience in contributing to open source projects (please provide your github link) ・Experience in open table formats (Apache Iceberg, Delta Lake, Hudi)