LabBase転職はプライド月間をお祝いする
閲覧可能な求人数: 残り⁨3⁩求人 無料登録で無制限に求人を閲覧できます。

データエンジニア

クラスメソッド株式会社

■募集概要

クラスメソッドの自社サービス『クラスメソッドメンバーズ』の開発において、大規模な並列分散システムの設計と実装を行います。Apache Sparkを活用したETL処理の構築、CSV、Parquet、ORCなどの多様なデータ形式を利用したデータ処理、Athena、MySQLを使用したデータ操作とクエリの最適化を実施します。ScalaとPythonを駆使したマルチプロセスおよびマルチスレッド処理により、データ処理の実行時間を最適化し、効率的なデータ戦略を立案します。さらに、増大し続けるデータに対応するための分散処理技術とスケーラビリティの追求を中心的に担当し、サービス企画から運用保守までの一連のプロセスに深く関与します。

■必須スキル

・分散処理基盤を活用したシステムの開発経験 ・何らかのクエリエンジンにおけるデータ操作、クエリの最適化経験 ・プログラミング能力(Java、Scala、Python等) ・チームでの開発経験

■歓迎スキル

・AWSに対する知識 / AWSを用いた開発の実務経験 ・CI/CD環境による開発の実務経験 ・データパイプラインの設計と実装に関する知識と経験 ・ETL処理において複雑なデータ処理や、CSV、Parquet、ORCなどのデータ形式の知識と実務経験

※本募集内容に誤りがある場合、または掲載自体に関してお問い合わせをされたい場合は、こちらよりお問い合わせください。