データエンジニア
株式会社フライウィール
- Python
- AWS
- 機械学習
- GCP
- Azure
- JAVA
- C++
- Terraform
- Kubernetes
- データベース
- データ活用
- データエンジニア
- Snowflake
- データ基盤
- Kotlin
- Spark
- Elasticsearch
- データウェアハウス
- Golang
- Airflow
- データパイプライン
- データ処理
- gRPC
- Apache Spark
- AzureAD
- Amazon Redshift
- OpenAPI
- Apache Airflow
- Amazon Athena
- コンピューターサイエンス
- Apache Kafka
- Apache Hadoop
- Bazel
- Webスクレイピング
-
東京都
-
11名〜100名
-
企業ページ
■会社情報
■仕事内容
データエンジニアは、データサイエンティストや他のエンジニアと協力しながら、データ基盤を整備・改善して課題解決を行い、データ収集、管理、処理、システム運用、技術的な問題の解決など幅広い業務に携わります。クラウド（AWS、GCP、Azure）やKotlin/JVM言語、Pythonなどの技術を使用し、大規模データを安定的に処理するインフラ環境構築の経験が求められます。■募集概要
データエンジニアとして、以下の業務を担当します。データ収集では、自社・パートナー・クライアントのサービスからログを取得するためのSDKの開発や、Webクローリングやスクレイピングなどのシステム構築を行います。データ管理では、収集したデータを保存するデータレイクの設計と構築、加工済みデータを保存するデータウェアハウス(DWH)の設計と構築、データの閲覧・処理権限の管理を行います。データ処理では、バッチ / ストリーミングベースのデータパイプラインの開発と運用を担当します。また、サービスの安定提供を24時間365日、維持するためのシステム運用や、システムの技術的な問題の発見と解決、運用を自動化あるいは低コストにするためのツールの開発など、他のエンジニア職と共通の業務も行います。開発環境としては、クラウド(AWS、GCP、Azure)や開発言語(Kotlin/JVM言語、Python)、フレームワーク・ミドルウェア(Amazon EKS(Kubernetes)、Terraform、Bazel、dagster/Airflow、gRPC、OpenAPI、Snowflake、Amazon Redshift、Amazon Athena、GCP BigQuery、Elasticsearch、AzureAD)に関する経験が求められます。すべての情報を見るには
ユーザー登録が必要です。
LabBase転職に登録すると...
- すべての求人が見放題
- 最先端求人リストの新着求人をメールでお知らせ
- 企業から面接やカジュアル面談のスカウトが届く
新規登録は簡単2分で登録完了します。