データエンジニア
株式会社フライウィール
- Python
- AWS
- GCP
- Azure
- JAVA
- C++
- Terraform
- Kubernetes
- Snowflake
- Kotlin
- Spark
- Elasticsearch
- Golang
- Airflow
- gRPC
- Apache Spark
- AzureAD
- Amazon Redshift
- OpenAPI
- Apache Airflow
- Amazon Athena
- Apache Kafka
- Apache Hadoop
- Bazel
-
Tokyo
-
11 to 100
-
Company Homepage
Company Info
Job Summary
データエンジニアは、データサイエンティストや他のエンジニアと協力しながら、データ基盤を整備・改善して課題解決を行い、データ収集、管理、処理、システム運用、技術的な問題の解決など幅広い業務に携わります。クラウド（AWS、GCP、Azure）やKotlin/JVM言語、Pythonなどの技術を使用し、大規模データを安定的に処理するインフラ環境構築の経験が求められます。Duties
データエンジニアとして、以下の業務を担当します。データ収集では、自社・パートナー・クライアントのサービスからログを取得するためのSDKの開発や、Webクローリングやスクレイピングなどのシステム構築を行います。データ管理では、収集したデータを保存するデータレイクの設計と構築、加工済みデータを保存するデータウェアハウス(DWH)の設計と構築、データの閲覧・処理権限の管理を行います。データ処理では、バッチ / ストリーミングベースのデータパイプラインの開発と運用を担当します。また、サービスの安定提供を24時間365日、維持するためのシステム運用や、システムの技術的な問題の発見と解決、運用を自動化あるいは低コストにするためのツールの開発など、他のエンジニア職と共通の業務も行います。開発環境としては、クラウド(AWS、GCP、Azure)や開発言語(Kotlin/JVM言語、Python)、フレームワーク・ミドルウェア(Amazon EKS(Kubernetes)、Terraform、Bazel、dagster/Airflow、gRPC、OpenAPI、Snowflake、Amazon Redshift、Amazon Athena、GCP BigQuery、Elasticsearch、AzureAD)に関する経験が求められます。Login to see all information about offers.
By registering with LabBase Plus you...
- can view all offer information,
- receive notifications of new offers,
- possibly be scouted by corporations
Registration takes roughly 2 minutes