⁨Hive⁩関連の求人⁨16⁩選

データエンジニアとして、楽天市場の膨大な取引データを扱うデータパイプラインの拡張と最適化を担当します。HadoopやGoogle Cloud Platformを使用し、Python、Spark、Kafkaを駆使してデータ処理を行います。具体的には、大規模なバッチデータパイプラインの構築、データパイプラインの管理、自動化、クラウド移行、アプリケーション管理、複雑なデータストレージ問題の解決、プロダクション環境でのデバッグとメンテナンスを行い、チームをリードしてプロジェクト目標を達成します。

ちゅらデータではデータに関わるすべてのソフトウェアエンジニアリングを実行しています。 データは利用されなければ埋もれてしまい価値を発揮できません。ちゅらデータのデータエンジニアはデータを利用可能な状態にするために持てる知識と経験を投入し、顧客がデータから価値を創出できるよう手を尽くしています。 顧客の保有するデータは多様な環境・形態・事情におかれています。ちゅらデータのデータエンジニアは顧客のおかれた状況に応じて適切なエンジニアリングを提供できるよう組織として成長していこうとしています。 具体的な業務内容としては例えば「サイロ化された基幹システムの中にあるデータをクラウド上の分析基盤へつなげるデータパイプラインを構築」したり、もしくは「日々大量に発生するログデータを強大なマシンパワーを持つ分散コンピューティング環境で流れるように処理する」が挙げられます。 ◾️開発環境 当社ではプロジェクトに応じて最適な技術スタックを選定しており、以下のような技術環境を整えています。 【開発言語・フレームワーク】 Python（FastAPI／Streamlit）／Java・Scala／SQL／JavaScript・TypeScript 【インフラ・クラウド環境】 クラウド：AWS／Google Cloud／Azure インフラ管理：Terraform・Terragrunt／CloudFormation 【データ基盤構築】 データ基盤：Snowflake／BigQuery／Redshift ETL・データモデリング：dbt Cloud／Fivetran／TROCCO／AWS Glue／Airbyte ジョブ管理：Airflow／Apache NiFi 可視化ツール：Tableau／PowerBI／Lightdash／Looker／Looker Studio データカタログ：OpenMetadata／DataHub コンテナ技術：Docker／ECS／EKS／Cloud Run／GKE／Azure Container Apps／AKS／Snowpark 【開発ツール・CI/CD】 バージョン管理：GitHub CI/CD：GitHub Actions 開発手法：アジャイル（スクラム／カンバン） 開発補助：GitHub Copilot／ChatGPT（ここまで業務用アカウント支給）／Claude Code／Devin／Cursor 【情報共有・ナレッジ管理】 コミュニケーション：Slack／Google Meet 情報共有：esa／Notion／Confluence／Backlog ドキュメント管理：Google Workspace／Box 【支給PCスペック例】 MacBook Pro M4

ちゅらデータではデータに関わるすべてのソフトウェアエンジニアリングを実行しています。 データは利用されなければ埋もれてしまい価値を発揮できません。ちゅらデータのデータエンジニアはデータを利用可能な状態にするために持てる知識と経験を投入し、顧客がデータから価値を創出できるよう手を尽くしています。 顧客の保有するデータは多様な環境・形態・事情におかれています。ちゅらデータのデータエンジニアは顧客のおかれた状況に応じて適切なエンジニアリングを提供できるよう組織として成長していこうとしています。 具体的な業務内容としては例えば「サイロ化された基幹システムの中にあるデータをクラウド上の分析基盤へつなげるデータパイプラインを構築」したり、もしくは「日々大量に発生するログデータを強大なマシンパワーを持つ分散コンピューティング環境で流れるように処理する」が挙げられます。 ◾️開発環境 当社ではプロジェクトに応じて最適な技術スタックを選定しており、以下のような技術環境を整えています。 【開発言語・フレームワーク】 Python（FastAPI／Streamlit）／Java・Scala／SQL／JavaScript・TypeScript 【インフラ・クラウド環境】 クラウド：AWS／Google Cloud／Azure インフラ管理：Terraform・Terragrunt／CloudFormation 【データ基盤構築】 データ基盤：Snowflake／BigQuery／Redshift ETL・データモデリング：dbt Cloud／Fivetran／TROCCO／AWS Glue／Airbyte ジョブ管理：Airflow／Apache NiFi 可視化ツール：Tableau／PowerBI／Lightdash／Looker／Looker Studio データカタログ：OpenMetadata／DataHub コンテナ技術：Docker／ECS／EKS／Cloud Run／GKE／Azure Container Apps／AKS／Snowpark 【開発ツール・CI/CD】 バージョン管理：GitHub CI/CD：GitHub Actions 開発手法：アジャイル（スクラム／カンバン） 開発補助：GitHub Copilot／ChatGPT（ここまで業務用アカウント支給）／Claude Code／Devin／Cursor 【情報共有・ナレッジ管理】 コミュニケーション：Slack／Google Meet 情報共有：esa／Notion／Confluence／Backlog ドキュメント管理：Google Workspace／Box 【支給PCスペック例】 MacBook Pro M4