この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
データインフラ データエンジニア|大規模データ基盤の設計・構築およびAWSインフラ改善
案件サマリー
DagsterやAirflowでのデータパイプライン設計・構築、AWS環境でのインフラ構築経験を持つエンジニアを募集します。データインフラの専門家として、大規模データ基盤の設計・構築を担当いただきます。データリネージやデータカタログ基盤の構築、認証基盤の移行など、技術選定から自律的に遂行する役割です。
この案件のおすすめポイント
- 最新のデータ基盤技術DagsterやIcebergの実践経験が積める
- 技術選定から携われる、大規模データ基盤の設計・構築案件
- データインフラの専門家として市場価値を高めるキャリアを形成
案件の内容
データインフラの専門家として、以下の業務を担当していただきます。 * データリネージ機能の設計と構築: ロボットデータの処理過程を追跡可能にする仕組みを、技術選定を含めて確立します。 * データカタログ基盤の構築: OpenMetadataなどの導入を検討し、Iceberg/PostgreSQL/Dagsterとの連携を設定します。 * 認証基盤の移行: KeycloakをAWS上にデプロイし、既存のCognitoからのIdP移行と管理を行います。 * データパイプラインのマルチテナント対応: Dagster/Iceberg/Nessieを活用し、ネームスペースの分離によるマルチテナント化を進めます。 * AWSインフラの改善と最適化: ECSのリソース調整、効率的なモニタリング設計、およびコスト最適化を実施します。
必須スキル
このポジションでは、以下のスキルと経験が必須となります。 * データパイプラインの設計および構築経験(Dagster、Airflow、dbtのいずれかを使用)。 * データリネージやデータカタログに関する設計経験、またはアーキテクチャレベルでの深い知見。 * AWS環境におけるインフラ構築と運用経験(ECS、RDS、ALB、S3など)。 * Terraformを使用したInfrastructure as Code (IaC) の経験。 * DockerおよびDocker Composeを用いた開発環境構築の経験。 * GitHubを利用したチーム開発の経験。 * 技術選定、設計、実装、そして運用までを自律的に遂行できる能力。
歓迎スキル
以下のスキルや経験をお持ちの方は特に歓迎します。 * データカタログの導入・運用経験(OpenMetadata、Apache Atlas、DataHubなど)。 * データメッシュやメダリオンアーキテクチャといった概念への理解。 * Apache Iceberg、Nessie、Trinoなどのデータレイク技術の経験。 * 認証基盤の構築経験(Keycloak、OAuth2、OIDCなど)。 * Pythonを用いたツールやスクリプト開発の経験。
開発環境
主要な開発環境・技術スタック: * データパイプライン: Dagster, Airflow, dbt * データカタログ: OpenMetadata, Apache Atlas, DataHub * データレイク: Apache Iceberg, Nessie, Trino * 認証: Keycloak, OAuth2, OIDC * クラウド: AWS (ECS, RDS, ALB, S3) * IaC: Terraform * コンテナ: Docker, Docker Compose * バージョン管理: GitHub * データベース: PostgreSQL * 開発言語: Python
稼働日数
週5日
精算
140~180時間
面談回数
2回(オンライン)
作業開始時期
即日
募集人数
1人
チーム規模
6-10名
リモート
フルリモート
作業開始/終了時間の目安
9:00~18:00 (目安)
平均稼働時間
160時間/月 (目安)
フリーランスボードからのアドバイス
データパイプラインやAWSインフラの豊富なご経験を、設計・構築という最上流から活かせるチャンスです。ここではDagsterやIcebergなど、市場で注目される最新技術を実践的に学べます。この経験は、データインフラのスペシャリストとしてのあなたの価値を間違いなく高めるでしょう。技術選定にも関われる裁量の大きい環境で、次世代のデータ基盤を自らの手で築き上げてみませんか。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
インフラエンジニア, データエンジニア
Python, AWS, Terraform
東京都
75-95万円