この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Dagster データエンジニア|データインフラ基盤の設計・構築、認証基盤移行
案件サマリー
DagsterやAWS、Terraform等を用いたデータパイプライン構築やインフラ運用経験が求められるデータインフラエンジニアの案件です。データリネージ機能の設計やデータカタログ基盤の導入、Keycloakを用いた認証基盤の刷新など、先進的なデータ基盤の設計・構築・改善を幅広く担当していただきます。
この案件のおすすめポイント
- DagsterやIceberg等の先進技術を駆使し、最先端のデータ基盤構築スキルを磨けます。
- 技術選定から関われる大きな裁量。データ基盤のアーキテクチャ設計経験が積めます。
- データリネージやカタログ基盤の設計経験。データガバナンスの専門性を高められます。
案件の内容
本案件では、データインフラ基盤の設計・構築・改善に幅広く携わっていただきます。 具体的には、以下の業務を想定しています。 ・データリネージ機能の設計と構築 ・データカタログ基盤の導入検討と実装(OpenMetadataなどの活用を視野に入れ、Iceberg / PostgreSQL / Dagsterとの連携設定を含む) ・既存の認証基盤をAWS上でのKeycloakデプロイに移行し、CognitoからのIdP切り替えと管理を実施 ・データパイプラインのマルチテナント化対応(Dagster / Iceberg / Nessieを活用したネームスペース分離) ・AWSインフラの継続的な改善と最適化(ECSリソースの調整、堅牢なモニタリングシステムの設計、コスト効率の向上策実施)
募集背景
事業成長を加速させるため、データインフラの強化と先進的なデータ活用基盤の構築を目指しています。特に、アーキテクチャ設計から自律的に推進できる方を求めており、この重要なミッションを担う新たなメンバーを募集しています。
必須スキル
データインフラエンジニアとして、以下のスキルと経験を必須とします。 ・Dagster、Airflow、dbtなど、いずれかのツールを用いたデータパイプラインの設計および構築の実務経験 ・データリネージやデータカタログの設計経験、またはこれらのアーキテクチャに関する深い専門知識 ・AWS環境におけるインフラの構築、運用経験(ECS、RDS、ALB、S3など主要サービスの知識と経験) ・Terraformを使用したInfrastructure as Code (IaC) の実践経験 ・DockerおよびDocker Composeを活用した開発環境の構築経験 ・GitHubを用いたチーム開発の実績 ・技術選定から設計、実装、そして運用まで、一連の開発サイクルを自律的に推進できる能力
歓迎スキル
以下のスキルや経験をお持ちの方を歓迎いたします。 ・OpenMetadata、Apache Atlas、DataHubなどのデータカタログ製品の導入や運用経験 ・データメッシュやメダリオンアーキテクチャなどの現代的なデータアーキテクチャに対する理解 ・Apache Iceberg、Nessie、Trinoといったデータレイク関連技術の実践経験 ・Keycloak、OAuth2、OIDCなどの認証基盤の構築経験 ・Pythonを用いたツールやスクリプト開発の経験 ・データ品質管理やデータガバナンス戦略の設計経験 ・クラウドコスト最適化や高度なモニタリングシステム設計の経験
開発環境
主要な開発・利用環境: ・プログラミング言語: Python ・データパイプライン: Dagster, Airflow, dbt ・データカタログ: OpenMetadata, Apache Atlas, DataHub ・データレイク: Apache Iceberg, Nessie, Trino ・認証基盤: Keycloak, Cognito, OAuth2, OIDC ・クラウドプラットフォーム: AWS (ECS, RDS, ALB, S3) ・IaC: Terraform ・コンテナ技術: Docker, Docker Compose ・バージョン管理: GitHub ・データベース: PostgreSQL
稼働日数
週5日
精算
140~180時間
面談回数
2回(オンライン)
作業開始時期
即日
募集人数
1人
チーム規模
1名
リモート
フルリモート
作業開始/終了時間の目安
9:00~18:00(目安)
平均稼働時間
140時間~180時間/月
現場の雰囲気
プロフェッショナルなメンバーが多く、技術的な議論が活発な環境です。各自が裁量を持って業務を進めることができます。
案件担当のコメント
本案件では、データインフラの構築・改善において、アーキテクチャ設計や技術選定のフェーズから積極的に関わり、プロジェクトを自律的に推進できる方を募集しています。高い技術力とリーダーシップを発揮したい方にとって最適な環境です。
フリーランスボードからのアドバイス
DagsterやApache Icebergといったモダンな技術スタックは、今まさに市場で求められているスキルセットです。この案件では、それらの技術を用いた設計・構築経験を深く積むことができます。特に、技術選定やアーキテクチャ設計から自律的に関われる裁量権の大きさは、ご自身の市場価値を飛躍的に高める絶好の機会となるでしょう。データガバナンス領域の知見も深め、データインフラのスペシャリストとして、さらに上のステージを目指しませんか。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, インフラエンジニア
Python, AWS, Terraform
95万円