この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Databricks データエンジニア|既存SparkからのETLパイプライン移行
案件サマリー
Databricks、Spark、Pythonを用いたデータパイプライン構築経験が活かせます。大手企業のデータ基盤モダン化プロジェクトにて、既存SPARKパイプラインの調査・仕様整理からDatabricks環境へのETL移行、実装、品質保証までを一貫して担うデータエンジニアを求めています。
この案件のおすすめポイント
- 需要の高いDatabricks/Sparkスキルで市場価値を向上させるチャンス
- 大手企業の基盤刷新に関与し、ETLパイプライン構築の専門性を高める
- フルリモートで、次世代データ基盤構築のキャリアパスを描ける貴重な案件
案件の内容
このプロジェクトでは、現在稼働しているSPARKデータパイプラインの現状を深く調査し、その仕様を明確に整理することから始まります。 その後、Databricks環境へのETLパイプラインの移行と実装を進めていただきます。 具体的には、シルバーレイヤーおよびゴールドレイヤーにおけるデータ変換処理の開発とテスト、そして移行が完了した後のシステム動作の確認と品質保証を担当していただきます。
募集背景
某大手企業におけるデータ基盤のモダン化およびパフォーマンス向上を目的とした、既存データパイプラインの移行プロジェクトです。 最新のテクノロジーを活用し、より効率的で堅牢なデータ処理基盤を構築するため、即戦力となるデータエンジニアを募集しています。
職種
業界
必須スキル
データウェアハウス(DWH)やデータパイプラインの構築、および運用に関する豊富な経験が必須です。 Pythonを使用したデータ処理の実務経験、特にSQLを活用したデータ加工や集計のスキルも求められます。 技術スタックとしては、Apache SparkやPySpark、そしてDatabricksの実務経験が重要です。 また、複数名のチームで協力し、プロジェクトを推進した経験をお持ちの方を歓迎します。
歓迎スキル
シルバーデータおよびゴールドデータの設計・開発経験がある方は特に歓迎いたします。 さらに、アジャイルやスクラム開発手法の経験をお持ちの方も、当プロジェクトで大いに貢献できるでしょう。
開発環境
開発環境としては、主にPython、SQLを使用します。 データ処理基盤にはApache Spark、PySpark、そしてDatabricksを採用しています。
稼働日数
週5日
精算
140~180時間
面談回数
2回(オンライン)
作業開始時期
即日
募集人数
3人
チーム規模
2-5名
リモート
フルリモート
平均稼働時間
月平均140~180時間程度
フリーランスボードからのアドバイス
データ基盤のモダン化においてDatabricksは主流技術の一つです。本案件では、既存パイプラインの調査から移行、実装まで一貫して携われるため、プロジェクト全体を見通す力が養われます。特にシルバーおよびゴールドレイヤーの開発経験は、データ品質を最大化する上で不可欠なスキルとなり、あなたのキャリアを一段上のステージへ引き上げるでしょう。この貴重な機会を活かし、データエンジニアとしての専門性をさらに高めませんか。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア
Python, Spark, SQL
東京都
65-75万円