この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Databricks データエンジニア|SPARKパイプラインのDatabricks移行
案件サマリー
Python、Spark、Databricksでの開発経験をお持ちの方を求めています。既存のSPARKパイプラインを調査・整理し、Databricksへ移行するプロジェクトです。ETLパイプラインの実装、シルバー・ゴールドレイヤーにおけるデータ変換処理の開発とテスト、品質保証までを一貫して担当します。
この案件のおすすめポイント
- 需要の高いDatabricksとSparkスキルを活かし最新のデータ基盤構築経験を積めます。
- 既存パイプライン移行は、課題解決力と設計能力が磨かれる貴重な経験となります。
- データエンジニアとして市場価値を高め、今後のキャリアの選択肢を大きく広げられます。
案件の内容
既存のSPARKパイプラインについて、現状の調査と仕様の整理を行います。 その後、DatabricksへのETLパイプラインの移行と実装を進めます。 シルバーおよびゴールドレイヤーにおけるデータ変換処理の開発とテストを担当し、 移行後の動作確認および品質保証を行います。
必須スキル
DWHまたはデータパイプラインの開発・運用経験がある方。 Pythonを用いたデータ処理の実務経験がある方。 SQLによるデータ加工・集計の実務経験がある方。 Apache Spark / PySparkの使用経験がある方。 Databricksの使用経験がある方。 複数名チームでのプロジェクト参画経験がある方。
歓迎スキル
シルバーデータ/ゴールドデータの設計・開発経験がある方。 アジャイル開発やスクラム開発の経験がある方。
開発環境
DWH、Python、SQL、Apache Spark、PySpark、Databricks
稼働日数
週5日
面談回数
2回(オンライン)
作業開始時期
即日
リモート
フルリモート
フリーランスボードからのアドバイス
DatabricksとSparkの経験を活かせる、非常に魅力的な案件が登場しました。単なる開発だけでなく、既存パイプラインの調査・整理から移行まで一貫して携われるため、データエンジニアとしての実力が総合的に向上します。この経験は、今後ますます需要が高まるデータ基盤領域でのキャリアにおいて、間違いなく強力な武器となるでしょう。フルリモートで柔軟に働ける環境も魅力です。ぜひこの機会を活かしてください。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, バックエンドエンジニア
Python, SQL, Spark
東京都
55-75万円