この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Python データエンジニア|既存SparkパイプラインをDatabricksへ移行
案件サマリー
Python、SQL、Apache Spark/PySpark、Databricksを用いた開発経験をお持ちのデータエンジニアを求めています。大手企業のデータ基盤にて、既存のSparkパイプラインをDatabricks環境へ移行するプロジェクトです。約1,000本規模のETLパイプライン移行やデータ変換処理の開発・テストをご担当いただきます。
この案件のおすすめポイント
- 市場価値の高いDatabricksとPySparkスキルを大規模案件で磨けます
- 1,000本規模のパイプライン移行という希少な経験で実績を築けます
- モダンデータスタック全体を俯瞰し、キャリアの選択肢を広げられます
案件の内容
某大手企業向けのデータ基盤において、既存のSparkパイプラインをDatabricks環境へ移行するプロジェクトです。 約1,000本規模のETLパイプライン移行・実装に加え、シルバーレイヤーおよびゴールドレイヤーにおけるデータ変換処理の開発・テストを担当いただきます。 データソースはIcebergテーブルやS3、アウトプット先はSnowflakeとなります。
必須スキル
データウェアハウス(DWH)およびデータパイプラインの開発・運用経験、特にPython、SQL、Apache Spark/PySparkを用いた実務経験は必須です。Databricks環境での開発経験も求められます。
歓迎スキル
Snowflakeの利用経験や、アジャイル/スクラム開発手法の経験をお持ちの方は歓迎いたします。
開発環境
主要な技術スタック:Python, SQL, Apache Spark/PySpark, Databricks, Snowflake。 データソースとしてIcebergテーブルとS3、出力先としてSnowflakeを使用します。
稼働日数
週5日
週3日程度の出社とリモートワークを併用する勤務形態です。
精算
140~180時間
面談回数
1回(オンライン)
作業開始時期
即日
募集人数
3人
チーム規模
2-5名
リモート
一部リモート可
平均稼働時間
月間140~180時間程度の稼働を想定しています。
フリーランスボードからのアドバイス
DatabricksとSnowflakeを組み合わせたモダンなデータ基盤構築は、現在非常に需要が高い分野です。この大規模なパイプライン移行プロジェクトを完遂した経験は、あなたの市場価値を飛躍的に高めるでしょう。単なる実装に留まらず、データアーキテクチャ全体を俯瞰できるため、将来的にデータ領域のスペシャリストとしてキャリアを築く上で、間違いなく強力な武器になります。PythonとSparkの経験を活かし、次のステージへ進む絶好の機会です。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア
Python, SQL, Spark
東京都
65-75万円