フリーワード

検索

この案件は募集終了しました

条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。

募集終了
一部リモート
面談1回

Python データエンジニア|既存SparkパイプラインをDatabricksへ移行

65-75万円/月額
業務委託(フリーランス)

案件サマリー

Python、SQL、Apache Spark/PySpark、Databricksを用いた開発経験をお持ちのデータエンジニアを求めています。大手企業のデータ基盤にて、既存のSparkパイプラインをDatabricks環境へ移行するプロジェクトです。約1,000本規模のETLパイプライン移行やデータ変換処理の開発・テストをご担当いただきます。

この案件のおすすめポイント

  • 市場価値の高いDatabricksとPySparkスキルを大規模案件で磨けます
  • 1,000本規模のパイプライン移行という希少な経験で実績を築けます
  • モダンデータスタック全体を俯瞰し、キャリアの選択肢を広げられます

案件の内容

某大手企業向けのデータ基盤において、既存のSparkパイプラインをDatabricks環境へ移行するプロジェクトです。 約1,000本規模のETLパイプライン移行・実装に加え、シルバーレイヤーおよびゴールドレイヤーにおけるデータ変換処理の開発・テストを担当いただきます。 データソースはIcebergテーブルやS3、アウトプット先はSnowflakeとなります。

スキルタグ

必須スキル

データウェアハウス(DWH)およびデータパイプラインの開発・運用経験、特にPython、SQL、Apache Spark/PySparkを用いた実務経験は必須です。Databricks環境での開発経験も求められます。

歓迎スキル

Snowflakeの利用経験や、アジャイル/スクラム開発手法の経験をお持ちの方は歓迎いたします。

開発環境

主要な技術スタック:Python, SQL, Apache Spark/PySpark, Databricks, Snowflake。 データソースとしてIcebergテーブルとS3、出力先としてSnowflakeを使用します。

稼働日数

週5日

週3日程度の出社とリモートワークを併用する勤務形態です。

精算

140~180時間

面談回数

1回(オンライン)

作業開始時期

即日

募集人数

3人

チーム規模

2-5名

リモート

一部リモート可

平均稼働時間

月間140~180時間程度の稼働を想定しています。

advice_point

フリーランスボードからのアドバイス

DatabricksとSnowflakeを組み合わせたモダンなデータ基盤構築は、現在非常に需要が高い分野です。この大規模なパイプライン移行プロジェクトを完遂した経験は、あなたの市場価値を飛躍的に高めるでしょう。単なる実装に留まらず、データアーキテクチャ全体を俯瞰できるため、将来的にデータ領域のスペシャリストとしてキャリアを築く上で、間違いなく強力な武器になります。PythonとSparkの経験を活かし、次のステージへ進む絶好の機会です。

企業名

サンプル企業名株式会社

サービス/プロジェクト名

サービス/プロジェクト名

詳細スケジュール/リリース時期

詳細スケジュール/リリース時期は面談時にお伝えします

詳細スケジュール/リリース時期は面談時にお伝えします

詳細スケジュール/リリース時期は面談時にお伝えします

詳細スケジュール/リリース時期は面談時にお伝えします

詳細スケジュール/リリース時期は面談時にお伝えします

現場責任者の雰囲気

現場責任者の雰囲気は面談時にお伝えします。

現場責任者の雰囲気は面談時にお伝えします。

現場責任者の雰囲気は面談時にお伝えします。

現場責任者の雰囲気は面談時にお伝えします。

現場責任者の雰囲気は面談時にお伝えします。

開発体制の詳細

サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)

提供元-フリランドットコム

案件探しはAIに。あなたは確認だけ。

AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。

この案件に似た条件で検索する

データエンジニア

Python, SQL, Spark

東京都

65-75万円

案件応募に関してよくある質問

案件の内容をより詳しく知りたいです。

案件の必須スキルに対応できるか、不安なのですが、応募はできますか?

気になる案件の話をまずは聞きたいのですが、気軽に応募しても良いでしょうか?

現在、他の案件でも商談が進んでいますが、応募してもいいでしょうか?