この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Databricks データエンジニア|データパイプライン移行
案件サマリー
Databricks、Python、Spark、SQLの経験を活かし、データパイプラインの移行に携わる案件です。既存のSparkパイプラインを調査・整理し、Databricksを用いたETLパイプラインへの移行と実装、テストまでを担当します。
この案件のおすすめポイント
- 需要の高いDatabricksやSparkのスキルを磨き、市場価値を向上。
- 既存パイプラインの移行プロジェクトで、実践的な課題解決力を養う。
- 最新データ基盤の構築経験は、データ領域の専門家への道を拓く。
案件の内容
既存のSPARKデータパイプラインの現状を詳しく調査し、その仕様を明確に整理します。 その後、Databricksを活用したETLパイプラインへの移行作業と実装を担当。 シルバー層およびゴールド層におけるデータ変換処理の開発と厳密なテストを行い、移行後のシステムが正しく動作するか確認し、データの品質を維持します。
職種
必須スキル
データウェアハウス(DWH)やデータパイプラインの構築・運用経験。 Pythonを用いたデータ処理の実務経験。 SQLによるデータ加工および集計の実務経験。 Apache SparkまたはPySparkに関する知識と経験。 Databricksの利用経験。 複数名のチームプロジェクトへの参画経験。
歓迎スキル
シルバー層およびゴールド層におけるデータ設計・開発の経験。 アジャイル開発やスクラム開発の経験。
開発環境
主要な開発環境はDatabricksであり、データ処理にはPythonとApache Spark/PySparkを使用します。データ操作にはSQLが中心です。
稼働日数
週5日
精算
140~180時間
面談回数
2回(オンライン)
作業開始時期
即日
募集人数
3人
チーム規模
2-5名
リモート
フルリモート
平均稼働時間
140-180時間/月
案件担当のコメント
本案件では、個人事業主の方にご参画いただく場合、別途支援費のご対応が必須となります。 データプラットフォームの最新技術に触れられる機会です。
フリーランスボードからのアドバイス
DatabricksとSparkを用いたデータパイプライン移行は、現在市場で非常に需要の高い経験です。あなたのPythonやSQLスキルを活かし、既存システムの仕様を解読して最新基盤へ移行させる経験は、技術的な課題解決能力を大きく向上させます。移行を完遂した実績は、より上流のデータアーキテクト等を目指す上で強力な武器になるでしょう。フルリモートで最新技術に携われるこのチャンスをぜひ活かしてください。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア
Python, Spark, SQL
東京都
65-75万円