この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Spark データエンジニア|商用車ロジスティクスデータ処理最適化
案件サマリー
Databricks、PySpark、Scala、Sparkの知見を活かし、商用車ロジスティクス可視化基盤のデータ処理最適化を行う案件です。数億行規模の大規模データを対象に、Databricks環境のチューニングやAzure上での性能改善、リファクタリングなどを担当していただきます。
この案件のおすすめポイント
- 市場価値の高いDatabricksやSparkのチューニング経験を積めます
- 数億行規模のデータ処理最適化という、高難度な課題に挑戦できます
- Azure上でのデータ基盤経験は、今後のキャリアで大きな強みです
案件の内容
Databricks(PySpark, Scala)を用いてデータ処理基盤のパフォーマンス最適化を行っていただきます。 具体的には、Databricks環境のチューニング、数億行規模の大規模データ処理の実装・改修、Azure上のデータ基盤における性能改善、ならびに保守・構成管理やリファクタリングをご担当いただきます。
必須スキル
Databricks PySpark Scala Spark コードチューニング 大規模データ処理 Hadoop
歓迎スキル
Azure Data Factory SQL Server SQL Database Azure Functions Azure DevOps Azure VNet Private Link Private Endpoint Load Balancer Transact-SQL Python PowerShell GitHub
面談回数
1回
作業開始時期
即日
リモート
一部リモート可
案件担当のコメント
大量のGPSログを扱うデータ基盤の性能改善案件です。DatabricksやSparkのチューニング、大規模データ処理の経験を活かせるポジションです。
フリーランスボードからのアドバイス
DatabricksやSparkを用いた大規模データ処理の経験を、さらに高いレベルで活かせるチャンスです。本案件では数億行規模のデータを扱うため、コードチューニングの深い知見が求められます。この性能改善プロジェクトをやり遂げた経験は、データエンジニアとしての市場価値を飛躍的に高めるでしょう。Azure上での実践的なスキルも身につき、今後のキャリアの大きな強みになります。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, バックエンドエンジニア
Scala, Spark, Python
神奈川県
75-100万円