この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Python データエンジニア|商用車ロジスティクスデータ処理基盤パフォーマンス改善
案件サマリー
Databricks、PySpark、Scalaでの大規模データ処理経験がある方を募集します。商用車のロジスティクス可視化基盤において、車両から送られる大量のGPSログを高速に処理するデータ処理最適化が主な業務です。Azureデータ基盤のパフォーマンス改善やリファクタリングなどを通じ、システムの根幹を担っていただきます。
この案件のおすすめポイント
- 需要の高いDatabricksやPySparkのスキルを活かし市場価値向上
- 商用車の膨大なGPSログを高速処理する、社会貢献性の高い案件です
- Azureデータ基盤の知見も深まり、クラウドデータエンジニアの道へ
案件の内容
Databricks(PySpark, Scala)を用いたパフォーマンス最適化を中心に、大規模データ処理の実装・改修、Azureデータ基盤のパフォーマンス改善、保守・構成管理およびリファクタリングを行っていただきます。 車両から送られる大量のGPSログを高速に処理できるよう、処理方式やクラスタ構成の見直しと最適化実装をご担当いただきます。
必須スキル
Databricks PySpark Scala Sparkクラスタの最適化 大規模データ処理(数億行規模)
歓迎スキル
データ基盤構築・運用(Azure: Data Factory, SQL Server, SQL Database, Databricks, Functions, DevOps等) Azureインフラ(VNet, Private Link Service, Private Endpoint, Load Balancer等) クエリチューニング(Transact-SQL) スクリプティング(Python, PowerShell) ソースコード管理(GitHub)
面談回数
1回
作業開始時期
即日
リモート
常駐
案件担当のコメント
リアルタイム可視化のパフォーマンス改善に特化した案件です。DatabricksやSparkのチューニング経験が活かせる内容で、増員枠のため選考が比較的早く進みます。
フリーランスボードからのアドバイス
DatabricksやSparkクラスタの最適化経験を存分に発揮できるチャンスです。数億行規模という膨大なGPSログを相手に、データ処理のパフォーマンスを極限まで追求する、非常に挑戦しがいのあるミッションが待っています。この規模でのチューニング経験は、あなたのデータエンジニアとしての市場価値を飛躍的に高める貴重な実績となるでしょう。Azureデータ基盤の知見も深められるため、今後のキャリアの大きな強みになりますよ。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア
Scala, Spark, Python
神奈川県
75-100万円