この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
【Python】ビッグデータ基盤の構築改善
この案件のおすすめポイント
- PythonやSpark、AWSを用いて大規模データ基盤構築スキルを磨けます
- 数十TB規模のビッグデータを扱い、データ活用の根幹を支える重要な役割です
- 需要が急増しているデータエンジニアとして、市場価値の高いキャリアを築けます
案件の内容
【20代、30代が活躍中!】 ※実務経験1年以上お持ちの方が対象の案件です! 【内容】 ビッグデータ(数十TBオーダー)基盤の 構築・改善(データエンジニア)をご担当いただきます。 以下のいずれか、もしくは複数を対応いただきます。 •Webデータクローリングのためのパイプライン新設や改善 •データのクレンジングやエンリッチメント処理 •データの品質改善を目的とした品質モニタリング環境の構築 •スケーラブルかつコスト効果の高いデータ基盤への改善 •将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計 【開発環境】 •データ収集:Python(Scrapy),AWSFargateforAmazonECS, AmazonManagedWorkflowsforApacheAirflow •データストア:AmazonS3,AmazonAuroraPostgreSQL •データトランスフォーム:ApacheSpark(PySparkがメイン。一部ScalaSpark),Databricks •その他:GitHub,Slack,Notion,Asana,GoogleWorkspace 【場所】フルリモート 【精算】140−180h 【面談】2回 【勤務時間】フレックス・コアタイム(13:00〜18:00) テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!
必須スキル
・SQLもしくはPythonでのデータ処理経験(3年以上) ・パブリッククラウド利用経験(3年以上) ・データ基盤構築経験 ・ApacheSpark(PySpark含む)でのデータ処理経験 ・AWSAnalytics系サービスの利用経験 ・Databricks利用経験 ・データマネジメント経験 ・DataOpsの概念への共感
面談回数
2回
作業開始時期
即日
リモート
一部リモート可
フリーランスボードからのアドバイス
データエンジニアリングの領域でキャリアを築きたい方に、非常に魅力的な案件が登場しました。Python、Spark、Databricksといった最先端の技術を駆使し、数十テラバイト規模のビッグデータ基盤構築に携わることができます。データ品質の向上やコスト効率化など、ビジネスインパクトの大きな課題解決に取り組む経験は、データエンジニアとしてのあなたの価値を飛躍的に高めるでしょう。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア
Python, AWS, Spark
その他
67-72万円