この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Python データエンジニア|AWS上のCDPデータレイク基盤構築を検証
案件サマリー
AWS、Python、SQL、PySparkの経験を活かし、CDP基盤立ち上げに向けたデータレイクの技術検証ポジションです。S3上のデータ整備や、RedshiftとEMR Serverlessの比較検証などを通じ、最適な基盤構成を短期集中で検討します。
この案件のおすすめポイント
- AWS上でPySparkを駆使し、最新データ基盤技術を実践的に学べます
- CDP基盤の技術選定という、プロジェクト最上流の経験を積む好機です
- データレイク構築の知見は、データエンジニアとしての市場価値を飛躍させます
案件の内容
CDP基盤の立ち上げに向け、AWS上での技術調査・PoCを担当いただきます。 - S3上のデータを前提としたクレンジング、名寄せ、マスキング方式の検討 - データレイク用S3への最適なデータ配置・パーティション設計やフォーマット(例:Parquet、Iceberg等)の検討 - Redshift Serverless と EMR Serverless の比較検証(性能、コスト、運用性の観点) - 技術検証結果の整理、ドキュメント化および提案資料の作成 期間は短期で、集中的に検証とナレッジの集約を行います。
募集背景
CDP基盤立ち上げに先立ち、最適なAWSサービス構成とデータ処理方式を短期間で見極めるための技術検証要員の増強です。
必須スキル
以下のご経験が必須です。 - AWSの実務経験(特にS3を用いたデータ取り扱い) - Pythonでのデータ処理実務経験 - SQLによる集計・分析・最適化の経験 - PySparkを用いた分散データ処理の経験
歓迎スキル
歓迎スキル: - Redshift(特にServerless)の設計・パフォーマンスチューニング経験 - EMR(Serverless含む)でのSparkジョブ設計・運用経験 - データレイク設計(レイヤリング、パーティション、テーブル形式)に関する知見 - データマスキング、個人情報保護に関する実務経験 - 技術検証やPoC結果のドキュメント化、提案資料作成の経験
開発環境
開発・検証環境: - クラウド:AWS(S3, Redshift Serverless, EMR Serverless) - 言語・フレームワーク:Python, PySpark, SQL - データフォーマット:Parquet など - 管理・その他:Git系リポジトリ、チケット管理ツール、オンライン会議ツール(いずれも一般的なSaaS)
稼働日数
週5日
短期集中のため基本は週5日稼働を想定(調整可)
精算
140~180時間
面談回数
1回(オンライン)
状況により追加のオンライン面談または資料レビューをお願いする可能性があります
作業開始時期
即日
募集人数
1人
チーム規模
2-5名
リモート
一部リモート可
作業開始/終了時間の目安
10:00〜19:00目安(フレックス・時差出社応相談)
平均稼働時間
目安160時間前後/月(精算幅140-180H)
現場の雰囲気
落ち着いたコミュニケーションで、検証結果を迅速に意思決定へつなげる実務志向のチームです。
案件担当のコメント
技術選定と検証の推進が主軸のため、手を動かしつつ検証観点の設計やまとめが得意な方にマッチします。短期で成果を出すスピード感を重視します。
フリーランスボードからのアドバイス
PySparkやAWS Serverless技術は、近年のデータエンジニア市場で特に需要が高いスキルセットです。この案件では、CDP基盤立ち上げという事業の根幹に関わるプロジェクトで、RedshiftとEMRの比較検証など、最先端の技術選定に深く関与できます。短期集中で技術的な意思決定に貢献する経験は、あなたの市場価値をさらに高める貴重なステップとなるはずです。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, インフラエンジニア
AWS, Python, SQL
東京都
75-85万円