この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
【AWS Glue/PySpark/フルリモート】受発注管理システム更改におけるETL再実装
この案件のおすすめポイント
- Glue×PySparkで高速ETL再実装を主導
- Redshift性能改善とスキーマ最適化を実践
- フルリモート長期でデータ基盤力を強化
案件の内容
受発注管理システムの更改に伴い、需要予測システムの出力データを抽出・変換し、DWHからデータマートへ連携するETLの設計~開発を担当いただきます。 既存のPython ShellベースのETLが性能要件を満たせていないため、AWS GlueのVisual ETLおよびPySparkを用いた再実装が主業務です。 DWH/DMはAmazon Redshiftを使用しており、S3連携やパフォーマンス・チューニング、スキーマ設計の見直しなども発生します。 フルリモート・地方在住可で、複数名募集の長期参画を想定しています。
募集背景
既存ETL(Python Shell)が性能要件を満たしておらず、AWS Glue(Visual ETL)およびPySparkによる再構築が必要なため。需要予測データの安定供給・高速化を目的に、人員を増強します。
必須スキル
・AWS GlueのVisual ETL(Studio/ジョブ)の実務経験 ・PySparkによるETL実装の実務経験(両方ある方歓迎、片方のみでも可) ・RDBMSに関する実務経験(スキーマ設計、チューニング、クエリ最適化等)
歓迎スキル
・PythonによるETL/バッチ実装経験 ・SQL最適化の経験 ・Amazon Redshiftの運用・パフォーマンスチューニング経験 ・Amazon S3を用いたデータレイク/連携の経験 ・Power BIなどBIツールでのレポーティング/データモデリング経験
開発環境
・クラウド/データ基盤:AWS(Glue、S3、Redshift) ・言語/フレームワーク:PySpark、Python、SQL ・方式:DWH→データマートのETL再実装、性能改善、スキーマ最適化 ・その他:フルリモート、オンライン面談(Web2回)
稼働日数
週5日
基本は平日週5日想定。応相談。
精算
140~180時間
面談回数
2回(オンライン)
状況により追加調整の可能性あり。1回目は担当同席。
作業開始時期
即日
募集人数
3人
リモート
フルリモート
作業開始/終了時間の目安
9:00~18:00目安(フレックス気味、応相談)
平均稼働時間
平均160~180時間/月程度
現場の雰囲気
リモート中心でコミュニケーションはチャット・オンライン会議が主体。技術的議論が活発で新技術導入に前向き。
フリーランスボードからのアドバイス
GlueのVisual ETLとPySparkでの再実装は、クラウドETLの主流スキルを実戦で磨ける好機です。RedshiftやS3を横断し、DWHからデータマートまでの設計見直しや性能チューニングを担うことで、データ基盤エンジニアとしての市場価値が着実に上がります。既存Python Shellからの移行でボトルネック解析の経験も蓄積できます。直近の求人動向でもGlue×Sparkの即戦力は希少性が高く、報酬レンジも伸びています。PySparkまたはGlueどちらか片方の経験でも、もう一方を吸収しやすい構成です。レジュメではETLの処理量、スループット改善率、RedshiftのDIST/SORTキー見直しやクエリ最適化事例を具体数値で記載してください。S3パーティショニング戦略やジョブ並列化、ジョブブックマーク活用の知見があれば強みとして響きます。長期かつ複数名体制なのでリモートでも参画しやすく、BI連携の経験も広げられます。迷う前にまずカジュアル面談でフィット感を確かめましょう
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, バックエンドエンジニア, クラウドエンジニア
AWS, Python
65-105万円