この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Python システムエンジニア(SE)|データ分析プラットフォームのバッチ開発
案件サマリー
PythonやSQL、OCIの知見やインフラ設計構築経験を活かせるデータ分析基盤のバッチ開発案件です。GKEやSnowflake環境にてデータ収集バッチの運用や、dbtを用いた移行・再構築業務を担当します。
この案件のおすすめポイント
- 需要高まるSnowflakeやdbtを駆使した最新データ基盤開発を経験
- GKE環境での大規模バッチ最適化やAPI連携に深く携われる魅力的な業務
- モダンデータスタックの実務実績を築き市場価値の高いデータ技術者へ成長
案件の内容
ライブ配信事業におけるYouTubeのデータ取得バッチ基盤のリファクタリングおよびdbtへの移行・再構築業務を担当する。 GKEおよびArgo Workflows環境で稼働するデータ収集バッチの運用保守から、新たな分析ニーズに基づく新規バッチの設計・開発、Snowflake内でのデータモデル整備まで幅広く推進する。 主な業務内容は以下の通り。 ・GKE + Argo Workflows環境で稼働する外部API連携バッチの定常運用、パフォーマンス改善、および障害対応 ・事業側の各種分析ニーズに応じた新規データ収集バッチの設計、実装、およびテスト ・Snowflake内におけるデータ加工処理、データマート作成、およびdbtを用いたデータモデリング整備 ・YouTube Data API等の外部API制約(クォータ制限、OAuth認証等)を考慮したデータ収集処理の最適化・リファクタリング
必須スキル
・GCP(Google Cloud Platform)環境における実務経験(BigQuery、GCS、Pub/Sub、GKEのうち複数の実務利用経験) ・Kubernetes(GKE環境等)における運用および各種管理実務経験
歓迎スキル
・Argo WorkflowsまたはArgoCDを活用したワークフロー管理・GitOps運用の実務経験 ・dbtやDataform等のデータモデリングツールを用いたデータパイプライン開発・運用経験 ・Snowflakeを用いたデータウェアハウス構築・運用およびデータ加工の実務経験 ・YouTube Data API、YouTube Analytics API等、外部APIのクォータ制限・認可仕様を考慮した開発経験
面談回数
1回
作業開始時期
即日
リモート
フルリモート
案件担当のコメント
・就業時間:11:00~20:00 ・精算幅:140~180h ・フルリモートワーク
フリーランスボードからのアドバイス
モダンなデータ分析基盤で注目されるSnowflakeやdbt、Kubernetesの実践経験を積める絶好の機会です。YouTube等の大規模APIデータ収集からデータモデリングまで一気通貫で手掛けるため、エンジニアとしての設計・運用力が大きく磨かれます。データ領域の需要が急拡大している今、最先端のデータパイプライン構築実績は将来の案件獲得において強力な武器になります。フルリモート環境で裁量を持って自らの技術力を存分に発揮してください。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
バックエンドエンジニア, インフラエンジニア, データエンジニア
Python, SQL, Google Cloud Platform(GCP)
東京都
95万円