この案件は募集終了しました
条件にあう案件が見つからない場合、エージェントに相談してみることをおすすめします。 この案件に類似する非公開案件の紹介やキャリアカウンセリングを無料で行ってくれます。
Python データエンジニア|データプラットフォーム開発
案件サマリー
SQL、RDBMS、プログラミング言語での開発経験をお持ちのデータエンジニアを求めています。社内外データを活用したプラットフォーム開発にて、データ加工からパイプライン構築、ETL処理、監視業務まで幅広くお任せします。
この案件のおすすめポイント
- 最新の分散処理技術(Spark/Hadoop)でスキルを磨けます
- 大規模データパイプライン構築やETL処理など上流から携われます
- データエンジニアとしての市場価値を高める貴重な実務経験を積めます
案件の内容
社内/社外のデータを利用したプロジェクトにてプロジェクト内での課題の把握と必要な作業の洗い出し、実作業としてデータ加工、データパイプライン/ワークフローの作成、ETL処理、また定期実行される処理の監視や適切な復旧業務を行っていただきます。 ※実際の作業としては以下の内容を想定しております。 ・社内に蓄積されているデータとそれを利用する環境の状況整理 ・データを用いたプロジェクトにおける課題の把握 ・アドホックなデータ抽出作業/データ加工処理 ・データパイプラインの構築や行われる処理の自動化 ・ETL処理のワークフロー化、およびその作業のシステム的な監視の構築 プロジェクトで利用している技術スタック 言語 :Python, Scala, Node.js DB:PostgreSQL, AmazonRDS, Google BigQuery その他:Hadoop, Spark, AmazonEMR, Presto, Databricks, Redis, Prometheus 開発フェーズ:外部設計;内部設計;プログラミング;その他
必須スキル
必須スキル ・SQLに関する基本的な知識 ・複数のRDBMSを扱った開発経験 ・webサービスやプロダクトのデータを用いた抽出業務やデータ加工処理の経験 ・プログラミング言語を利用したアプリケーション開発経験 ・パブリッククラウドを利用した開発経験 尚可スキル ・Hadoop, Spark, Hiveなど分散処理のためのフレームワークを利用した開発経験 ・自社や外部の大規模データを利用したプロジェクトへの参加、プロダクト開発、データ処理や分析の蹴件 ・BIやDWHを利用したデータ分析業務の経験 ・ストリーム処理基盤の構築・運用経験 ・コンテナを使ったアプリケーション開発または運用 ・Kubernetes/Amazon ECSの利用経験 ・統計モデル、自然言語処理、機械学習ライブラリを使った実装経験 その他 ・常駐はしなくて大丈夫ですが、一部来社いただく可能性があります
作業開始時期
即日
リモート
一部リモート可
作業開始/終了時間の目安
10:00 ~ 19:00
フリーランスボードからのアドバイス
データエンジニアの需要が高まる中、本案件で扱うBigQueryやSpark、Databricksといった技術は市場価値を大きく向上させます。単なるデータ加工だけでなく、データパイプラインの構築やワークフローの自動化まで、上流工程から一貫して携われる点も大きな魅力です。ここで得られる大規模データ基盤の開発経験は、あなたのキャリアを次のステージへと引き上げる確かな一歩となるでしょう。
企業名
サンプル企業名株式会社
サービス/プロジェクト名
サービス/プロジェクト名
詳細スケジュール/リリース時期
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
詳細スケジュール/リリース時期は面談時にお伝えします
現場責任者の雰囲気
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
現場責任者の雰囲気は面談時にお伝えします。
開発体制の詳細
サンプル: エンジニア8名(バックエンド4名、フロントエンド3名、QA1名)
案件探しはAIに。あなたは確認だけ。
AIエージェントが40万件の案件からあなた専用の提案。利用中のフリーランスは平均より月10万円以上の高単価を実現しています。
この案件に似た条件で検索する
データエンジニア, バックエンドエンジニア
Python, SQL, BigQuery
東京都
60-70万円