Sparkのフリーランス案件・求人一覧

・製造業向けのAzure Databricks案件 ・ベンダー側メンバーのITアーキテクトとして参画 ・Bronzeにあるデータを変換して次のSilver Layerに移行(Bronze⇒Silver⇒Gold) ・Gold LayerのデータをML(機械学習)などに活用、BIで分析(別チームが動いている) ・上記の業務内容に伴って以下の業務を実施予定 　- 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計

案件の必須スキル

・Data関連の案件で複数参画経験 ・Azure Cloudの経験 ・Pythonのプログラミング経験 ・ジョブ、データブリックスノートブックのパフォーマンス最適化

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

携帯キャリアでのAIエージェントサービスのプラットフォーム開発を担当して頂きます。 【具体的業務】 ・プラットフォームの各種推定機能における 　アルゴリズムの性能向上のためのデータ収集 ・ソース修正 ・学習データ作成 【直近の作業】 ・既存システムのSpark化にあたりユニットテスト 　作成 ・辞書更新のスクリプト作成 （予定の名前に対してMeCabを使った形態素解析を 　実行） ・自動車の位置情報解析スクリプト作成&改修 （滞留点を抽出、自宅職場推定、趣味嗜好推定、 　等のスクリプト） 【開発環境】 ■OS ・MacOS（Windowsもあるが開発は基本Mac） ・AmazonLinux ※スクリプトをMacで開発→AmazonLinuxで動作確認 ■言語 ・Python2,3 （両方） ■その他 ・AmazonRedshift ・ApacheSpark ・Docker ・Git ・AWS（EC2、S3、Cloudtrail、cloudwatch、 　　　 codecommit 等）

案件の必須スキル

【必須】 ・AWS商用開発経験 ・Pythonによる開発経験 ・仕様書作成経験、能力 ・設計レビュー経験、能力 ・試験レビュー経験、能力 【尚可】 ・AWS spark開発経験 ・チーム内調整の経験、能力

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

案件の必須スキル

・Terraform、Ansible使用経験 ・Hadoopの知見/知識/経験 ・クラウドの知見/知識/経験 ・アーキテクト能力 ・システムを俯瞰してみる能力 ・テックリード能力

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

案件の必須スキル

・AWSを利用したDWH、ETLの開発実務経験1年以上 ・Glueとredshiftの利用経験 ・要件定義、基本設計、詳細設計の経験

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

案件の必須スキル

・AWSを利用したDWH、ETLの開発実務経験1年以上 ・Glueとredshiftの利用経験 ・要件定義、基本設計、詳細設計の経験

当社の各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 ※エンド直案件となります。面談は弊社同席で1回行います。

案件の必須スキル

・汎用的な高いプログラミング能力 ・AWS/GCP/Azure などのクラウドサービスでの開発経験 ・RDBMS / NoSQLの知識・設計の経験 ・Webアプリケーションでのセキュリティ知識・運用・経験 ・CI/CD、ログ収集、監視などのDevOpsの経験 ・Infrastructure as Codeの知識・経験 【求める人物像】 ・チームで成果を出すことに喜びを感じる方 ・HRT（謙虚・尊敬・信頼）の姿勢を大切にしている方 ・医療に関心のある方 ・課題提起から実際に手を動かして解決してくれる方 ・新しい技術などに好奇心を持ち積極的に挑戦してくれる方 ・中長期でシステムを維持するためのコードの質や開発プロセスを大事にする方 ・アジャイルソフトウェア開発に関心のある方 ・あるべき論だけではなく、現状を踏まえた上で清濁併せのんでプロジェクト推進ができる方 ・主体的に動ける方

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 Go

案件の必須スキル

・アプリケーション開発経験：3年以上 ・Goの開発経験：3年以上 ・顧客視点のコミュニケーションができる方

大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築をするプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。また直近ではDWHの移行などの作業もございます。 ■得られるキャリア クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックスで、稼働も落ち着いているため、ワークライフバランスを実現しやすい働き方が可能です。 Python

案件の必須スキル

・AWS上での開発経験 ・Python開発経験 ・Git操作が一通りできること ・DataBase(RDB)を活用したアプリケーションの開発経験 ・IaC(Terraformなど)を使用してクラウドインフラの使用経験 ・使ったことのない技術に関するキャッチアップ力

データエンジニアとして、現在構築を進めている新データ基盤への移行を進めるための開発作業をお任せします。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング Python

案件の必須スキル

・pull request ベースでの Python 等のプログラム開発経験（5年以上） ・データ基盤の設計/構築、または運用経験（3年以上） ・SQL によるデータ分析やデータモデリングの経験（3年以上） ・AWS もしくは GCPを利用したサービスの構築経験（3年以上） ・dbt によるデータモデルやデータパイプラインの開発経験（1年以上）

大手キャリアが提供するスーパー販促プログラムにおいて、加盟店（飲食店、小売等）が利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。 Python

案件の必須スキル

・AWSやGCP、Azureなどのクラウドにおける開発経験：2年以上 ・Pythonでの開発経験：3年以上 ・下記の項目を1つ以上満たす方 　データベース、データウェアハウスを使ったデータ基盤の開発経験 　データ処理パイプラインの開発経験 　Apache Hadoop、Sparkなどの分散データ処理の開発経験

動画プラットフォーム事業にて取得しているデータの分析を担当して頂きます。日々蓄積される膨大なデータを用いて集計や統計分析を行いサービス改善、課題解決を行っていただきます。 ＜お任せする予定の作業＞ ・KPI集計や統計分析、ダッシュボードの構築 ・分析を実現するためのデータ収集や段取り ・企画との連携、サービスの開発支援・施策支援 ・他部署からの集計依頼や分析相談 Python

案件の必須スキル

・PythonやRなどを利用したデータ分析の経験：5年以上 ・SQLを用いたデータ分析やデータ集計の経験

エンジニア向けデータ統合プラットフォームのサーバーサイド開発をお願いいたします。 作業内容イメージとしては下記の内容をお任せする予定です。 ・k8s on GCPを使ったデータパイプライン基盤 (Scala)開発 ・Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤（Scala）開発 Scala

案件の必須スキル

・JavaもしくはScalaでの開発経験：3年以上 ・Git / Githubを利用した開発経験：3年以上

EC,動画などの複数コンテンツを開発する企業様にて、 コアプラットフォームの設計・開発をご担当頂きます。 大規模サービスを高度な技術力で支え、 安定したサービスを提供していく事がコアプラットフォームの役割です。 1700万人のユーザーを持つ巨大プラットフォームの根底にある、 プラットフォーム開発・インフラ整備・ガイドラインの整備・セキュリティや品質の確保等、業務は多岐にわたります。 （作業内容例） ・新ポータル開発 ・各基盤APIの設計開発 ・各サービスに跨る基盤の整備 ・高負荷対策フォロー ・業務効率化、開発 ・運用の自動化 ・品質・セキュリティの確保 ・新規サービスの立ち上げフォロー （募集背景） 組織を横断して新規プロジェクトを立ち上げる事になり、 ハイレベルのスキルをお持ちのエンジニアの方を募集し さらにレベルの高いプラットフォームを構築していきたいと考えています。 Java,Python,Ruby

案件の必須スキル

・Ruby on RailsでのWebアプリケーション、APIの開発経験（２年以上） ・Java,Phthon,rubyでの開発経験（2年以上） ・プロジェクトの立ち上げの経験 ・ミドルウェア（Apache,Tomcat,MySQL）に関する構築・運用・チューニング経験 ・Linuxに関する構築・運用・チューニング経験 ・WebAPIの利用・構築に関する知識・経験 ・クラウド基盤を利用した自動化経験 ・Ansibleなどの構成管理ツールの利用経験 ・L2/L3/L4通信に関する基本的な知識 ・Webセキュリティに関する基本的な知識

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 開発環境: サーバーサイド:Scala, Play Framework, ZIO, Spark, Flink プロビジョニング:Terraform, Ansible フロントエンド:JS, TypeScript, Vue.js 監視:DataDog, Kibana クラウドサービス:AWS, GCP 分析基盤:fluentd, BigQuery, Athena, Google Data Studio, Redash AWS:ECS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache 開発ツール:Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot 仮想化基盤:Docker その他使用言語:Python, Go ミドルウェア:Elasticsearch, nginx, MySQL, ClickHouse

案件の必須スキル

・Scala によるアプリケーション開発の実務経験(1年以上) ・スクラム開発の実務経験(1年以上)

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 Go

案件の必須スキル

・Webアプリケーション経験：3年以上 ・Golang：2年以上 ・ユーザー視点のコミュニケーション

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可 Go

案件の必須スキル

■必須スキル： ・　Webアプリケーション経験3年 ・　Golang2年 ・　ユーザー視点のコミュニケーション

既存サイトビッグデータ（店舗メニュー情報）分析システムの バッチ処理について、処理の大幅改修作業をご担当頂きます。 フェーズ：詳細設計、製造、テスト（単体・結合）、運用（調査・分析）

案件の必須スキル

【必須】 ・バッチ処理経験者 ・Linux環境での開発経験 ・SQLを使用しての開発経験 ・詳細設計が１人称で出来る方 【尚良】 ・リーダー経験者（スケジュール管理） ・PythonやBashを使っての開発経験 ・Apache Sparkを利用した開発経験 ・MySQLのパフォーマンスチューニング経験

小売業向けの基盤システムの開発を担当して頂きます。

案件の必須スキル

【必須】 ・Pythonによる開発経験 （一人称で作業可能なレベル） ・コミュニケーション能力 ・SQLの経験 【尚可】 ・Linuxの操作 ・Azure DataBricksの経験 ・ApacheSparkの経験

小売業向けの基盤システム開発をお任せします。 環境：Microsoft Azure Databricks

案件の必須スキル

【必須】 ・Pythonによる開発経験 ・コミュニケーション能力 ・SQLの経験（※PySpark、SparkSQLを利用します） ・要件定義から導入まで、システム開発の一連の流れの経験 ・コーディング経験に長けている方 【尚良】 ・調査・提案作業に長けている方 ・Azure DataBricksの経験 ・Microsoft Azure サービスの知識 ・ApacheSparkの経験 ・Linuxの操作 ・分析スキル（※統計検定3～2級程度）

・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 Python

案件の必須スキル

・Pythonでの開発経験：3年以上 ・SQL(Window関数やUNION、副問い合わせを流暢に扱えること) ・アプリケーション開発経験

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、エンタープライズとの契約が急激に増えている中で、多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 Python

案件の必須スキル

・システム開発経験：3年以上 ・Pythonの実装経験：1年以上 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）

在庫分析クラウドサービスを展開する企業にて、 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をPythonやSQLを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 Python

案件の必須スキル

・システム開発経験：3年以上 ・Pythonの実装経験：1年以上 ・SQLの実装経験（基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方）

データ分析プラットフォーム (Databricks) の運用、AWS 利用コスト最適化に関わる業務を実施していただきます。 ▼想定される主な業務 ・利用実態 (既存のリソースの稼働状況、設定されている権限) の調査 ・各種設計ポリシーを元に AWS リソース全般の設計・実装 ・運用ドキュメント (GitHub, Google Workspace) の増補、改善 ・Redash, Databricks を使用したダッシュボードの実装 ・AWS コスト削減方針検討・ライフサイクルなどの実装 AWS

案件の必須スキル

・SQLに関する基本的な知識 ・AWSを利用した開発・運用経験：3年以上 ・Pythonを利用したアプリケーション開発経験：1年ほど

自社プロダクトのデータ分析基盤（API / 解析基盤）の開発・運用を行って頂きます。 Go + Scala + Spark Stream + Hadoopなど最新の技術を積極的に取り入れながら、 データ分析基盤を1から開発する経験ができます。 （作業内容例） ・API、WEBアプリケーションの設計、開発、運用 ・リアルタイム分析基盤の設計、開発、運用 ・広告配信基盤の設計、開発、運用 ・機械学習を使った異常検知/未来予測基盤の設計、開発、運用 Go,Scala

案件の必須スキル

・Java, Ruby, Python, Golangなどのプログラミング言語での開発経験 ・Git / Githubを利用した開発経験 ・RDBMS（MySQL 又は Oracle）を使った開発経験

ライフログアプリのビッグデータを活用した人工知能開発にアサイン頂きます。 スマホセンサーなどから上がってくる行動データやテキスト、 画像の解析をベースに、人工知能技術を使ってAIや機械学習を開発して頂きます。 Python,Scala

案件の必須スキル

・Python、Scalaのいずれかでの言語による開発 ・Spark（MLlib）、scikit-learn、TensorFlow、Keras、Chainerを使った機械学習 研究、開発 ・行動データを使った強化学習、推奨エンジン 研究、開発

大手ECサイトやオンラインゲーム等、複数コンテンツを持っております企業様での 自社開発レコメンドエンジンの開発案件です。 現在、社内の各種事業に順次展開をしておりますが、 よりスピーディーに展開を進めるため、開発エンジニアを募集しております。 主な作業内容は下記を想定しております。 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成 など Node.js

案件の必須スキル

・Java・MySQLを用いたアプリケーション開発に3年以上従事し、基本設計〜テストまでを単独で行える事 ・Hadoopの技術をキャッチアップし、ビッグデータ関連の技術習得に意欲的に取り組める方

天王町　※リモートワーク中心　最初は出社 ・データ分析基盤構築およびアプリケーション開発(Java,Scala,Spark) ・AWS上でのjavaバックエンド開発 【備考】・指示された作業をするよりも、自ら調査、開発が得意な方 　　　　・色々とやるテーマなので新規スキルに対しても意識高く自習や 　　　　　興味をもって対応いただける方 　　　　・アプリも基盤もやることに抵抗感ない方

案件の必須スキル

・Javaを使ったバッチ処理の設計、開発の経験 　　　　・AWS使っての開発経験（数年ほど）

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。 Python

案件の必須スキル

・Pythonを利用した開発経験：2年以上 ・データ分析プロジェクトへの参画経験 ・問題点などの共有を自ら行うことができ、自発的に行動できる方 ・協調性があり、コミュニケーション能力の優れている方