Hadoopのフリーランス案件・求人一覧

大手キャリアが提供するスーパー販促プログラムにおいて、加盟店（飲食店、小売等）が利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。 Python

案件の必須スキル

・AWSやGCP、Azureなどのクラウドにおける開発経験：2年以上 ・Pythonでの開発経験：3年以上 ・下記の項目を1つ以上満たす方 　データベース、データウェアハウスを使ったデータ基盤の開発経験 　データ処理パイプラインの開発経験 　Apache Hadoop、Sparkなどの分散データ処理の開発経験

HadoopやDWH関連のデータ分析基盤構築支援のサービスをメインで展開されている弊社顧客内の請負開発チーム内において、AWS ECS、Snowflake、Datadog、Databricks等を使用したデータ分析構築をご一緒に担当いただける方を募集しております。 ※顧客内に複数案件が同時に走っている為、技術者様のスキルセットに併せて、見合う案件を面談時にご紹介いたします AWS

案件の必須スキル

・データ基盤開発のご経験 ・AWSの構築経験 ・BIツール使用経験

動画プラットフォーム事業にて取得しているデータの分析を担当して頂きます。日々蓄積される膨大なデータを用いて集計や統計分析を行いサービス改善、課題解決を行っていただきます。 ＜お任せする予定の作業＞ ・KPI集計や統計分析、ダッシュボードの構築 ・分析を実現するためのデータ収集や段取り ・企画との連携、サービスの開発支援・施策支援 ・他部署からの集計依頼や分析相談 Python

案件の必須スキル

・PythonやRなどを利用したデータ分析の経験：5年以上 ・SQLを用いたデータ分析やデータ集計の経験

EC,動画などの複数コンテンツを開発する企業様にて、 コアプラットフォームの設計・開発をご担当頂きます。 大規模サービスを高度な技術力で支え、 安定したサービスを提供していく事がコアプラットフォームの役割です。 1700万人のユーザーを持つ巨大プラットフォームの根底にある、 プラットフォーム開発・インフラ整備・ガイドラインの整備・セキュリティや品質の確保等、業務は多岐にわたります。 （作業内容例） ・新ポータル開発 ・各基盤APIの設計開発 ・各サービスに跨る基盤の整備 ・高負荷対策フォロー ・業務効率化、開発 ・運用の自動化 ・品質・セキュリティの確保 ・新規サービスの立ち上げフォロー （募集背景） 組織を横断して新規プロジェクトを立ち上げる事になり、 ハイレベルのスキルをお持ちのエンジニアの方を募集し さらにレベルの高いプラットフォームを構築していきたいと考えています。 Java,Python,Ruby

案件の必須スキル

・Ruby on RailsでのWebアプリケーション、APIの開発経験（２年以上） ・Java,Phthon,rubyでの開発経験（2年以上） ・プロジェクトの立ち上げの経験 ・ミドルウェア（Apache,Tomcat,MySQL）に関する構築・運用・チューニング経験 ・Linuxに関する構築・運用・チューニング経験 ・WebAPIの利用・構築に関する知識・経験 ・クラウド基盤を利用した自動化経験 ・Ansibleなどの構成管理ツールの利用経験 ・L2/L3/L4通信に関する基本的な知識 ・Webセキュリティに関する基本的な知識

ビッグデータ関連部署において、 共通基盤となるレコメンドAPIの開発案件になります。 インフラ基盤はAWSを利用しており、 主にこのAWSの環境構築、運用、チューニングをご担当頂きます。 レコメンドアルゴリズムの実装、各サービスへの展開、装着を 一部補助頂く可能性もございます。 Java,AWS

案件の必須スキル

・AWSを利用した環境の構築 ・インフラの運用/チューニング（トラフィック予測/制御及びDB） ・Unix系OS（Linuxでも可）の使用経験1年以上 ・Javaを用いた開発の経験

アドテクノロジー製品(DSP/RTB)を展開している企業内での データマイニング業務を担当いただきます。 ユーザーのクリック情報や様々な変数を分析し 今後の広告出稿に役立てる作業がメインとなります。 [技術要素] R、Python、SQL、Hadoop、Hive Python,DB(インフラ)

案件の必須スキル

・実務でのデータマイニング経験 ・SQLや簡単なスクリプト系言語の経験

会員数が数百万を越えるWEBサービスのビッグデータ処理を行います。 【開発環境】 Hadoop、AmazonRedshift、Hive、Mahout Java,DB(インフラ)

案件の必須スキル

・Hadoopの経験

・次期検索基盤システムの開発・導入 ・検索エンジンのカスタマイズ（Elasticsearch） ・検索改善に向けたデータ分析（Hadoop） Java

案件の必須スキル

・Javaによるシステム開発経験：3年以上 ・SolrやElasticsearch等の検索エンジンを用いた開発経験

携帯会社のシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 1人称で開発を行える方をお探ししています。 Java

案件の必須スキル

・Javaでの開発経験：3年以上 ・OracleDBなどのDBの経験 ・SQLの経験 ・LINUXコマンドの経験

某携帯キャリアのシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 ※詳しくは面談時にお伝えいたします Java

案件の必須スキル

・Javaでの開発経験：3年以上 ・OracleDBなどのDBの経験 ・SQLの経験 ・LINUXコマンドの経験 ・上流工程の経験

葬祭サービスを提供する企業にてデータ分析基盤の開発を行っていただきます。 ビジネス上のつながりのデータや、ユーザーの行動データを活用するための分析基盤開発を行うことで、事業の成長を担っていただくことがミッションです。 【具体的な作業内容】 ・データのETL処理やETL処理のためのスクリプト、システム開発運用業務 ・データの傾向や内容を知るための集計、分析、可視化 ・AWSを用いた分析基盤構築および運用業務 ・データのセキュリティ対応 ・ドキュメント整備、啓蒙活動 ・Web広告の改善のユーザーの行動分析 ・TableauなどのBIツールなどの連携 Python

案件の必須スキル

・業務での開発経験：2年以上（言語不問） ・パブリッククラウドの利用経験：1年以上 ・SQLを用いた業務開発経験：1年以上

不動産業界向けデータプラットフォームシステムの基盤構築に携わっていただきます。 ・高速かつ容易な分析を可能とする基盤のアーキテクチャ検討 ・データ分析基盤の構築、運用 ・データソース間の移送、統合 ・データ分析を必要とするビジネスメンバーのサポート、分析作業 AWS

案件の必須スキル

・AWS基盤構築経験：3年以上 ・テーブル設計、DBチューニングの実務経験 ・SQLを使ったデータ集計、データ分析業務の経験 ・RDBMSに対する知識

データ分析プラットフォーム (Databricks) の運用、AWS 利用コスト最適化に関わる業務を実施していただきます。 ▼想定される主な業務 ・利用実態 (既存のリソースの稼働状況、設定されている権限) の調査 ・各種設計ポリシーを元に AWS リソース全般の設計・実装 ・運用ドキュメント (GitHub, Google Workspace) の増補、改善 ・Redash, Databricks を使用したダッシュボードの実装 ・AWS コスト削減方針検討・ライフサイクルなどの実装 AWS

案件の必須スキル

・SQLに関する基本的な知識 ・AWSを利用した開発・運用経験：3年以上 ・Pythonを利用したアプリケーション開発経験：1年ほど

自社プロダクトのデータ分析基盤（API / 解析基盤）の開発・運用を行って頂きます。 Go + Scala + Spark Stream + Hadoopなど最新の技術を積極的に取り入れながら、 データ分析基盤を1から開発する経験ができます。 （作業内容例） ・API、WEBアプリケーションの設計、開発、運用 ・リアルタイム分析基盤の設計、開発、運用 ・広告配信基盤の設計、開発、運用 ・機械学習を使った異常検知/未来予測基盤の設計、開発、運用 Go,Scala

案件の必須スキル

・Java, Ruby, Python, Golangなどのプログラミング言語での開発経験 ・Git / Githubを利用した開発経験 ・RDBMS（MySQL 又は Oracle）を使った開発経験

アドネットワークサービスの広告配信アルゴリズム分析基盤の構築をご担当いただきます。 同部署にはアドテクエンジニアも多く所属しており、ディスカッションを行いながらアルゴリズム構築となります。 Python,DB(インフラ)

案件の必須スキル

大規模データ分析経験 分析用ソフトウェアの利用経験

社内ソーシャルゲームシステムにおいて、 社内DBの要件定義、設計、構築、運用といった データベースの全般業務を担当して頂きます。 ・データベースシステムの選定（ハードウェア、OS、ストレージ、DB統合監視ソフトなど） ・データベースの企画、設計（論理・物理）、構築、運用管理 ・データベースの移行、検証、性能試験 ・データベースのパフォーマンスチューニングおよびトラブルシューティング ・データベースの標準化（SQLコーディング、設計・構築方針） ・データベースプログラムの開発（ストアドプロシージャ、DB性能監視プログラムなど） DB(インフラ)

案件の必須スキル

・MySQLデータベースに関するDBA経験3年以上 ・Linux環境でのDBA実務経験がある方

自社サービスに関わる広告配信周りの開発を行っていただきます。 広告配信サーバーの開発や、広告配信ツール、 配信アルゴリズムの最適化やインフラ構築など、 フルスタックエンジニアとして活躍していただきます。 [開発環境] Ruby on Rails、nginx、Hadoop、Redis、memcached MySQL、MongoDB など Ruby,NW(インフラ),サーバ(インフラ)

案件の必須スキル

・Ruby on Rails を使用したWEBアプリケーションの開発経験 ・サーバー構築などWebサービスを支えるインフラ対応経験

メディアプランニングシステム、アクセス解析ツールなどのマーケティングソリューションやPC／スマートフォン向け広告配信システムなど、 お客様の既存事業、新規事業を支えるシステムの設計・開発・運用を担当します。 広告サービス広告主向け、媒体向けに分かれており、プロダクトは20個以上あります。 (広告プランニング・広告業務サポート、第三者配信プラットフォーム/クリエイティブの最適化、、リッチ広告配信、ターゲティング広告、データベース広告配信etc) 要望、経験に合わせ、下記5つのいずれかを担当します。 ・広告配信プラットフォーム ・インターネット広告プランニングシステム ・新規プロダクト作成 ・ビックデータ解析(DNP) ・インフラ Java,Ruby,C#.NET,サーバ(インフラ)

案件の必須スキル

※担当プロダクトにより要件が異なります （広告配信プラットフォーム） ・C、Javaの経験 （インターネット広告プランニングシステム） ・.NET(FW2.0~4.0)、SQLserver2008以降~の経験 （新規プロダクト作成） ・Ruby2系、Rails4系の経験 （ビックデータ解析） ・Hadoop、Hiveの経験 （インフラ） ・NW、Sever(RedHat、Windows)、MySQLのいずれかに精通している方

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

案件の必須スキル

・Terraform、Ansible使用経験 ・Hadoopの知見/知識/経験 ・クラウドの知見/知識/経験 ・アーキテクト能力 ・システムを俯瞰してみる能力 ・テックリード能力

【案件概要】 とあるtoB向けサービスを展開する企業様にて ・プライベートクラウドで管理されたKubernetes環境やHadoop環境のパブリッククラウドへの移行 移行に伴い主に下記業務を想定しております。 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築 【弊社について】 コンサルティング支援を母体とした日本企業のDX（デジタルトランスフォーメーション）を支援する企業です。 事業内容は多岐に渡り、顧客の課題やニーズに合わせて、DX戦略の立案から実行、その後の運用までを総合的にサポートしています。 具体的には、以下のようなサービスを提供しています。 ・DX戦略策定支援：顧客の現状を分析し、DXビジョンや戦略の策定を支援します。 ・デジタルマーケティング支援：データ分析に基づいたWebサイト構築やマーケティングオートメーション導入などを支援します。 ・システム開発・運用：顧客のニーズに合わせたシステム開発や、既存システムのクラウド移行などを支援します。 ・新規事業開発支援：顧客の新規事業創出を、アイデア創出から事業計画策定、実行まで支援します。 【勤務形態】 ・フルリモート 【目安の稼働時間】 ・10:00〜19:00（相談の上調整可）

案件の必須スキル

・パブリッククラウド(AWS、GCP、Azure等)を利用したインフラ設計・構築・運用経験 ・Kubernetesを使用したコンテナ環境の設計・構築・運用経験：3年以上程度 ・IaC、CI/CD、Observabilityの考え方を取り入れたインフラ設計・構築・運用経験

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。 Python

案件の必須スキル

・Pythonを利用した開発経験：2年以上 ・データ分析プロジェクトへの参画経験 ・問題点などの共有を自ら行うことができ、自発的に行動できる方 ・協調性があり、コミュニケーション能力の優れている方

テレビ視聴データをWEBで分析できるマーケティング分析ツールを自社で開発されている企業です。 ターゲットのテレビ視聴やCM接触を詳細プロフィールで分析でき、 広告宣伝をはじめ、メディア営業・プランニングにも活用されているサービスとなります。 ■業務内容 自社SaaSシステムの刷新プロジェクトの基本設計において、アーキテクトと連携しながらインフラの検討及び構築をお願いします。 ビッグデータの解析・集計処理も行うため、解析基盤の検討・構築にも携わっていただきます。 ■具体的な作業内容(一例です) ・Terraform、CloudFormationによるIaaS環境の整備 ・GitHub Actionsなどを利用したCI / CD環境の整備 ・ビッグデータ解析・集計基盤の整備 AWS

案件の必須スキル

・ビッグデータ解析基盤の構築に関する実務経験：3年以上 ・IaaS、CI/CDの実務経験：2年以上

ビッグデータ関連技術の研究開発、およびその運用に関わる DevOps系ツールの研究開発をご担当頂きます。 DB(インフラ),NW(インフラ),サーバ(インフラ)

案件の必須スキル

・高度なLinuxの知識と経験 ・Webアプリケーションもしくはサーバー開発経験3年以上 ※使用する言語は問いません。

ログ解析基盤のバッチ処理やレポーティングツールの開発、保守、運用、 または、その他の関連システムの開発、保守、運用などをお任せします。 Java,SQL

案件の必須スキル

・Java サーバサイド、バッチ処理 ・SQLプログラミング ・Linuxに関する基礎知識 ・Git, Github, Mavenなどの開発ツールに関する基礎知識

Facabook、Twitter、ブログなどソーシャルメディアと連動した モニター情報サービスの運用開発やユーザー問い合わせに対する 技術調査などをご担当いただきます。 技術的に可能であれば、Hadoopを使った集計システムも 担当して頂きます。 ＜開発環境＞ 言語：Java OS：Linux（サーバー）※開発PCはWindows, Macから選択可 DB：MySQL FW：Play Framework1系 その他：Hadoop, Github, Backlog ＜チーム体制＞ ・プロデューサー：1名 ・運用担当者：1名 ・エンジニア：1名 Java

案件の必須スキル

・Javaでのサーバーサイド開発経験3年以上 ・Linuxサーバーでの作業経験 ・小規模チームでの開発経験

大手広告系会社のアドテク関連開発に携わって頂きます。 主にTreasureData + BIツールを用いシステム構築をしていきます。 DB(インフラ)

案件の必須スキル

・TreasureDataの使用経験 ・大規模データ処理実績またはアドテク関連知識

ビッグデータ分析部署にご参画いただき、組織運営をサポート頂きます。 ＜ご参画部署＞ ビッグデータを活用し、該当企業が提供している web上でのレコメンデーション、 スマホサイトでのPush Notification、メールマガジンでのOneToOne施策など、 さまざまなターゲティング施策、パーソナライゼーション施策を行う。 ※技術的な側面では、HadoopをはじめとしたBIGDATAのインフラを活用しながら、 統計解析や機械学習を応用したさまざまな情報推薦を行う専門部署です。 ＜作業内容＞ ・グループでの取り組み施策の管理、リソースマネジメント、 コスト管理等における課題整理、とりまとめ ・グループ主催会議の事務局運営や、議事録作成、課題管理 ・各施策におけるグループ社員のサポート（論点、課題整理など） その他

案件の必須スキル

・打ち合わせに必要な各種資料の作成 ・抽象的な事柄を整理して資料に起こすことができる。 ・上記のような資料をPowerpoint、Excelで作成することができる。 ・他部門含めた関係者の調整、コミュニケーションスキル ・会議等のファシリテーションスキル

月間約200億impある大規模広告アドネットワークシステム(SSP/RTB)を保有する企業内でのデータマイニング、及びPythonによるプログラム開発の業務をお任せします。 扱うデータ量は300GB/日、9TB/月と、大規模なものになりHadoopを使った処理や、広告配信システムとの連携におけるPythonでのプログラム開発がメインの作業となる予定です。 扱うデータの種類としては、ユーザーの行動、クリック率、クリック数など、広告の接触状況などのデータとなります。 Python

案件の必須スキル

・大量データの解析処理経験 ・プログラミングの経験