Hadoopのフリーランス案件・求人一覧

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所：湯島※リモート相談可能 外国籍：不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

案件の必須スキル

・Terraform、Ansible使用経験 ・Hadoopの知見/知識/経験 ・クラウドの知見/知識/経験 ・アーキテクト能力 ・システムを俯瞰してみる能力 ・テックリード能力

当社の各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 ※エンド直案件となります。面談は弊社同席で1回行います。

案件の必須スキル

・汎用的な高いプログラミング能力 ・AWS/GCP/Azure などのクラウドサービスでの開発経験 ・RDBMS / NoSQLの知識・設計の経験 ・Webアプリケーションでのセキュリティ知識・運用・経験 ・CI/CD、ログ収集、監視などのDevOpsの経験 ・Infrastructure as Codeの知識・経験 【求める人物像】 ・チームで成果を出すことに喜びを感じる方 ・HRT（謙虚・尊敬・信頼）の姿勢を大切にしている方 ・医療に関心のある方 ・課題提起から実際に手を動かして解決してくれる方 ・新しい技術などに好奇心を持ち積極的に挑戦してくれる方 ・中長期でシステムを維持するためのコードの質や開発プロセスを大事にする方 ・アジャイルソフトウェア開発に関心のある方 ・あるべき論だけではなく、現状を踏まえた上で清濁併せのんでプロジェクト推進ができる方 ・主体的に動ける方

・Javaを用いた製造業向けのデータ収集システム案件に携わっていただきます。 ・主にシステム改修をご担当いただきます。

案件の必須スキル

・Javaを用いた開発経験 ・Shell(Bash)を用いた開発経験 ・SQLを用いた開発経験 ・ C言語、C++の処理に関する知見 ・Linuxのコマンド操作の経験

案件概要：BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes) 業務内容： プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築 勤務時間：10:00-19:00※相談可 場所：渋谷※フルリモート 外国籍：応相談 ビジネスレベル、日本在住の方のみ

案件の必須スキル

・パブリッククラウド(AWS、GCP、Azure等)を利用したインフラ設計・構築・運用経験 ・Kubernetesを使用したコンテナ環境の設計・構築・運用経験 ・IaC、CI/CD、Observabilityの考え方を取り入れたインフラ設計・構築・運用経験

案件概要：BtoB向け AIサービス 移行プロジェクト(AWS,Kubernetes) 業務内容： プライベートクラウドで管理されたKubernetes環境やHadoop環境を パブリッククラウドへ移行する。移行に伴い主に下記業務を想定 ・パブリッククラウドのインフラ設計・構築 ・Kubernetes コンテナ環境の設計・構築 ・CI/CD、モニタリング環境の設計・構築 勤務時間：10:00-19:00※相談可 場所：渋谷※フルリモート 外国籍：応相談 ビジネスレベル、日本在住の方のみ

案件の必須スキル

・パブリッククラウド(AWS、GCP、Azure等)を利用したインフラ設計・構築・運用経験 ・Kubernetesを使用したコンテナ環境の設計・構築・運用経験 ・IaC、CI/CD、Observabilityの考え方を取り入れたインフラ設計・構築・運用経験

大手キャリアが提供するスーパー販促プログラムにおいて、加盟店（飲食店、小売等）が利用するシステム（クーポン入稿、ターゲティング設定、配信効果分析など）のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。 Python

案件の必須スキル

・AWSやGCP、Azureなどのクラウドにおける開発経験：2年以上 ・Pythonでの開発経験：3年以上 ・下記の項目を1つ以上満たす方 　データベース、データウェアハウスを使ったデータ基盤の開発経験 　データ処理パイプラインの開発経験 　Apache Hadoop、Sparkなどの分散データ処理の開発経験

HadoopやDWH関連のデータ分析基盤構築支援のサービスをメインで展開されている弊社顧客内の請負開発チーム内において、AWS ECS、Snowflake、Datadog、Databricks等を使用したデータ分析構築をご一緒に担当いただける方を募集しております。 ※顧客内に複数案件が同時に走っている為、技術者様のスキルセットに併せて、見合う案件を面談時にご紹介いたします AWS

案件の必須スキル

・データ基盤開発のご経験 ・AWSの構築経験 ・BIツール使用経験

動画プラットフォーム事業にて取得しているデータの分析を担当して頂きます。日々蓄積される膨大なデータを用いて集計や統計分析を行いサービス改善、課題解決を行っていただきます。 ＜お任せする予定の作業＞ ・KPI集計や統計分析、ダッシュボードの構築 ・分析を実現するためのデータ収集や段取り ・企画との連携、サービスの開発支援・施策支援 ・他部署からの集計依頼や分析相談 Python

案件の必須スキル

・PythonやRなどを利用したデータ分析の経験：5年以上 ・SQLを用いたデータ分析やデータ集計の経験

EC,動画などの複数コンテンツを開発する企業様にて、 コアプラットフォームの設計・開発をご担当頂きます。 大規模サービスを高度な技術力で支え、 安定したサービスを提供していく事がコアプラットフォームの役割です。 1700万人のユーザーを持つ巨大プラットフォームの根底にある、 プラットフォーム開発・インフラ整備・ガイドラインの整備・セキュリティや品質の確保等、業務は多岐にわたります。 （作業内容例） ・新ポータル開発 ・各基盤APIの設計開発 ・各サービスに跨る基盤の整備 ・高負荷対策フォロー ・業務効率化、開発 ・運用の自動化 ・品質・セキュリティの確保 ・新規サービスの立ち上げフォロー （募集背景） 組織を横断して新規プロジェクトを立ち上げる事になり、 ハイレベルのスキルをお持ちのエンジニアの方を募集し さらにレベルの高いプラットフォームを構築していきたいと考えています。 Java,Python,Ruby

案件の必須スキル

・Ruby on RailsでのWebアプリケーション、APIの開発経験（２年以上） ・Java,Phthon,rubyでの開発経験（2年以上） ・プロジェクトの立ち上げの経験 ・ミドルウェア（Apache,Tomcat,MySQL）に関する構築・運用・チューニング経験 ・Linuxに関する構築・運用・チューニング経験 ・WebAPIの利用・構築に関する知識・経験 ・クラウド基盤を利用した自動化経験 ・Ansibleなどの構成管理ツールの利用経験 ・L2/L3/L4通信に関する基本的な知識 ・Webセキュリティに関する基本的な知識

ビッグデータ関連部署において、 共通基盤となるレコメンドAPIの開発案件になります。 インフラ基盤はAWSを利用しており、 主にこのAWSの環境構築、運用、チューニングをご担当頂きます。 レコメンドアルゴリズムの実装、各サービスへの展開、装着を 一部補助頂く可能性もございます。 Java,AWS

案件の必須スキル

・AWSを利用した環境の構築 ・インフラの運用/チューニング（トラフィック予測/制御及びDB） ・Unix系OS（Linuxでも可）の使用経験1年以上 ・Javaを用いた開発の経験

アドテクノロジー製品(DSP/RTB)を展開している企業内での データマイニング業務を担当いただきます。 ユーザーのクリック情報や様々な変数を分析し 今後の広告出稿に役立てる作業がメインとなります。 [技術要素] R、Python、SQL、Hadoop、Hive Python,DB(インフラ)

案件の必須スキル

・実務でのデータマイニング経験 ・SQLや簡単なスクリプト系言語の経験

会員数が数百万を越えるWEBサービスのビッグデータ処理を行います。 【開発環境】 Hadoop、AmazonRedshift、Hive、Mahout Java,DB(インフラ)

案件の必須スキル

・Hadoopの経験

・次期検索基盤システムの開発・導入 ・検索エンジンのカスタマイズ（Elasticsearch） ・検索改善に向けたデータ分析（Hadoop） Java

案件の必須スキル

・Javaによるシステム開発経験：3年以上 ・SolrやElasticsearch等の検索エンジンを用いた開発経験

同社で運営する広告配信アプリの新規開発に携わっていただきます。 データベース、ネットワーク等、各分野のスペシャリストが在籍しており、 最新技術に触れられる点が魅力です。

案件の必須スキル

【必須】 ・下記いずれかでの開発経験 （Scala、Java、PHP、Ruby） 【尚良】 ・広告業界の知識、経験 ・Hadoopの使用経験

【業務内容】 大手テレビ局の大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、視聴者データとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属していただきます。 ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。 アドテクやクラウド、データ収集／分析関連の最新技術を学び、経験することができ、かつテレビ局特有の高アクセス環境で技術的なチャレンジができる現場です。

案件の必須スキル

【必須スキル】 ・SQLを使ったDBプログラミングの開発経験 ・Python、PHP、JAVA、Golangのいずれかの開発経験 ・AWS等のパブリッククラウドを利用したサービス開発・運用経験 ・Gitなどのソースコード管理ツールの使用経験 【尚可】 ・Hadoopエコシステム、HDFS、MapReduce、Hive、Pig、Prestoなどの関連技術の利用経験 ・AirflowやDigDagなどのワークフロー管理ツールの利用経験 ・Redis、MemcachedなどのKVS利用経験 ・Git、Ansible、Jenkins、Chef、MackerelなどのDevOps系の知識や経験 ・高負荷対策、パフォーマンスチューニングに関する知識や経験

テレビ局の大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、視聴者データとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属して頂きます。 【具体的業務】 ・ビッグデータ基盤システムの構築、開発、保守 ・収集データを基にした社内外に向けた分析ツールの開発 ・機会学習システム（社外製品）を内製化して再構築 【開発環境】 ・言語：PHP(Laravel)、Python ・インフラ：AWS ・情報共有ツール：Backlog、Slack、 　　　　　　　　　Googleハングアウト ・その他：Hadoopエコシステム、HDFS、MapReduce、 　　　　　Hive、Pig、Presto、Memcached、Redis、 　　　　　Ansible、Jenkins、Chef、Docker

案件の必須スキル

【必須】 ・Python、PHPのいずれかの開発経験 ・SQLを使ったDBプログラミングの開発経験 ・AWS等のパブリッククラウドを利用したサービス開発・運用経験 ・Gitなどのソースコード管理ツールの使用経験 【尚可】 ・Hadoopエコシステム、HDFS、MapReduce、Hive、Pig、Prestoなどの関連技術の利用経験 ・Redis、MemcachedなどのKVS利用経験 ・Git、Ansible、Jenkins、Chef、MackerelなどのDevOps系の知識や経験 ・高負荷対策、パフォーマンスチューニングに関する知識や経験

■現在のサービス スマートフォンやタブレットのアプリを使い、外出先からでも様々な家電のコントロールを行い、室内の温度や湿度やなどの環境を把握する事ができるHome IoTサービスを提供しています。 具体的には、日本初の提案型AIエージェント「グラモン」を搭載した、 インターホンモニター、ホームIoT、HEMSモニター、セキュリティ、見守りの全てを一台に搭載したIoT機器である「9DOTs」を中心に、鍵の操作が可能なスマートロック「Glamo Smart Lock」、電気料金の状況を確認できるHEMS機器「iRemocon CT」などの多くの自社製品を組み合わせ、それらを「iRemocon Smart Home」アプリで一括操作できるソリューションサービスです。 ■業務内容 　弊社が手掛けるHome IoTサービスの新サービスの開発を担ってもらいます。 　世の中にない新しいサービスをアプリエンジニア等と連携して開発を行ってもらいます。 https://9dots.homes/ ■同社の特徴： 　同社は、人々の住生活がもっと安心・安全・快適になるようなプロダクトの開発に努めています。 　また、全て自社開発のため、各エンジニアが裁量を持って開発していきます。 自社サービスの開発となるため、客先出向は一切ありません。 チームワークの取れた社内のディレクターやエンジニアと連携しながらプロジェクトを進めていきます。

案件の必須スキル

・JavaまたはKotlinでWebフレームワークを使った開発経験 ・Go言語でWebフレームワークまたはAWS Lambdaを使った開発経験 ・MySQLでの開発・運用経験 ・Linux上で動作するアプリケーションの開発・運用経験 ・AWSでEC2(Linux)を使った構築・運用経験

【20代、30代が活躍中！】 ※実務経験1年以上お持ちの方が対象の案件です！ 【案件概要】 社外向けDCRサービス内のETL業務をご対応頂きます。 お客さまが作成した要件定義にしたがって 設計開発~運用保守までをご対応頂きます。 ・Workflowの設計・開発・単体テスト・結合テスト・運用・保守 ・試験用のダミーデータ作成 ・Workflow・ETLのチューニング・最適化 ・監査処理の設計・開発・テスト ・マニュアル作業の自動化 ・クエリテンプレートの保守 (クエリエンジンアップデートや機能改善に基づくクエリ書き換えなど) ・イテレーション対応の受入・動作検証 【作業場所】リモート可/紀尾井町 【精算幅】140-200(上下割) 【面談回数】2回 テックビズなら記帳代行無料！充実のサポートで安心して参画していただけます！

案件の必須スキル

・開発言語 Python 分散SQLクエリエンジン ・経験 データエンジニアとしての業務経験 Hadoopなどの大規模データの分散処理技術を用いた業務経験 ・プロジェクトリーダー:リーダー経験 ・テックリード:想定スキルを人に教えられる方 ・メンバー:Pythonでのコーディングを一人称でできるこ

携帯会社のシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 1人称で開発を行える方をお探ししています。 Java

案件の必須スキル

・Javaでの開発経験：3年以上 ・OracleDBなどのDBの経験 ・SQLの経験 ・LINUXコマンドの経験

某携帯キャリアのシステムでプラン変更等行った際に発生する代理店のインセンティブを計算したり 支払いをしたりするシステムの開発を行っていただきます。 ※詳しくは面談時にお伝えいたします Java

案件の必須スキル

・Javaでの開発経験：3年以上 ・OracleDBなどのDBの経験 ・SQLの経験 ・LINUXコマンドの経験 ・上流工程の経験

葬祭サービスを提供する企業にてデータ分析基盤の開発を行っていただきます。 ビジネス上のつながりのデータや、ユーザーの行動データを活用するための分析基盤開発を行うことで、事業の成長を担っていただくことがミッションです。 【具体的な作業内容】 ・データのETL処理やETL処理のためのスクリプト、システム開発運用業務 ・データの傾向や内容を知るための集計、分析、可視化 ・AWSを用いた分析基盤構築および運用業務 ・データのセキュリティ対応 ・ドキュメント整備、啓蒙活動 ・Web広告の改善のユーザーの行動分析 ・TableauなどのBIツールなどの連携 Python

案件の必須スキル

・業務での開発経験：2年以上（言語不問） ・パブリッククラウドの利用経験：1年以上 ・SQLを用いた業務開発経験：1年以上

不動産業界向けデータプラットフォームシステムの基盤構築に携わっていただきます。 ・高速かつ容易な分析を可能とする基盤のアーキテクチャ検討 ・データ分析基盤の構築、運用 ・データソース間の移送、統合 ・データ分析を必要とするビジネスメンバーのサポート、分析作業 AWS

案件の必須スキル

・AWS基盤構築経験：3年以上 ・テーブル設計、DBチューニングの実務経験 ・SQLを使ったデータ集計、データ分析業務の経験 ・RDBMSに対する知識

データ分析プラットフォーム (Databricks) の運用、AWS 利用コスト最適化に関わる業務を実施していただきます。 ▼想定される主な業務 ・利用実態 (既存のリソースの稼働状況、設定されている権限) の調査 ・各種設計ポリシーを元に AWS リソース全般の設計・実装 ・運用ドキュメント (GitHub, Google Workspace) の増補、改善 ・Redash, Databricks を使用したダッシュボードの実装 ・AWS コスト削減方針検討・ライフサイクルなどの実装 AWS

案件の必須スキル

・SQLに関する基本的な知識 ・AWSを利用した開発・運用経験：3年以上 ・Pythonを利用したアプリケーション開発経験：1年ほど

自社プロダクトのデータ分析基盤（API / 解析基盤）の開発・運用を行って頂きます。 Go + Scala + Spark Stream + Hadoopなど最新の技術を積極的に取り入れながら、 データ分析基盤を1から開発する経験ができます。 （作業内容例） ・API、WEBアプリケーションの設計、開発、運用 ・リアルタイム分析基盤の設計、開発、運用 ・広告配信基盤の設計、開発、運用 ・機械学習を使った異常検知/未来予測基盤の設計、開発、運用 Go,Scala

案件の必須スキル

・Java, Ruby, Python, Golangなどのプログラミング言語での開発経験 ・Git / Githubを利用した開発経験 ・RDBMS（MySQL 又は Oracle）を使った開発経験

アドネットワークサービスの広告配信アルゴリズム分析基盤の構築をご担当いただきます。 同部署にはアドテクエンジニアも多く所属しており、ディスカッションを行いながらアルゴリズム構築となります。 Python,DB(インフラ)

案件の必須スキル

大規模データ分析経験 分析用ソフトウェアの利用経験

社内ソーシャルゲームシステムにおいて、 社内DBの要件定義、設計、構築、運用といった データベースの全般業務を担当して頂きます。 ・データベースシステムの選定（ハードウェア、OS、ストレージ、DB統合監視ソフトなど） ・データベースの企画、設計（論理・物理）、構築、運用管理 ・データベースの移行、検証、性能試験 ・データベースのパフォーマンスチューニングおよびトラブルシューティング ・データベースの標準化（SQLコーディング、設計・構築方針） ・データベースプログラムの開発（ストアドプロシージャ、DB性能監視プログラムなど） DB(インフラ)

案件の必須スキル

・MySQLデータベースに関するDBA経験3年以上 ・Linux環境でのDBA実務経験がある方

自社サービスに関わる広告配信周りの開発を行っていただきます。 広告配信サーバーの開発や、広告配信ツール、 配信アルゴリズムの最適化やインフラ構築など、 フルスタックエンジニアとして活躍していただきます。 [開発環境] Ruby on Rails、nginx、Hadoop、Redis、memcached MySQL、MongoDB など Ruby,NW(インフラ),サーバ(インフラ)

案件の必須スキル

・Ruby on Rails を使用したWEBアプリケーションの開発経験 ・サーバー構築などWebサービスを支えるインフラ対応経験

大手ECサイトやオンラインゲーム等、複数コンテンツを持っております企業様での 自社開発レコメンドエンジンの開発案件です。 現在、社内の各種事業に順次展開をしておりますが、 よりスピーディーに展開を進めるため、開発エンジニアを募集しております。 主な作業内容は下記を想定しております。 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成 など Node.js

案件の必須スキル

・Java・MySQLを用いたアプリケーション開発に3年以上従事し、基本設計〜テストまでを単独で行える事 ・Hadoopの技術をキャッチアップし、ビッグデータ関連の技術習得に意欲的に取り組める方