Hadoopのフリーランス案件・求人

1 - 50件/全202件

面談1回

【リモート相談可能】AI SaaSのデータエンジニア

80-100万円/月額
業務委託(フリーランス)

案件概要:AI SaaSのデータエンジニア 業務内容: データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境: コード管理 : Git(GitHub) 言語:Python OS:Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所:湯島※リモート相談可能 外国籍:不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

7日前 提供元-1on1Freelance
面談1回

【リモート相談可能】AI SaaSのデータエンジニア

80-100万円/月額
業務委託(フリーランス)

案件概要:AI SaaSのデータエンジニア 業務内容: データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境: コード管理 : Git(GitHub) 言語:Python OS:Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所:湯島※リモート相談可能 外国籍:不可

案件の必須スキル

• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル

26日前 提供元-1on1Freelance
面談1回

【Python(データ分析系)】ゲーム事業におけるデータ分析業務

110-120万円/月額
業務委託(フリーランス)

【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 ゲーム業界において、データ分析を通じて事業価値を向上させるための業務を担当します。分析要件の定義からデータの加工、インサイトの抽出、企画提案までを行い、プロデューサーや他の担当者と密にコミュニケーションを取りながら進めていきます。SQLやPython、Rなどを使用したデータ分析の経験が求められます。 ■具体的な業務内容 ・データ分析の要件定義の作成 ・SQLやPython、Rを用いたデータ加工および分析 ・分析結果に基づくインサイトの抽出および提案 ・分析結果のプレゼンテーションおよび実行支援 ・他部署との連携を通じた課題解決の推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。

案件の必須スキル

・円滑なコミュニケーションが取れる方 ・ゲーム/エンタメ業界においてデータ分析業務を行った経験 ・SQLによるデータ加工/抽出の経験 ・Python、Rなどを用いたデータ分析経験 ・課題解決を推進するための資料作成及びプレゼンテーション能力 ・課題解決へと導くための他部署との円滑なコミュニケーション能力

12日前 提供元-Midworks
面談1回

【Python(データ分析系)】ゲーム事業におけるデータ分析業務

110-120万円/月額
業務委託(フリーランス)

【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 ゲーム事業において、事業価値向上のためのデータ分析を担当します。分析要件の定義からデータ加工、インサイトの抽出、分析結果のプレゼンテーションまでを一貫して行うポジションです。業務では、プロデューサーや各企画担当者、エンジニアとの密なコミュニケーションが求められます。 ■具体的な業務内容 ・データ分析に関する要件定義の策定 ・SQLやPythonを用いたデータ加工および分析 ・インサイト抽出および打ち手の考案 ・分析結果のプレゼンテーションおよび企画提案 ・他部署との連携を通じた課題解決の推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。

案件の必須スキル

・円滑なコミュニケーションが取れる方 ・ゲーム/エンタメ業界においてデータ分析業務を行った経験 ・SQLによるデータ加工/抽出の経験 ・Python、Rなどを用いたデータ分析経験 ・課題解決を推進するための資料作成及びプレゼンテーション能力 ・課題解決へと導くための他部署との円滑なコミュニケーション能力

13日前 提供元-Midworks

Python/某携帯キャリアのデータ関連受託開発案件・求人

80-100万円/月額
業務委託(フリーランス)

大手キャリアが提供するスーパー販促プログラムにおいて、加盟店(飲食店、小売等)が利用するシステム(クーポン入稿、ターゲティング設定、配信効果分析など)のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。 Python

案件の必須スキル

・AWSやGCP、Azureなどのクラウドにおける開発経験:2年以上 ・Pythonでの開発経験:3年以上 ・下記の項目を1つ以上満たす方  データベース、データウェアハウスを使ったデータ基盤の開発経験  データ処理パイプラインの開発経験  Apache Hadoop、Sparkなどの分散データ処理の開発経験

3ヶ月前 提供元-ギークスジョブ

Python/資金調達プラットフォームのデータサイエンティスト募集案件・求人

90-110万円/月額
業務委託(フリーランス)

自社サービスである資金調達プラットフォームのデータサイエンティストをお任せします。 現在、順調にご利用いただける顧客が増えており、顧客からあずかる財務データ、売上データや 当社サービスの利用実績をもとに、アルゴリズム開発を進め、サービスの精度を上げていただきます。 【プロダクトについて】 22年4月にローンチしたスタートアップの資金調達に新しい選択肢を提供するFintechサービスです。 顧客の財務データから未来の売り上げを査定し、査定を根拠に資金を提供しております。 現在は顧客の会計ソフトとAPI連携し、財務データの査定を行う機能などをローンチしておりますが、 サービス提供を開始したばかりでもあるため、お客様の声を吸い上げてのユーザビリティを向上していける開発体制を目指しております。 また、今後は社内のオペレーションフロー(財務データの提出~スコアリング(査定)~資金提供~返済)を効率化し、 ”より早く””より多く”の顧客利用実績をつくるためのシステム開発や、新たなサービスもこれからローンチしていく予定がございます。 将来的には東南アジアなど海外でのサービス展開も見据えております。 【チーム体制】 プロダクト開発部:8~9名前後 CTO、PdM、エンジニア2名、データサイエンティスト、業務委託メンバー数名 ※フランス、インド、ポーランドなど多国籍なメンバーが活躍しております Python,その他

案件の必須スキル

・データサイエンティストとしてアルゴリズム開発のご経験:3年以上 ・ビジネスレベルの英語力

5ヶ月前 提供元-ギークスジョブ

AWS/データ分析基盤開発・構築支援案件・求人

90-110万円/月額
業務委託(フリーランス)

HadoopやDWH関連のデータ分析基盤構築支援のサービスをメインで展開されている弊社顧客内の請負開発チーム内において、AWS ECS、Snowflake、Datadog、Databricks等を使用したデータ分析構築をご一緒に担当いただける方を募集しております。 ※顧客内に複数案件が同時に走っている為、技術者様のスキルセットに併せて、見合う案件を面談時にご紹介いたします AWS

案件の必須スキル

・データ基盤開発のご経験 ・AWSの構築経験 ・BIツール使用経験

5ヶ月前 提供元-ギークスジョブ

Python/動画プラットフォーム事業における分析業務案件・求人

65-100万円/月額
業務委託(フリーランス)

動画プラットフォーム事業にて取得しているデータの分析を担当して頂きます。日々蓄積される膨大なデータを用いて集計や統計分析を行いサービス改善、課題解決を行っていただきます。 <お任せする予定の作業> ・KPI集計や統計分析、ダッシュボードの構築 ・分析を実現するためのデータ収集や段取り ・企画との連携、サービスの開発支援・施策支援 ・他部署からの集計依頼や分析相談 Python

案件の必須スキル

・PythonやRなどを利用したデータ分析の経験:5年以上 ・SQLを用いたデータ分析やデータ集計の経験

5ヶ月前 提供元-ギークスジョブ

Ruby・Java/ プラットフォーム設計開発案件・求人

75-110万円/月額
業務委託(フリーランス)

EC,動画などの複数コンテンツを開発する企業様にて、 コアプラットフォームの設計・開発をご担当頂きます。 大規模サービスを高度な技術力で支え、 安定したサービスを提供していく事がコアプラットフォームの役割です。 1700万人のユーザーを持つ巨大プラットフォームの根底にある、 プラットフォーム開発・インフラ整備・ガイドラインの整備・セキュリティや品質の確保等、業務は多岐にわたります。 (作業内容例) ・新ポータル開発 ・各基盤APIの設計開発 ・各サービスに跨る基盤の整備 ・高負荷対策フォロー ・業務効率化、開発 ・運用の自動化 ・品質・セキュリティの確保 ・新規サービスの立ち上げフォロー (募集背景) 組織を横断して新規プロジェクトを立ち上げる事になり、 ハイレベルのスキルをお持ちのエンジニアの方を募集し さらにレベルの高いプラットフォームを構築していきたいと考えています。 Java,Python,Ruby

案件の必須スキル

・Ruby on RailsでのWebアプリケーション、APIの開発経験(2年以上) ・Java,Phthon,rubyでの開発経験(2年以上) ・プロジェクトの立ち上げの経験 ・ミドルウェア(Apache,Tomcat,MySQL)に関する構築・運用・チューニング経験 ・Linuxに関する構築・運用・チューニング経験 ・WebAPIの利用・構築に関する知識・経験 ・クラウド基盤を利用した自動化経験 ・Ansibleなどの構成管理ツールの利用経験 ・L2/L3/L4通信に関する基本的な知識 ・Webセキュリティに関する基本的な知識

5ヶ月前 提供元-ギークスジョブ

AWS/ビッグデータ レコメンドAPI開発案件・求人

70-100万円/月額
業務委託(フリーランス)

ビッグデータ関連部署において、 共通基盤となるレコメンドAPIの開発案件になります。 インフラ基盤はAWSを利用しており、 主にこのAWSの環境構築、運用、チューニングをご担当頂きます。 レコメンドアルゴリズムの実装、各サービスへの展開、装着を 一部補助頂く可能性もございます。 Java,AWS

案件の必須スキル

・AWSを利用した環境の構築 ・インフラの運用/チューニング(トラフィック予測/制御及びDB) ・Unix系OS(Linuxでも可)の使用経験1年以上 ・Javaを用いた開発の経験

5ヶ月前 提供元-ギークスジョブ

Python/アドテクノロジー企業内でのデータマイニング業務案件・求人

70-100万円/月額
業務委託(フリーランス)

アドテクノロジー製品(DSP/RTB)を展開している企業内での データマイニング業務を担当いただきます。 ユーザーのクリック情報や様々な変数を分析し 今後の広告出稿に役立てる作業がメインとなります。 [技術要素] R、Python、SQL、Hadoop、Hive Python,DB(インフラ)

案件の必須スキル

・実務でのデータマイニング経験 ・SQLや簡単なスクリプト系言語の経験

5ヶ月前 提供元-ギークスジョブ

データベース/大手メディア企業向けビッグデータ処理案件・求人

70-100万円/月額
業務委託(フリーランス)

会員数が数百万を越えるWEBサービスのビッグデータ処理を行います。 【開発環境】 Hadoop、AmazonRedshift、Hive、Mahout Java,DB(インフラ)

案件の必須スキル

・Hadoopの経験

5ヶ月前 提供元-ギークスジョブ

Java/大手企業向け検索基盤の開発・導入案件・求人

60-105万円/月額
業務委託(フリーランス)

・次期検索基盤システムの開発・導入 ・検索エンジンのカスタマイズ(Elasticsearch) ・検索改善に向けたデータ分析(Hadoop) Java

案件の必須スキル

・Javaによるシステム開発経験:3年以上 ・SolrやElasticsearch等の検索エンジンを用いた開発経験

5ヶ月前 提供元-ギークスジョブ
面談1回

【Azure/リモート】インフラ・Azure構築案件

120-130万円/月額
業務委託(フリーランス)

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

案件の必須スキル

・Terraform、Ansible使用経験 ・Hadoopの知見/知識/経験 ・クラウドの知見/知識/経験 ・アーキテクト能力 ・システムを俯瞰してみる能力 ・テックリード能力

8ヶ月前 提供元-1on1Freelance

Python/葬祭システムのデータ分析基盤の開発エンジニア案件・求人

70-90万円/月額
業務委託(フリーランス)

葬祭サービスを提供する企業にてデータ分析基盤の開発を行っていただきます。 ビジネス上のつながりのデータや、ユーザーの行動データを活用するための分析基盤開発を行うことで、事業の成長を担っていただくことがミッションです。 【具体的な作業内容】 ・データのETL処理やETL処理のためのスクリプト、システム開発運用業務 ・データの傾向や内容を知るための集計、分析、可視化 ・AWSを用いた分析基盤構築および運用業務 ・データのセキュリティ対応 ・ドキュメント整備、啓蒙活動 ・Web広告の改善のユーザーの行動分析 ・TableauなどのBIツールなどの連携 Python

案件の必須スキル

・業務での開発経験:2年以上(言語不問) ・パブリッククラウドの利用経験:1年以上 ・SQLを用いた業務開発経験:1年以上

3ヶ月前 提供元-ギークスジョブ

AWS/不動産データプラットフォームシステムの基盤構築案件・求人

70-90万円/月額
業務委託(フリーランス)

不動産業界向けデータプラットフォームシステムの基盤構築に携わっていただきます。 ・高速かつ容易な分析を可能とする基盤のアーキテクチャ検討 ・データ分析基盤の構築、運用 ・データソース間の移送、統合 ・データ分析を必要とするビジネスメンバーのサポート、分析作業 AWS

案件の必須スキル

・AWS基盤構築経験:3年以上 ・テーブル設計、DBチューニングの実務経験 ・SQLを使ったデータ集計、データ分析業務の経験 ・RDBMSに対する知識

5ヶ月前 提供元-ギークスジョブ

AWS/データ分析プラットフォーム運用案件・求人

68-91万円/月額
業務委託(フリーランス)

データ分析プラットフォーム (Databricks) の運用、AWS 利用コスト最適化に関わる業務を実施していただきます。 ▼想定される主な業務 ・利用実態 (既存のリソースの稼働状況、設定されている権限) の調査 ・各種設計ポリシーを元に AWS リソース全般の設計・実装 ・運用ドキュメント (GitHub, Google Workspace) の増補、改善 ・Redash, Databricks を使用したダッシュボードの実装 ・AWS コスト削減方針検討・ライフサイクルなどの実装 AWS

案件の必須スキル

・SQLに関する基本的な知識 ・AWSを利用した開発・運用経験:3年以上 ・Pythonを利用したアプリケーション開発経験:1年ほど

5ヶ月前 提供元-ギークスジョブ

Go/データ分析、アドテクプラットフォーム開発案件・求人

70-90万円/月額
業務委託(フリーランス)

自社プロダクトのデータ分析基盤(API / 解析基盤)の開発・運用を行って頂きます。 Go + Scala + Spark Stream + Hadoopなど最新の技術を積極的に取り入れながら、 データ分析基盤を1から開発する経験ができます。 (作業内容例) ・API、WEBアプリケーションの設計、開発、運用 ・リアルタイム分析基盤の設計、開発、運用 ・広告配信基盤の設計、開発、運用 ・機械学習を使った異常検知/未来予測基盤の設計、開発、運用 Go,Scala

案件の必須スキル

・Java, Ruby, Python, Golangなどのプログラミング言語での開発経験 ・Git / Githubを利用した開発経験 ・RDBMS(MySQL 又は Oracle)を使った開発経験

5ヶ月前 提供元-ギークスジョブ

Hadoop・Python/広告配信アルゴリズム分析基盤の構築案件・求人

70-90万円/月額
業務委託(フリーランス)

アドネットワークサービスの広告配信アルゴリズム分析基盤の構築をご担当いただきます。 同部署にはアドテクエンジニアも多く所属しており、ディスカッションを行いながらアルゴリズム構築となります。 Python,DB(インフラ)

案件の必須スキル

大規模データ分析経験 分析用ソフトウェアの利用経験

5ヶ月前 提供元-ギークスジョブ

DB(インフラ)/社内ソーシャルゲームシステムDB全般業務・DBA案件・求人

60-90万円/月額
業務委託(フリーランス)

社内ソーシャルゲームシステムにおいて、 社内DBの要件定義、設計、構築、運用といった データベースの全般業務を担当して頂きます。 ・データベースシステムの選定(ハードウェア、OS、ストレージ、DB統合監視ソフトなど) ・データベースの企画、設計(論理・物理)、構築、運用管理 ・データベースの移行、検証、性能試験 ・データベースのパフォーマンスチューニングおよびトラブルシューティング ・データベースの標準化(SQLコーディング、設計・構築方針) ・データベースプログラムの開発(ストアドプロシージャ、DB性能監視プログラムなど) DB(インフラ)

案件の必須スキル

・MySQLデータベースに関するDBA経験3年以上 ・Linux環境でのDBA実務経験がある方

5ヶ月前 提供元-ギークスジョブ

Ruby/アドテク 広告配信サーバーや配信アルゴリズム最適化対応案件・求人

70-90万円/月額
業務委託(フリーランス)

自社サービスに関わる広告配信周りの開発を行っていただきます。 広告配信サーバーの開発や、広告配信ツール、 配信アルゴリズムの最適化やインフラ構築など、 フルスタックエンジニアとして活躍していただきます。 [開発環境] Ruby on Rails、nginx、Hadoop、Redis、memcached MySQL、MongoDB など Ruby,NW(インフラ),サーバ(インフラ)

案件の必須スキル

・Ruby on Rails を使用したWEBアプリケーションの開発経験 ・サーバー構築などWebサービスを支えるインフラ対応経験

5ヶ月前 提供元-ギークスジョブ

Java・Node.js/自社開発レコメンドエンジンの開発案件・求人

65-90万円/月額
業務委託(フリーランス)

大手ECサイトやオンラインゲーム等、複数コンテンツを持っております企業様での 自社開発レコメンドエンジンの開発案件です。 現在、社内の各種事業に順次展開をしておりますが、 よりスピーディーに展開を進めるため、開発エンジニアを募集しております。 主な作業内容は下記を想定しております。 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成 など Node.js

案件の必須スキル

・Java・MySQLを用いたアプリケーション開発に3年以上従事し、基本設計〜テストまでを単独で行える事 ・Hadoopの技術をキャッチアップし、ビッグデータ関連の技術習得に意欲的に取り組める方

5ヶ月前 提供元-ギークスジョブ

Java/新サービス開発における データマイニング実装案件・求人

50-90万円/月額
業務委託(フリーランス)

データ分析を通じた新サービス開発のために、 PMの指示の元で、Hadoop上にShellもしくはJavaでの実装をご担当頂きます。 ※設計、実装、テストは企画者/分析者/開発リーダーとコミュニケーションしながら進める形になります。 Java

案件の必須スキル

・Shellスクリプト設計・作成・運用ご経験 ・SQL/プログラミングのご経験

5ヶ月前 提供元-ギークスジョブ

Java/大手広告プロダクトの開発案件・求人

70-90万円/月額
業務委託(フリーランス)

メディアプランニングシステム、アクセス解析ツールなどのマーケティングソリューションやPC/スマートフォン向け広告配信システムなど、 お客様の既存事業、新規事業を支えるシステムの設計・開発・運用を担当します。 広告サービス広告主向け、媒体向けに分かれており、プロダクトは20個以上あります。 (広告プランニング・広告業務サポート、第三者配信プラットフォーム/クリエイティブの最適化、、リッチ広告配信、ターゲティング広告、データベース広告配信etc) 要望、経験に合わせ、下記5つのいずれかを担当します。 ・広告配信プラットフォーム ・インターネット広告プランニングシステム ・新規プロダクト作成 ・ビックデータ解析(DNP) ・インフラ Java,Ruby,C#.NET,サーバ(インフラ)

案件の必須スキル

※担当プロダクトにより要件が異なります (広告配信プラットフォーム) ・C、Javaの経験 (インターネット広告プランニングシステム) ・.NET(FW2.0~4.0)、SQLserver2008以降~の経験 (新規プロダクト作成) ・Ruby2系、Rails4系の経験 (ビックデータ解析) ・Hadoop、Hiveの経験 (インフラ) ・NW、Sever(RedHat、Windows)、MySQLのいずれかに精通している方

5ヶ月前 提供元-ギークスジョブ
面談1回

【Python(データ分析系)】ゲーム事業におけるデータ分析業務

110-120万円/月額
業務委託(フリーランス)

【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 ゲーム事業におけるデータ分析業務を担当し、事業価値の向上を目指します。分析要件の定義からデータの加工、分析結果のプレゼンテーションまで幅広く対応します。 ■具体的な作業内容 ・分析要件の定義 ・データの加工と分析によるインサイトの抽出 ・分析結果のプレゼンテーションと企画の提案 ・ゲーム/エンタメ業界でのデータ分析業務経験 ・SQLによるデータ加工・抽出経験 ・Python、Rなどを用いたデータ分析経験 ・課題解決を推進する資料作成およびプレゼンテーション能力 ・BigQuery、Redshift、Hadoopなどを用いたビッグデータの分析経験 ・確率統計に関する知識や統計解析・モデリングの経験 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。

案件の必須スキル

・円滑なコミュニケーションが取れる方 ・ゲーム/エンタメ業界においてデータ分析業務を行った経験 ・SQLによるデータ加工/抽出の経験 ・Python、Rなどを用いたデータ分析経験 ・課題解決を推進するための資料作成及びプレゼンテーション能力 ・課題解決へと導くための他部署との円滑なコミュニケーション能力

4ヶ月前 提供元-Midworks
面談1回

【Python(データ分析系)】ゲーム事業におけるデータ分析業務

110-120万円/月額
業務委託(フリーランス)

【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 ゲーム事業の価値向上を目指し、データ分析を通じてインサイトを抽出し、具体的な施策を提案・実行するポジションです。SQLやPythonを使用したデータ加工や分析、他部署との連携を通じて課題解決を推進し、分析結果を基にした提案を行います。 ■具体的な業務内容 ・データ分析に関する要件定義の作成 ・SQLやPythonを用いたデータ加工および分析 ・インサイトの抽出と打ち手の考案 ・分析結果のプレゼンテーションと提案 ・他部署との連携による課題解決の推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。

案件の必須スキル

・円滑なコミュニケーションが取れる方 ・ゲーム/エンタメ業界においてデータ分析業務を行った経験 ・SQLによるデータ加工/抽出の経験 ・Python、Rなどを用いたデータ分析経験 ・課題解決を推進するための資料作成及びプレゼンテーション能力 ・課題解決へと導くための他部署との円滑なコミュニケーション能力

4ヶ月前 提供元-Midworks
面談1回

【Unity】新規開発中の3Dタイトルのクライアントエンジニア

90-100万円/月額
業務委託(フリーランス)

【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 新規開発中3Dゲームタイトルのクライアントアプリケーションの開発をお任せいたします。 ■具体的な業務内容 ・各種ゲーム機能の開発 ・Unity / uGUIを用いたUIの実装 ・C#、Luaなどの技術を使用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。

案件の必須スキル

・円滑なコミュニケーションが取れる方 ・iOS / Android向けネイティブゲーム または PC向けゲーム / コンシューマーゲームにおける5年以上の開発経験 ・Unityの実務経験3年以上 ・UI以外の部分も対応可能な方

7ヶ月前 提供元-Midworks

Python/ビックデータの分析およびDB構築案件・求人

60-80万円/月額
業務委託(フリーランス)

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス(Glue、Lambda、MWAA等)を用いたデータレイク構築作業にも携わっていただくことが可能です。 Python

案件の必須スキル

・Pythonを利用した開発経験:2年以上 ・データ分析プロジェクトへの参画経験 ・問題点などの共有を自ら行うことができ、自発的に行動できる方 ・協調性があり、コミュニケーション能力の優れている方

3ヶ月前 提供元-ギークスジョブ

AWS/視聴率測定サービスのインフラエンジニア募集案件・求人

60-85万円/月額
業務委託(フリーランス)

テレビ視聴データをWEBで分析できるマーケティング分析ツールを自社で開発されている企業です。 ターゲットのテレビ視聴やCM接触を詳細プロフィールで分析でき、 広告宣伝をはじめ、メディア営業・プランニングにも活用されているサービスとなります。 ■業務内容 自社SaaSシステムの刷新プロジェクトの基本設計において、アーキテクトと連携しながらインフラの検討及び構築をお願いします。 ビッグデータの解析・集計処理も行うため、解析基盤の検討・構築にも携わっていただきます。 ■具体的な作業内容(一例です) ・Terraform、CloudFormationによるIaaS環境の整備 ・GitHub Actionsなどを利用したCI / CD環境の整備 ・ビッグデータ解析・集計基盤の整備 AWS

案件の必須スキル

・ビッグデータ解析基盤の構築に関する実務経験:3年以上 ・IaaS、CI/CDの実務経験:2年以上

5ヶ月前 提供元-ギークスジョブ

サーバ(インフラ)/ビッグデータ関連技術研究開発案件・求人

65-85万円/月額
業務委託(フリーランス)

ビッグデータ関連技術の研究開発、およびその運用に関わる DevOps系ツールの研究開発をご担当頂きます。 DB(インフラ),NW(インフラ),サーバ(インフラ)

案件の必須スキル

・高度なLinuxの知識と経験 ・Webアプリケーションもしくはサーバー開発経験3年以上 ※使用する言語は問いません。

5ヶ月前 提供元-ギークスジョブ

Java/大手メディア共通部品 ツール開発案件・求人

70-80万円/月額
業務委託(フリーランス)

ログ解析基盤のバッチ処理やレポーティングツールの開発、保守、運用、 または、その他の関連システムの開発、保守、運用などをお任せします。 Java,SQL

案件の必須スキル

・Java サーバサイド、バッチ処理 ・SQLプログラミング ・Linuxに関する基礎知識 ・Git, Github, Mavenなどの開発ツールに関する基礎知識

5ヶ月前 提供元-ギークスジョブ

Java/SNSと連動したモニター情報サービス開発案件・求人

55-80万円/月額
業務委託(フリーランス)

Facabook、Twitter、ブログなどソーシャルメディアと連動した モニター情報サービスの運用開発やユーザー問い合わせに対する 技術調査などをご担当いただきます。 技術的に可能であれば、Hadoopを使った集計システムも 担当して頂きます。 <開発環境> 言語:Java OS:Linux(サーバー)※開発PCはWindows, Macから選択可 DB:MySQL FW:Play Framework1系 その他:Hadoop, Github, Backlog <チーム体制> ・プロデューサー:1名 ・運用担当者:1名 ・エンジニア:1名 Java

案件の必須スキル

・Javaでのサーバーサイド開発経験3年以上 ・Linuxサーバーでの作業経験 ・小規模チームでの開発経験

5ヶ月前 提供元-ギークスジョブ

データベース/大手広告会社 アドテク関連 ビッグデータ活用案件・求人

60-85万円/月額
業務委託(フリーランス)

大手広告系会社のアドテク関連開発に携わって頂きます。 主にTreasureData + BIツールを用いシステム構築をしていきます。 DB(インフラ)

案件の必須スキル

・TreasureDataの使用経験 ・大規模データ処理実績またはアドテク関連知識

5ヶ月前 提供元-ギークスジョブ

Java/大手企業向け検索基板の開発案件・求人

70-80万円/月額
業務委託(フリーランス)

大規模WEBサービス向けの検索基盤構築業務を行います。 【開発環境】 Java、Hadoop、Elasticsearch Java

案件の必須スキル

・Javaの開発経験4年以上 ・Hadoopの経験

5ヶ月前 提供元-ギークスジョブ

ディレクター/ビッグデータ分析サポート案件・求人

60-80万円/月額
業務委託(フリーランス)

ビッグデータ分析部署にご参画いただき、組織運営をサポート頂きます。 <ご参画部署> ビッグデータを活用し、該当企業が提供している web上でのレコメンデーション、 スマホサイトでのPush Notification、メールマガジンでのOneToOne施策など、 さまざまなターゲティング施策、パーソナライゼーション施策を行う。 ※技術的な側面では、HadoopをはじめとしたBIGDATAのインフラを活用しながら、 統計解析や機械学習を応用したさまざまな情報推薦を行う専門部署です。 <作業内容> ・グループでの取り組み施策の管理、リソースマネジメント、 コスト管理等における課題整理、とりまとめ ・グループ主催会議の事務局運営や、議事録作成、課題管理 ・各施策におけるグループ社員のサポート(論点、課題整理など) その他

案件の必須スキル

・打ち合わせに必要な各種資料の作成 ・抽象的な事柄を整理して資料に起こすことができる。 ・上記のような資料をPowerpoint、Excelで作成することができる。 ・他部門含めた関係者の調整、コミュニケーションスキル ・会議等のファシリテーションスキル

5ヶ月前 提供元-ギークスジョブ

Python/広告配信企業内でのデータマイニング案件・求人

65-85万円/月額
業務委託(フリーランス)

月間約200億impある大規模広告アドネットワークシステム(SSP/RTB)を保有する企業内でのデータマイニング、及びPythonによるプログラム開発の業務をお任せします。 扱うデータ量は300GB/日、9TB/月と、大規模なものになりHadoopを使った処理や、広告配信システムとの連携におけるPythonでのプログラム開発がメインの作業となる予定です。 扱うデータの種類としては、ユーザーの行動、クリック率、クリック数など、広告の接触状況などのデータとなります。 Python

案件の必須スキル

・大量データの解析処理経験 ・プログラミングの経験

5ヶ月前 提供元-ギークスジョブ

Python/データエンジニア、開発案件・求人

75-85万円/月額
業務委託(フリーランス)

◆主な仕事内容 ・社内外のユーザーが利用するデータ分析基盤の構築・運用 ・データ利用のガバナンス維持など、現行の運用時のFit&Gap及び、  Gapの解決に向けての方法 ・Databricks / Snowflake/ AWSなどの設定、棚卸しなどのシステム管理業務 ・データ利用の要件や条件などを遵守した社内外のシステムとの連携 ・新技術の評価、バージョンUPの検証 ・負荷やコストとパフォーマンスを意識したシステム構築 ※ただ開発をするだけでなく、プロジェクト内での意思決定に加わり、 具体的なアクションを決めるところからご参加いただけます。 要件定義から基盤の設計、一部実際の開発支援やデータの運用など、 プロジェクトの核となる部分をメンバーと一緒に実施していただきます。 ※フルリモート可 Python

案件の必須スキル

・JavaやPythonをはじめとした開発経験:3年以上 ・データベース、SQLを使用した開発・運用 ・Linuxでの業務または個人開発経験

6ヶ月前 提供元-ギークスジョブ

Python/アドテクノロジーにおけるデータ分析案件・求人

65-75万円/月額
業務委託(フリーランス)

インターネット広告のログデータなどを用いたデータ分析業務、およびそのデータ分析のためのツール開発などを行っていただきます。 Python

案件の必須スキル

・Pythonでの開発経験:3年以上 ・データベース、SQLを使用した開発・運用経験 ・クライアントもしくは社内のビジネス職に対して社内のエンジニアと連携しながらプロジェクトを推進した経験

5ヶ月前 提供元-ギークスジョブ

Python/自社海外新規エンタメサービスにおけるデータアナリストの開発案件・求人

65-75万円/月額
業務委託(フリーランス)

〇事業展開について 当組織では、「スポーツベッティング×海外」をテーマとした事業展開を行っています。 スポーツベッティングとは、近年急速に世界中で盛り上がりを見せており、各種競技の結果やプレーに対して賭けて楽しむものです。 スポーツが一度に多くの人に共感・感動を提供できるコンテンツであり、こうしたスポーツの持つ根源的な熱量をコミュニケーションに繋げていくことに可能性を感じ、近年スポーツ領域への挑戦を行っているという背景があります。 コミュニケーションサービスを得意としている中でスポーツ領域に取り組むことで、新たな価値提供や盛り上がりを見出せる可能性があり、スポーツ領域の中でもまだまだ可能性を秘めているスポーツベッティングについては、ビジネス側面でもさらに伸びていくと感じています。 〇具体的な作業内容 ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) 〇役割 事業のPDCAにおける、Check-分析の効率性/スピードと質を向上させ、かつ次のアクションに繋がるインサイトを提供すること ■ 分析基盤整備 ・ダッシュボードの作成(KPIツリー、目的別ボード) ・ユーザー行動の可視化(推移、利用特性) ・分析基盤整備の推進(データ取得の推進、課題点洗い出し) ■ 分析 ・データを用いた仮説検証(機能、UI改善、施策) ・ユーザー行動(数値化、可視化、セグメント分類) ・効果検証(広告、キャンペーン、メールマガジン等) ・得られたデータを元にしたインサイトの提供 Python

案件の必須スキル

・SQLを用いたデータ分析やデータ集計の経験:3年以上 ・PythonやRなどを利用したデータ分析業務の経験:3年以上 ・データ分析経験:3年以上 ・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験 ・BIツール(Looker、Tableau、Redash等)でのダッシュボード経験

5ヶ月前 提供元-ギークスジョブ

Python/自社海外新規エンタメサービスにおけるデータアナリスト案件・求人

65-75万円/月額
業務委託(フリーランス)

〇事業展開について 当組織では、「スポーツベッティング×海外」をテーマとした事業展開を行っています。 スポーツベッティングとは、近年急速に世界中で盛り上がりを見せており、各種競技の結果やプレーに対して賭けて楽しむものです。 スポーツが一度に多くの人に共感・感動を提供できるコンテンツであり、こうしたスポーツの持つ根源的な熱量をコミュニケーションに繋げていくことに可能性を感じ、スポーツ領域への挑戦を行っているという背景があります。 コミュニケーションサービスを得意としている中で、スポーツ領域に取り組むことで、新たな価値提供や盛り上がりを見出せる可能性があり、スポーツ領域の中でもまだまだ可能性を秘めているスポーツベッティングについては、ビジネス側面でもさらに伸びていくと感じています。 〇具体的な作業内容 ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) 〇役割 事業のPDCAにおける、Check-分析の効率性/スピードと質を向上させ、かつ次のアクションに繋がるインサイトを提供すること ■ 分析基盤整備 ・ダッシュボードの作成(KPIツリー、目的別ボード) ・ユーザー行動の可視化(推移、利用特性) ・分析基盤整備の推進(データ取得の推進、課題点洗い出し) ■ 分析 ・データを用いた仮説検証(機能、UI改善、施策) ・ユーザー行動(数値化、可視化、セグメント分類) ・効果検証(広告、キャンペーン、メールマガジン等) ・得られたデータを元にしたインサイトの提供 Python

案件の必須スキル

・SQLを用いたデータ分析やデータ集計の経験:3年以上 ・PythonやRなどを利用したデータ分析業務の経験:3年以上 ・データ分析経験:3年以上 ・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験 ・BIツール(Looker、Tableau、Redash等)でのダッシュボード経験

5ヶ月前 提供元-ギークスジョブ

Ruby/不動産情報会社でのシステム開発・保守案件・求人

60-70万円/月額
業務委託(フリーランス)

某大手不動産情報会社にてシステムの開発・改修・保守・運用及び付随案件の対応をお任せします。 ・物件API / HADOOP開発・改修・保守支援作業 ・画像関連開発・改修・保守支援作業 【開発環境】 Ruby ,MONGODB ,HADOOP Ruby

案件の必須スキル

・Ruby/rails経験2年以上 又は、Java/PHP 3年以上でRuby/rails経験1年以上  ・Rspec/JUnit等ユニットテスト経験

5ヶ月前 提供元-ギークスジョブ

PHP/老人ホーム、高齢者向け住宅検索サービスの運用開発案件・求人

40-70万円/月額
業務委託(フリーランス)

月間100万UUに達する老人ホーム、高齢者向けの 住宅検索サービスの運用開発をメインでご担当いただきます。 開発業務に関しては、オフショア先のベトナムでも担当している為 オフショアエンジニアとやり取りするケースも考えられます。 多少英語を使う可能性があります。 <想定される業務範囲> ・Mysql、Apache等、OS上で動く各種サーバーの整備/運用、ドキュメント化 ・クローラー、そしてその結果の解析・格納系処理等のメンテ、運用 ・フロント側にデータを渡す側として、そのデータ&インターフェース等の調整 ・個人情報を取り扱う関連の業務部分の支援機能の開発・分析 ・アカウント、電話システム設定等、部内業務のIT支援 <開発環境> 言語:PHP、Perl OS:Linux、AWS DB:MySQL FW:CakePHP2系 その他:Apache、Git PHP,Perl

案件の必須スキル

・Linux系システムの十分な経験(root権限で設定作業した事がある事) ・MySQL DBの十分な利用経験 ・何らかのスクリプト系の言語(Perl、PHP、Python、Ruby)の経験

5ヶ月前 提供元-ギークスジョブ

Java/広告配信システム向けインフラ構築案件・求人

60-70万円/月額
業務委託(フリーランス)

広告配信システムのインフラ構築をご担当いただきます。 【開発環境】 Linux、AWS、Hadoop、Nginx Java

案件の必須スキル

・Hadoopの使用経験

5ヶ月前 提供元-ギークスジョブ

PHP・Python/大規模広告配信システム(SSP/RTB)の開発案件・求人

50-75万円/月額
業務委託(フリーランス)

月間約200億インプレッションの大規模アドネットワークシステムにおける開発、運用業務をお任せします。 配信サーバーはPython、管理画面はPHP(将来的にはPython)で作られています。 開発スタイルはコードレビューのあるTDDスタイルを採用しています。 Redis上には数億レコードデータを保有し、 それらをSSDやI/Oではなくオンメモリ上で扱っています。 また、現状はHadoopで分散処理をしていますが、 今後はAmazon Elastic MapReduceに移行する予定です。 開発環境は以下を使用しています。 言語:Python(Flask、WSGI、werkzeug) OS:Linux(ubuntu) DB:MySQL KVS:Redis 分散処理系:Hadoop 自動化系:Chef、Jenkins その他:Nginx、Git、Redmine Java,Python,PHP,Ruby,Perl

案件の必須スキル

・Java、PHP、Perl、RubyなどのWEB系言語の経験 ・プログラミングが好きな方 ・コードレビューの経験

5ヶ月前 提供元-ギークスジョブ

Python/広告プラットフォームにおけるシステム設計/仕様策定/開発案件・求人

60-70万円/月額
業務委託(フリーランス)

広告プラットフォームに関わる業務全般のシステム設計・仕様策定・開発業務を一貫して対応します。 Python,PHP,Ruby,Perl

案件の必須スキル

・PHP、Perl、Ruby、Pythonのいずれかでの開発経験 ・設計の経験

5ヶ月前 提供元-ギークスジョブ

コーダー/高トラフィックDSPの新規実装&改修案件・フロントエンジニア求人

60-70万円/月額
業務委託(フリーランス)

RTB_DSPのアプリケーション全体や管理画面をメインに新規実装や各種改修等を担当します。 常に高トラフィックで動き続けるシステムであり、実装改修によって大きなビジネスインパクトを起こします。 開発規模は10名程度で、開発環境は以下を使用しています。 【開発環境】Scala、Playframework2系、Redies、Hadoop、node.js、BackboneJS・・・etc コーダー1名、フロントエンジニア1名のメンバーを募集しています。 HTML5/CSS3,JavaScript,Photoshop/Illustrator

案件の必須スキル

・HTML、CSSを使ったWebサイト作成の経験 ・jQueryを使用しないJavaScriptを使ったWebアプリの開発経験 ・LESS、SCSSなどを使用した経験 ・Grunt、gulpなどを使用した経験

5ヶ月前 提供元-ギークスジョブ
リモートOK

【 Eコマースデータ分析プロジェクト】 フリーランスのデータサイエンティスト募集

80万円/月額
業務委託(フリーランス)

・Eコマースプラットフォームからのデータ収集、前処理、クレンジング ・顧客行動の分析および売上データのトレンド分析 ・顧客セグメンテーションおよびパーソナライズドマーケティング戦略の策定 ・売上予測モデルの構築、評価、最適化 ・分析結果の可視化およびビジネスインサイトの提供 ・ビジネスチームおよびマーケティングチームとの連携と提案

案件の必須スキル

・Python言語のコーディングをしたことがある方 ・SQLやJavaが分かる方 or コーディング経験がある人 ・Looker、TableauなどのBIを活用したシステムの構築経験 ・メンバーへのタスクの切り出しや、サポートの経験

3ヶ月前 提供元-AI Talent Market
面談1回

【Java】マイクロサービス開発

60-80万円/月額
業務委託(フリーランス)

ECサイト運営の顧客にてマイクロサービスで新規サービス の構築 ・Java/SpringBoot/Vue.js/Flutter ・PostgreSQL/Hadoop ・Javaマイクロサービス ・マイクロサービスのJavaアプリ基盤は構築済み ・オフショア対応(製造はオフショア) 担当:案件プロジェクト単位にチーム編成 ①ECバックオフィスシステムの新機能開発 ②ECバックオフィスシステムの各種API開発 ③外部向けAPIサービス開発

案件の必須スキル

・基本設計 ・Java開発プロジェクト参画(開発)

5ヶ月前 提供元-freelansea
リモートOK
面談1回

【SQL】データ分析

63-68万円/月額
業務委託(フリーランス)

【20代、30代が活躍中!】 ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 マーケティングリサーチプラットフォームの開発を手掛ける クライアントにてデータ分析方を募集します。 業務内容は多岐に渡り、 スキルやご経験に応じてご担当いただきます。 10名前後の規模のチーム開発を進めており、 チームを牽引していただける方を積極募集します!! ・データ分析(データの前処理、クレンジング、変換) ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発 など... ▼開発環境 開発:React,Next,Typescript,GraphQL,Python,Polars,SQL インフラ:Vercel,AWS(Lambda,Aurora,S3等),Github PJ管理:Backlog その他ツール:Figma,GoogleDrive,Notion,Slack... ▼条件等 場所:フルリモート(初日出社なし) 精算:140-180h 面談:Web1回 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!

案件の必須スキル

・PandasやPolarsなどのライブラリを用いたデータの前処理、クレンジング、変換の経験 ・LightBGM/xgboost/TensorFlow/scikit-learnなどを用いたモデリング構築経験 ・SQLを用いたデータベース設計構築経験 ・統計や数学的な知識 ・Kaggleの参加、入賞経験 ・統計検定2級以上の資格 ・ビッグデータ基盤技術への理解(Hadoop、Spark) ・LLMのAPIを活用した経験(OpenAI、Gemini、Claude) ・LLMのオーケストレーションの利用経験(Langchain、SemanticKernel) ・自然言語処理経験(ベクトル空間モデルの類似度計算、クラスタリング等) ・生体情報処理の経験

4ヶ月前 提供元-テックビズフリーランス
リモートOK
面談1回

【SQL】データ分析

63-68万円/月額
業務委託(フリーランス)

【20代、30代が活躍中!】 ※実務経験1年以上お持ちの方が対象の案件です! ▼概要 マーケティングリサーチプラットフォームの開発を手掛ける クライアントにてデータ分析方を募集します。 業務内容は多岐に渡り、 スキルやご経験に応じてご担当いただきます。 10名前後の規模のチーム開発を進めており、 チームを牽引していただける方を積極募集します!! ・データ分析(データの前処理、クレンジング、変換) ・モデリング ・SQLを用いたデータベース操作 ・PythonによるAPI開発 など... ▼開発環境 開発:React,Next,Typescript,GraphQL,Python,Polars,SQL インフラ:Vercel,AWS(Lambda,Aurora,S3等),Github PJ管理:Backlog その他ツール:Figma,GoogleDrive,Notion,Slack... ▼条件等 場所:フルリモート(初日出社なし) 精算:140-180h 面談:Web1回 テックビズなら記帳代行無料!充実のサポートで安心して参画していただけます!

案件の必須スキル

・PandasやPolarsなどのライブラリを用いたデータの前処理、クレンジング、変換の経験 ・LightBGM/xgboost/TensorFlow/scikit-learnなどを用いたモデリング構築経験 ・SQLを用いたデータベース設計構築経験 ・統計や数学的な知識 ・Kaggleの参加、入賞経験 ・統計検定2級以上の資格 ・ビッグデータ基盤技術への理解(Hadoop、Spark) ・LLMのAPIを活用した経験(OpenAI、Gemini、Claude) ・LLMのオーケストレーションの利用経験(Langchain、SemanticKernel) ・自然言語処理経験(ベクトル空間モデルの類似度計算、クラスタリング等) ・生体情報処理の経験

4ヶ月前 提供元-テックビズフリーランス

この条件の新着案件情報を受け取る

この条件の新着案件情報を受け取る

Hadoopのフリーランス案件・求人について

■Hadoopとは Hadoopとは、大規模データの分散処理を行うためのオープンソースソフトウェアフレームワークで、膨大な量の非構造化データや半構造化データを高速に処理することができます。Hadoopは、分散ファイルシステムのHDFSと、並列処理フレームワークのMapReduceを中心に、各種ツールやライブラリで構成されています。 Hadoopの特徴として、コモディティハードウェア上に構築された分散クラスタ環境で動作すること、データの局所性を考慮した処理により高いスループットを実現していること、タスクの並列実行とフォールトトレランスによる高い処理効率と耐障害性を持つこと、スキーマオンリードによるデータの柔軟な取り扱いが可能なこと、Hiveなどの高水準言語によるデータ処理が行えること、HBaseによるリアルタイム性の高いデータアクセスが可能なこと、Mahoutなどの機械学習ライブラリが利用可能なことなどが挙げられます。 Hadoopができる開発は、ログ解析、Webクローリング、テキストマイニング、リコメンデーション、異常検知、予測分析、グラフ解析など、ビッグデータに関わる幅広い分野での活用が可能です。また、データレイク構築やETL処理の基盤としても利用されています。 Hadoopを活用している世界的サービスやプロダクトは、Yahoo!、Facebook、Twitter、LinkedIn、eBay、Spotify、Uber、Airbnb、Pinterest、Netflixなど、大規模なデータを扱うWebサービスやアプリケーションで広く採用されています。また、金融機関におけるリスク管理、小売業におけるマーケティング分析、通信事業者におけるネットワーク最適化、ヘルスケアにおける創薬支援など、様々な業種でHadoopを活用したビッグデータ活用が進んでいます。クラウドサービスとしてもAmazon EMR、Azure HDInsight、Google Cloud Dataprocなどが提供されており、オンプレミスだけでなくクラウド環境でのHadoopの利用も一般的になっています。ビッグデータ処理の標準的なプラットフォームとして広く普及しており、Hadoopエコシステムを構成する各種ツールやライブラリも活発に開発が行われています。 ■Hadoopを活用するメリット この章ではHadoopを活用するメリットについて説明します。 Hadoopを導入することにより、具体的に以下のようなメリットがあります。 ・HDFSによる分散ファイルシステムにより大規模データを効率的に格納できる ・MapReduceによる並列分散処理により大量データの一括処理が可能になる ・商用ディストリビューションの提供により導入・運用管理のハードルが下がる ・スキーマレスで非構造化データの格納にも対応可能 ・Hiveなどによるクエリ実行により既存のSQL知識の活用が可能 ・HBaseによるカラム指向のデータベースとしてリアルタイム性の高いデータアクセスが可能 ・OSSを中心とするエコシステムの豊富さにより拡張性に優れている Hadoopは大規模データ処理の基盤技術として広く普及しており、ビッグデータ活用の中核を担うプラットフォームとなっています。上記導入する上でのメリットを踏まえて、導入可否を検討することをおすすめします。 ■Hadoopを活用するデメリット この章ではHadoopを活用するデメリットについて説明します。 Hadoopを導入することにより、具体的に以下のようなデメリットがあります。 ・複雑なクラスタ構成の設計と運用に高度なスキルが必要とされる ・NameNodeへの負荷集中によりシステム全体のボトルネックになる恐れがある ・ディスクI/Oに依存するため他のメモリベースの処理基盤に比べ性能面で劣る ・MapReduceの記述にJavaの知識が必要でハードルが高い HadoopはメリットがHadoopはメリットが多いですが、運用管理の難しさや性能面の課題など注意すべき点がいくつかあることを理解しておきましょう。 Hadoop導入を今後検討している企業はHadoopを活用するメリットデメリットを比較した上で決めると後悔が少ないでしょう。