1 - 50件/全219件
■案件概要: ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可 Go
案件の必須スキル
■必須スキル: ・ Webアプリケーション経験3年 ・ Golang2年 ・ ユーザー視点のコミュニケーション
案件概要:AI SaaSのデータエンジニア 業務内容: データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境: コード管理 : Git(GitHub) 言語:Python OS:Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所:湯島※リモート相談可能 外国籍:不可
案件の必須スキル
• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 AWS環境でデータレイクの設計および更改対応を行います。PythonやScalaを使用した大規模バッチ処理の開発経験が求められ、ビッグデータに関わる開発意欲のある方が対象です。 ■具体的な業務内容 ・データレイクの設計および構築 ・ドキュメント作成(設計資料、説明資料) ・大規模バッチ処理の開発 ・AWSサービス(Glue、EC2、S3)を使用したデータ処理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・AWS(EC2、Glue、S3)を使用した開発経験 ・大規模のバッチ処理の開発経験 ・ビッグデータに関する意欲 ・構造立てたドキュメント作成
案件概要:AI SaaSのデータエンジニア 業務内容: データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境: コード管理 : Git(GitHub) 言語:Python OS:Linux データスタック: Fivetran,dbt,snowflake,Databricks, Apache Airflow,Confluentなど クラウド: Microsoft Azure,AWS,Google Cloud Platform インフラ: Docker, Terraform ドキュメント管理: Notion コミュニケーション: Slack, Zoom タスク管理: Notion 場所:湯島※リモート相談可能 外国籍:不可
案件の必須スキル
• データ基盤およびモダンデータスタックへの理解と実導入・運用・活用経験 • パブリッククラウド(Microsoft Azure、AWS、GCPなどのクラウドサービス)の利用経験 • データモデリングとデータベース設計 • Python、SQLなどのデータ処理に必要なプログラミング言語のスキル
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 PCゲーム開発において、エフェクト制作やクオリティ管理を担当します。エフェクトの選定や修正作業も行い、エフェクト制作全般のサポートを行います。特にAfterEffectsやUnityのエフェクトツールを活用した経験が求められます。 ■具体的な業務内容 ・PCゲームのエフェクト制作およびクオリティ管理 ・エフェクトの選定および修正 ・UnityやUE4のパーティクルシステムの利用 ・AfterEffectsやShurikenなどを使用したエフェクト作成 ・Shader GraphやVisual Effect Graphの活用 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・実務経験に相当する経験 ・自分でエフェクトを作った事がある
大手キャリアが提供するスーパー販促プログラムにおいて、加盟店(飲食店、小売等)が利用するシステム(クーポン入稿、ターゲティング設定、配信効果分析など)のデータ関連の開発および、顧客企業との仕様調整、実現性検討を行っていただきます。 Python
案件の必須スキル
・AWSやGCP、Azureなどのクラウドにおける開発経験:2年以上 ・Pythonでの開発経験:3年以上 ・下記の項目を1つ以上満たす方 データベース、データウェアハウスを使ったデータ基盤の開発経験 データ処理パイプラインの開発経験 Apache Hadoop、Sparkなどの分散データ処理の開発経験
・製造業向けのAzure Databricks案件 ・ベンダー側メンバーのITアーキテクトとして参画 ・Bronzeにあるデータを変換して次のSilver Layerに移行(Bronze⇒Silver⇒Gold) ・Gold LayerのデータをML(機械学習)などに活用、BIで分析(別チームが動いている) ・上記の業務内容に伴って以下の業務を実施予定 - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計
案件の必須スキル
・Data関連の案件で複数参画経験 ・Azure Cloudの経験 ・Pythonのプログラミング経験 ・ジョブ、データブリックスノートブックのパフォーマンス最適化
携帯キャリアでのAIエージェントサービスのプラットフォーム開発を担当して頂きます。 【具体的業務】 ・プラットフォームの各種推定機能における アルゴリズムの性能向上のためのデータ収集 ・ソース修正 ・学習データ作成 【直近の作業】 ・既存システムのSpark化にあたりユニットテスト 作成 ・辞書更新のスクリプト作成 (予定の名前に対してMeCabを使った形態素解析を 実行) ・自動車の位置情報解析スクリプト作成&改修 (滞留点を抽出、自宅職場推定、趣味嗜好推定、 等のスクリプト) 【開発環境】 ■OS ・MacOS(Windowsもあるが開発は基本Mac) ・AmazonLinux ※スクリプトをMacで開発→AmazonLinuxで動作確認 ■言語 ・Python2,3 (両方) ■その他 ・AmazonRedshift ・ApacheSpark ・Docker ・Git ・AWS(EC2、S3、Cloudtrail、cloudwatch、 codecommit 等)
案件の必須スキル
【必須】 ・AWS商用開発経験 ・Pythonによる開発経験 ・仕様書作成経験、能力 ・設計レビュー経験、能力 ・試験レビュー経験、能力 【尚可】 ・AWS spark開発経験 ・チーム内調整の経験、能力
自社サービスである資金調達プラットフォームのデータサイエンティストをお任せします。 現在、順調にご利用いただける顧客が増えており、顧客からあずかる財務データ、売上データや 当社サービスの利用実績をもとに、アルゴリズム開発を進め、サービスの精度を上げていただきます。 【プロダクトについて】 22年4月にローンチしたスタートアップの資金調達に新しい選択肢を提供するFintechサービスです。 顧客の財務データから未来の売り上げを査定し、査定を根拠に資金を提供しております。 現在は顧客の会計ソフトとAPI連携し、財務データの査定を行う機能などをローンチしておりますが、 サービス提供を開始したばかりでもあるため、お客様の声を吸い上げてのユーザビリティを向上していける開発体制を目指しております。 また、今後は社内のオペレーションフロー(財務データの提出~スコアリング(査定)~資金提供~返済)を効率化し、 ”より早く””より多く”の顧客利用実績をつくるためのシステム開発や、新たなサービスもこれからローンチしていく予定がございます。 将来的には東南アジアなど海外でのサービス展開も見据えております。 【チーム体制】 プロダクト開発部:8~9名前後 CTO、PdM、エンジニア2名、データサイエンティスト、業務委託メンバー数名 ※フランス、インド、ポーランドなど多国籍なメンバーが活躍しております Python,その他
案件の必須スキル
・データサイエンティストとしてアルゴリズム開発のご経験:3年以上 ・ビジネスレベルの英語力
動画プラットフォーム事業にて取得しているデータの分析を担当して頂きます。日々蓄積される膨大なデータを用いて集計や統計分析を行いサービス改善、課題解決を行っていただきます。 <お任せする予定の作業> ・KPI集計や統計分析、ダッシュボードの構築 ・分析を実現するためのデータ収集や段取り ・企画との連携、サービスの開発支援・施策支援 ・他部署からの集計依頼や分析相談 Python
案件の必須スキル
・PythonやRなどを利用したデータ分析の経験:5年以上 ・SQLを用いたデータ分析やデータ集計の経験
エンジニア向けデータ統合プラットフォームのサーバーサイド開発をお願いいたします。 作業内容イメージとしては下記の内容をお任せする予定です。 ・k8s on GCPを使ったデータパイプライン基盤 (Scala)開発 ・Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤(Scala)開発 Scala
案件の必須スキル
・JavaもしくはScalaでの開発経験:3年以上 ・Git / Githubを利用した開発経験:3年以上
EC,動画などの複数コンテンツを開発する企業様にて、 コアプラットフォームの設計・開発をご担当頂きます。 大規模サービスを高度な技術力で支え、 安定したサービスを提供していく事がコアプラットフォームの役割です。 1700万人のユーザーを持つ巨大プラットフォームの根底にある、 プラットフォーム開発・インフラ整備・ガイドラインの整備・セキュリティや品質の確保等、業務は多岐にわたります。 (作業内容例) ・新ポータル開発 ・各基盤APIの設計開発 ・各サービスに跨る基盤の整備 ・高負荷対策フォロー ・業務効率化、開発 ・運用の自動化 ・品質・セキュリティの確保 ・新規サービスの立ち上げフォロー (募集背景) 組織を横断して新規プロジェクトを立ち上げる事になり、 ハイレベルのスキルをお持ちのエンジニアの方を募集し さらにレベルの高いプラットフォームを構築していきたいと考えています。 Java,Python,Ruby
案件の必須スキル
・Ruby on RailsでのWebアプリケーション、APIの開発経験(2年以上) ・Java,Phthon,rubyでの開発経験(2年以上) ・プロジェクトの立ち上げの経験 ・ミドルウェア(Apache,Tomcat,MySQL)に関する構築・運用・チューニング経験 ・Linuxに関する構築・運用・チューニング経験 ・WebAPIの利用・構築に関する知識・経験 ・クラウド基盤を利用した自動化経験 ・Ansibleなどの構成管理ツールの利用経験 ・L2/L3/L4通信に関する基本的な知識 ・Webセキュリティに関する基本的な知識
大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL
案件の必須スキル
・AWSを利用したDWH、ETLの開発実務経験1年以上 ・Glueとredshiftの利用経験 ・要件定義、基本設計、詳細設計の経験
大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL
案件の必須スキル
・AWSを利用したDWH、ETLの開発実務経験1年以上 ・Glueとredshiftの利用経験 ・要件定義、基本設計、詳細設計の経験
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 機械学習を活用し、キャディのデータを基にしたモデルの開発や保守運用を行います。画像認識やサプライチェーンのデータ分析など、多岐にわたる業務を担当します。 ■具体的な業務内容 ・画像認識システムの構築および保守 ・Deep Learningを用いたモデル構築および評価 ・サプライチェーンデータの分析および仮説検証 ・最適化アルゴリズムの開発および導入 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・キャディのミッションである「モノづくり産業のポテンシャルを解放する」ことへの共感 ・機械学習、統計、線形代数、コンピュータサイエンスに関連したアルゴリズムの基礎知識 ・機械学習を活用したビジネス上の課題を解決する3年以上の業務経験 ・機械学習、統計のモデルの精度改善の経験 ・PythonまたはRustを用いたWebサービスに関わるAPIの開発、運用経験 ・GCP、AWSなどクラウドサービスを利用した業務経験 ・Docker等のコンテナ技術の基礎的知識 ・Git、CI/CDを用いたチーム開発、運用経験
複数ある自社広告配信プロダクトの100億レコード以上/日のログを分析し、広告配信を最適化する業務を担当いただきます。 【主な仕事内容】 ・ビジネスインパクトが大きなKPI改善の見極め ・KPI(CPCなど)最適化の改善及び運用 Python
案件の必須スキル
・Python、SQL、Spark、BigQueryなどを用いた分析経験:2年以上 ・サーバーサイドフレームワークを用いた開発運用経験:1年以上 ・チームリーダーやプロジェクトマネージャーとしてプロジェクトを推進した経験 ・開発の遂行に必要な情報を関係者(ビジネス、エンジニア)に自力でヒアリングしつつドキュメント化しプロジェクトを推進した経験 ・稼働中のプロダクトに対してシステム面やビジネス面の課題発見し、KPI改善をした経験 ・既に機械学習で実装されたものを更に改善した経験
当社の各プロダクトのバックエンド開発を行って頂きます。 AWSのマネージドサービスをフル活用しながら将来の事業の変化に合わせた技術の選定、設計、実装を進めます。 サーバーレス化、一部機能のマイクロサービス化、開発効率やスケーラビリティなども考慮しつつ、いかに早く効率的にデリバリーしてユーザに使って頂くかのバランスを取るかをチームで決定しながら開発を進めます。 また一方で、医療情報を扱う事業者として、他の分野と比較して信頼性・セキュリティなどに求められるレベルも高く、インフラ構成も含めて実装を進めます。 高い信頼性やパフォーマンスを維持しつつ安定して開発を継続するため、アプリケーションコード、AWSのインフラ、DevOps などをより良い形で実装、改善をして頂ける方を募集します。 ※エンド直案件となります。面談は弊社同席で1回行います。
案件の必須スキル
・汎用的な高いプログラミング能力 ・AWS/GCP/Azure などのクラウドサービスでの開発経験 ・RDBMS / NoSQLの知識・設計の経験 ・Webアプリケーションでのセキュリティ知識・運用・経験 ・CI/CD、ログ収集、監視などのDevOpsの経験 ・Infrastructure as Codeの知識・経験 【求める人物像】 ・チームで成果を出すことに喜びを感じる方 ・HRT(謙虚・尊敬・信頼)の姿勢を大切にしている方 ・医療に関心のある方 ・課題提起から実際に手を動かして解決してくれる方 ・新しい技術などに好奇心を持ち積極的に挑戦してくれる方 ・中長期でシステムを維持するためのコードの質や開発プロセスを大事にする方 ・アジャイルソフトウェア開発に関心のある方 ・あるべき論だけではなく、現状を踏まえた上で清濁併せのんでプロジェクト推進ができる方 ・主体的に動ける方
・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 Python
案件の必須スキル
・Pythonでの開発経験:3年以上 ・SQL(Window関数やUNION、副問い合わせを流暢に扱えること) ・アプリケーション開発経験
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、エンタープライズとの契約が急激に増えている中で、多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 Python
案件の必須スキル
・システム開発経験:3年以上 ・Pythonの実装経験:1年以上 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
在庫分析クラウドサービスを展開する企業にて、 在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をPythonやSQLを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 Python
案件の必須スキル
・システム開発経験:3年以上 ・Pythonの実装経験:1年以上 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
データ分析プラットフォーム (Databricks) の運用、AWS 利用コスト最適化に関わる業務を実施していただきます。 ▼想定される主な業務 ・利用実態 (既存のリソースの稼働状況、設定されている権限) の調査 ・各種設計ポリシーを元に AWS リソース全般の設計・実装 ・運用ドキュメント (GitHub, Google Workspace) の増補、改善 ・Redash, Databricks を使用したダッシュボードの実装 ・AWS コスト削減方針検討・ライフサイクルなどの実装 AWS
案件の必須スキル
・SQLに関する基本的な知識 ・AWSを利用した開発・運用経験:3年以上 ・Pythonを利用したアプリケーション開発経験:1年ほど
自社プロダクトのデータ分析基盤(API / 解析基盤)の開発・運用を行って頂きます。 Go + Scala + Spark Stream + Hadoopなど最新の技術を積極的に取り入れながら、 データ分析基盤を1から開発する経験ができます。 (作業内容例) ・API、WEBアプリケーションの設計、開発、運用 ・リアルタイム分析基盤の設計、開発、運用 ・広告配信基盤の設計、開発、運用 ・機械学習を使った異常検知/未来予測基盤の設計、開発、運用 Go,Scala
案件の必須スキル
・Java, Ruby, Python, Golangなどのプログラミング言語での開発経験 ・Git / Githubを利用した開発経験 ・RDBMS(MySQL 又は Oracle)を使った開発経験
ライフログアプリのビッグデータを活用した人工知能開発にアサイン頂きます。 スマホセンサーなどから上がってくる行動データやテキスト、 画像の解析をベースに、人工知能技術を使ってAIや機械学習を開発して頂きます。 Python,Scala
案件の必須スキル
・Python、Scalaのいずれかでの言語による開発 ・Spark(MLlib)、scikit-learn、TensorFlow、Keras、Chainerを使った機械学習 研究、開発 ・行動データを使った強化学習、推奨エンジン 研究、開発
大手ECサイトやオンラインゲーム等、複数コンテンツを持っております企業様での 自社開発レコメンドエンジンの開発案件です。 現在、社内の各種事業に順次展開をしておりますが、 よりスピーディーに展開を進めるため、開発エンジニアを募集しております。 主な作業内容は下記を想定しております。 ・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成 など Node.js
案件の必須スキル
・Java・MySQLを用いたアプリケーション開発に3年以上従事し、基本設計〜テストまでを単独で行える事 ・Hadoopの技術をキャッチアップし、ビッグデータ関連の技術習得に意欲的に取り組める方
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 某企業にて、データドリブンな意思決定をサポートするデータ基盤の設計・開発・運用業務を担当していただきます。データアナリストやマーケティング担当と協力し、データ基盤の整備を行います。 ■具体的な業務内容 ・データ基盤の設計、開発、運用 ・PythonやSparkを用いたアプリケーション開発 ・ETLの設計および実装 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 必須スキル: ・PythonもしくはSparkを用いたアプリケーション開発の経験がある方 ・実務でのSQL利用経験 ・データウェアハウス・分析環境の設計・運用経験がある方 ・外部サービスを含めた複数のデータソースを統合するシステムの開発経験がある方 ・ETL開発経験のある方
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 Pythonを用いて、某社サービスの在庫最適化システムを支えるデータ基盤の構築を担当します。大量データの集計や加工を行い、データストアへの投入を行います。 ■具体的な業務内容 ・在庫最適化システムのデータ基盤構築 ・数億レコードの大量データの集計および加工 ・SQLやPythonを用いたデータ処理およびデータストアへの投入 ・スクラムチームでの開発およびスプリントの推進 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・何かしらのシステム開発経験3年以上 ・Pythonの実装経験1年以上 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、 Window関数などを理解している方) ・データ基盤の構築経験 ・アプリケーションの設計経験 ・AWSなどクラウド環境を利用したシステム開発の経験
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 RDBのデータベース設計やETL処理の設計・開発、APIの構築などを行うバックエンドエンジニアのポジションです。AWS関連リソースを積極的に活用し、データ処理やAPI開発に貢献します。 ■具体的な業務内容 ・RDBのデータベース設計 ・Glue Jobを利用したETL処理の設計・開発 ・API GatewayやLambdaを使用したAPI開発 ・AWSリソースの活用および管理 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・AWSの各サービスの運用経験 ・データウェアハウス及び、データマート向けのETLジョブ開発 ・Pythonの利用経験 ・複数人でチームを組みサービス開発をした経験
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 開発中のシステムに対する追加機能の設計および実装を担当します。アプリケーション設計から総合テストまでの対応が求められます。 ■具体的な業務内容 ・データ連携アプリケーションの設計および実装 ・AWS Fargate環境での開発およびテスト ・Dockerイメージの作成およびデータ処理関連の対応 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・Pythonのご経験(必須) ・AWS Fargateのご経験(必須)
某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス(Glue、Lambda、MWAA等)を用いたデータレイク構築作業にも携わっていただくことが可能です。 Python
案件の必須スキル
・Pythonを利用した開発経験:2年以上 ・データ分析プロジェクトへの参画経験 ・問題点などの共有を自ら行うことができ、自発的に行動できる方 ・協調性があり、コミュニケーション能力の優れている方
在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをリリースし、エンタープライズとの契約が急激に増えている中で、多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制になります。 Python
案件の必須スキル
・システム開発経験:3年以上 ・Pythonの実装経験:1年以上 ・Sparkなどの分散処理システムの経験 ・SQLの実装経験(基本的なDDL、DMLに加え、結合、集計、集合、case文、Window関数などを理解している方)
◆主な仕事内容 ・社内外のユーザーが利用するデータ分析基盤の構築・運用 ・データ利用のガバナンス維持など、現行の運用時のFit&Gap及び、 Gapの解決に向けての方法 ・Databricks / Snowflake/ AWSなどの設定、棚卸しなどのシステム管理業務 ・データ利用の要件や条件などを遵守した社内外のシステムとの連携 ・新技術の評価、バージョンUPの検証 ・負荷やコストとパフォーマンスを意識したシステム構築 ※ただ開発をするだけでなく、プロジェクト内での意思決定に加わり、 具体的なアクションを決めるところからご参加いただけます。 要件定義から基盤の設計、一部実際の開発支援やデータの運用など、 プロジェクトの核となる部分をメンバーと一緒に実施していただきます。 ※フルリモート可 Python
案件の必須スキル
・JavaやPythonをはじめとした開発経験:3年以上 ・データベース、SQLを使用した開発・運用 ・Linuxでの業務または個人開発経験
■案件内容 以下業務をご担当いただきます。 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロント(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ■担当工程:要件定義~運用保守 ■求める人物像 ・見出した課題に対して、解決を目指して自発的に動ける方 ・将来を見越したシステム設計や改善提案を行いますことができる方 ・サービスの成長や、ユーザーのことを意識し、開発に携われる方 /リモート可の経験がある方(参画後、業務上問題なければフルリモートも可能です) ■作業場所:渋谷 ■リモート頻度:フルリモート(初日出社) ■精算:140-180 ■打ち合わせ:WEB1回 ■備考:服装:ビジネスカジュアル
案件の必須スキル
・AWSを用いたインフラ環境の構築、運用経験 ・webサービスの開発、運用経験
フルスタックエンジニアの方を募集しております。 ■業種: WEBサービス(BtoC) ■案件内容 ・某SNSのシステム開発・運用・保守 ・機能開発、機能改善 ・データベースの構成変更 ・キャパシティ最適化、インデックス最適化、集約など ・アプリケーションサーバの構成変更 ・HTTPサーバやログ基盤の切り替えなど、一部アプリケーションコード改修も伴う ・OSの変更・OSの更新 ・CVE対応、サポート切れへの対応など ・各種ミドルウェアの更新 ・CVE対応、新機能・性能改善の取り込みなど ・その他各種システム構成の変更・更新 ・コンテナ仮想化への切替、マネージドサービス利用による管理コスト削減など 【環境】 iOS(言語、ライブラリなど):Swift、Objective-C Android(言語、ライブラリなど):Java フロント(言語、ライブラリなど):JavaScript、TypeScript、LESS サーバーサイド(言語、ライブラリなど):Perl、Ruby、Python インフラ:AWS(EC2、S3、CloudFront、Route53、Elasticsearch、etc.)、GCP(CloudVisionAPI) ミドルウェア:Apache、nginx、memcached データベース:RDS、MySQL、Aurora モニタリング:CloudWatch、Sensu、Datadog データ分析:GoogleAnalytics、EMR、Spark、SageMaker デプロイツール:Consul、stretcher 環境構築:Chef、Docker、Ansible CI:Jenkins、CircleCI、CodeBuild ■担当工程: 要件定義~運用保守 ■作業場所 渋谷 ■リモート頻度 フルリモート(初日出社) ■希望単価 精算140-180 ■打ち合わせ WEB1回 ■服装 ビジネスカジュアル
案件の必須スキル
・AWSを用いたインフラ環境の構築、運用経験 ・webサービスの開発、運用経験
【仕事内容】 Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム体制 ・PdM:1名 ・バックエンドエンジニア:2名 ・モバイルエンジニア:3名 ・プロダクトデザイナー:1名 ■環境 • 分散DB(Cloud Spanner) • 言語:Go言語 • 通信 :connect-go proto • コンピューティング:Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■働き方 フルリモート 週1回(月or金)出社頂ける方が理想です。 外国籍:不可
案件の必須スキル
・AWSやGCPなどのクラウド環境を使ったアーキテクチャ設計、インフラ設計、アプリケーション設計、運用(実務経験2年以上) ・工程一連の実務経験をお持ちであること ・L2/L3の基本的なネットワーク理解 ・HTTPS, DNSなどの基本的なプロトコル理解 ・Gitによるコード管理の経験
プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 開発環境: サーバーサイド:Scala, Play Framework, ZIO, Spark, Flink プロビジョニング:Terraform, Ansible フロントエンド:JS, TypeScript, Vue.js 監視:DataDog, Kibana クラウドサービス:AWS, GCP 分析基盤:fluentd, BigQuery, Athena, Google Data Studio, Redash AWS:ECS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache 開発ツール:Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot 仮想化基盤:Docker その他使用言語:Python, Go ミドルウェア:Elasticsearch, nginx, MySQL, ClickHouse
案件の必須スキル
・Scala によるアプリケーション開発の実務経験(1年以上) ・スクラム開発の実務経験(1年以上)
Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■チーム構成 ・PdM:1名 ・バックエンドエンジニア:2名 ・モバイルエンジニア:3名 ・プロダクトデザイナー:1名 ■開発環境 • 分散DB(Cloud Spanner) • 言語:Go言語 • 通信 :connect-go proto • コンピューティング:Kubernetes → Cloud Run • DWH・パイプライン構築 ◦ BigQuery ◦ Apache Spark ■会社の魅力 大企業の持つ資本力とベンチャーの持つスピード感を両立しており、0ベースでの技術的負債が無い状態でのスタートを切ることができます。そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 ユーザーの質問にライバーが回答することに特化したライブストリーミングサービス(Q&Aに特化したライブ配信アプリ)を今年の春、リリース予定となっております。 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い
案件の必須スキル
・AWSやGCPなどのクラウド環境を使ったアーキテクチャ設計、インフラ設計、アプリケーション設計、運用(実務経験2年以上) ・工程一連の実務経験をお持ちであること ・L2/L3の基本的なネットワーク理解 ・HTTPS, DNSなどの基本的なプロトコル理解 ・Gitによるコード管理の経験
既存サイトビッグデータ(店舗メニュー情報)分析システムの バッチ処理について、処理の大幅改修作業をご担当頂きます。 フェーズ:詳細設計、製造、テスト(単体・結合)、運用(調査・分析)
案件の必須スキル
【必須】 ・バッチ処理経験者 ・Linux環境での開発経験 ・SQLを使用しての開発経験 ・詳細設計が1人称で出来る方 【尚良】 ・リーダー経験者(スケジュール管理) ・PythonやBashを使っての開発経験 ・Apache Sparkを利用した開発経験 ・MySQLのパフォーマンスチューニング経験
小売業向けの基盤システムの開発を担当して頂きます。
案件の必須スキル
【必須】 ・Pythonによる開発経験 (一人称で作業可能なレベル) ・コミュニケーション能力 ・SQLの経験 【尚可】 ・Linuxの操作 ・Azure DataBricksの経験 ・ApacheSparkの経験
小売業向けの基盤システム開発をお任せします。 環境:Microsoft Azure Databricks
案件の必須スキル
【必須】 ・Pythonによる開発経験 ・コミュニケーション能力 ・SQLの経験(※PySpark、SparkSQLを利用します) ・要件定義から導入まで、システム開発の一連の流れの経験 ・コーディング経験に長けている方 【尚良】 ・調査・提案作業に長けている方 ・Azure DataBricksの経験 ・Microsoft Azure サービスの知識 ・ApacheSparkの経験 ・Linuxの操作 ・分析スキル(※統計検定3~2級程度)
インターネット広告のログデータなどを用いたデータ分析業務、およびそのデータ分析のためのツール開発などを行っていただきます。 Python
案件の必須スキル
・Pythonでの開発経験:3年以上 ・データベース、SQLを使用した開発・運用経験 ・クライアントもしくは社内のビジネス職に対して社内のエンジニアと連携しながらプロジェクトを推進した経験
〇事業展開について 当組織では、「スポーツベッティング×海外」をテーマとした事業展開を行っています。 スポーツベッティングとは、近年急速に世界中で盛り上がりを見せており、各種競技の結果やプレーに対して賭けて楽しむものです。 スポーツが一度に多くの人に共感・感動を提供できるコンテンツであり、こうしたスポーツの持つ根源的な熱量をコミュニケーションに繋げていくことに可能性を感じ、近年スポーツ領域への挑戦を行っているという背景があります。 コミュニケーションサービスを得意としている中でスポーツ領域に取り組むことで、新たな価値提供や盛り上がりを見出せる可能性があり、スポーツ領域の中でもまだまだ可能性を秘めているスポーツベッティングについては、ビジネス側面でもさらに伸びていくと感じています。 〇具体的な作業内容 ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) 〇役割 事業のPDCAにおける、Check-分析の効率性/スピードと質を向上させ、かつ次のアクションに繋がるインサイトを提供すること ■ 分析基盤整備 ・ダッシュボードの作成(KPIツリー、目的別ボード) ・ユーザー行動の可視化(推移、利用特性) ・分析基盤整備の推進(データ取得の推進、課題点洗い出し) ■ 分析 ・データを用いた仮説検証(機能、UI改善、施策) ・ユーザー行動(数値化、可視化、セグメント分類) ・効果検証(広告、キャンペーン、メールマガジン等) ・得られたデータを元にしたインサイトの提供 Python
案件の必須スキル
・SQLを用いたデータ分析やデータ集計の経験:3年以上 ・PythonやRなどを利用したデータ分析業務の経験:3年以上 ・データ分析経験:3年以上 ・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験 ・BIツール(Looker、Tableau、Redash等)でのダッシュボード経験
〇事業展開について 当組織では、「スポーツベッティング×海外」をテーマとした事業展開を行っています。 スポーツベッティングとは、近年急速に世界中で盛り上がりを見せており、各種競技の結果やプレーに対して賭けて楽しむものです。 スポーツが一度に多くの人に共感・感動を提供できるコンテンツであり、こうしたスポーツの持つ根源的な熱量をコミュニケーションに繋げていくことに可能性を感じ、スポーツ領域への挑戦を行っているという背景があります。 コミュニケーションサービスを得意としている中で、スポーツ領域に取り組むことで、新たな価値提供や盛り上がりを見出せる可能性があり、スポーツ領域の中でもまだまだ可能性を秘めているスポーツベッティングについては、ビジネス側面でもさらに伸びていくと感じています。 〇具体的な作業内容 ・サービス内(App/Web)におけるユーザーの活動分析 ・機能分析や、サービス内のファネル分析、ユーザー別の活動分析等の幅広な分析を実施 ・データを依頼してのその直接提示というより、持つ仮説を強化あるいは反証するデータを幅広に検証したり、そこから必要な取得データや分析を提案し回答や示唆を提供する ・必要情報を取得する際の開発チームへの依頼や要件の伝達(イベントの発火組み込みや、新機能における分析必要項目のDevチームへの連絡や埋め込み依頼等) 〇役割 事業のPDCAにおける、Check-分析の効率性/スピードと質を向上させ、かつ次のアクションに繋がるインサイトを提供すること ■ 分析基盤整備 ・ダッシュボードの作成(KPIツリー、目的別ボード) ・ユーザー行動の可視化(推移、利用特性) ・分析基盤整備の推進(データ取得の推進、課題点洗い出し) ■ 分析 ・データを用いた仮説検証(機能、UI改善、施策) ・ユーザー行動(数値化、可視化、セグメント分類) ・効果検証(広告、キャンペーン、メールマガジン等) ・得られたデータを元にしたインサイトの提供 Python
案件の必須スキル
・SQLを用いたデータ分析やデータ集計の経験:3年以上 ・PythonやRなどを利用したデータ分析業務の経験:3年以上 ・データ分析経験:3年以上 ・Google Analytics, BIツール、エクセル等を利用した、サービスの分析および示唆出しの経験 ・BIツール(Looker、Tableau、Redash等)でのダッシュボード経験
東京から世界に音楽やファッションなどを発信していくサイトになります。 サーバーサイドにて管理画面を作成頂きます。 リリース後は引き続き後運用をご担当頂きます。 [体制] エンジニア2名+PM [開発環境] フロント:Java,Spark,DynamoDB サーバーサイド:LAMP環境、YiiFW,AWS,nginx,RDB,git,Backlog,Slack,travis CI Java,PHP
案件の必須スキル
PHPでの開発経験2年以上 MVCFWの経験
【業務内容】 インフラ環境の構築と運用、パフォーマンスや コスト改善などの業務をご担当いただきます。 ・セキュリティ対策:アカウントセキュリティ、 マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応:アカウントの組織管理、 サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保:サービスレベルの策定、 モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進:リソース構成のIaC化、監視ツールの導入、 セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 【開発環境】 AWS:EC2、ECS、StepFunctions、S3、 Redshift、Aurora(PostgreSQL)、CloudWatch、Lambda Python、Rust、Spark 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00
案件の必須スキル
・SREまたは関連するITインフラストラクチャの経験がある方 ・プログラミングスキルやスクリプトの作成経験がある方 ・クラウドサービスやコンテナ技術に関する知識や経験がある方 ・システムやアプリケーションのモニタリング、トラブルシューティング、パフォーマンスチューニングの経験がある方 ・コミュニケーション力がある方
【業務内容】 インフラ環境の構築と運用、パフォーマンスや コスト改善などの業務をご担当いただきます。 ・セキュリティ対策:アカウントセキュリティ、 マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応:アカウントの組織管理、 サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保:サービスレベルの策定、 モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進:リソース構成のIaC化、監視ツールの導入、セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 【開発環境】 AWS:EC2、ECS、StepFunctions、S3、Redshift、 Aurora(PostgreSQL)、CloudWatch、Lambda Python、Rust、Spark 【精算幅】140-180h 【面談】1回 【勤務地】リモート 【備考】 ・服装:自由 ・就業時間:9:00-18:00
案件の必須スキル
・SREまたは関連するITインフラストラクチャの経験がある方 ・プログラミングスキルやスクリプトの作成経験がある方 ・クラウドサービスやコンテナ技術に関する知識や経験がある方 ・システムやアプリケーションのモニタリング、トラブルシューティング、パフォーマンスチューニングの経験がある方 ・コミュニケーション力がある方
【業務内容】 インフラ環境の構築と運用、パフォーマンスや コスト改善などの業務をご担当いただきます。 ・セキュリティ対策:アカウントセキュリティ、 マネージドサービスによる防御と検知の設置、ログ集約、障害テストなど ・マルチアカウント対応:アカウントの組織管理、 サービスコントロールポリシーとガードレールの設定など ・システムのスケーラビリティの確保:サービスレベルの策定、 モニタリング設置、インフラ・アプリ環境の最適化、性能テスト実施など ・自動化の推進:リソース構成のIaC化、監視ツールの導入、セキュリティ検知の自動通知など ・上記タスクに伴う運用ルール、ドキュメントの整備、監査レポートの作成 【開発環境】 AWS:EC2、ECS、StepFunctions、S3、 Redshift、Aurora(PostgreSQL)、CloudWatch、Lambda Python、Rust、Spark 【精算幅】140-180h 【面談】1回 【勤務地】リモート可 【備考】 ・服装:自由 ・就業時間:9:00-18:00
案件の必須スキル
・SREまたは関連するITインフラストラクチャの経験がある方 ・プログラミングスキルやスクリプトの作成経験がある方 ・クラウドサービスやコンテナ技術に関する知識や経験がある方 ・システムやアプリケーションのモニタリング、トラブルシューティング、パフォーマンスチューニングの経験がある方 ・コミュニケーション力がある方
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 スマートフォン向けゲームのエフェクトデザイナーを募集しています。魔法やスキル、背景エフェクトの制作に加え、画面演出や文字演出の制作も行います。 ■具体的な作業内容 ・魔法やスキルのエフェクト制作 ・背景(環境)エフェクト制作 ・画面および文字演出の制作 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・コンシューマゲームもしくはソーシャルゲーム開発の実務経験(2年以上) 下記条件のいずれかを満たしていること ・SPARK GEAR、BISHAMON等を使用した3Dエフェクト制作経験 ・SpriteStudio、Flash等を使用した2Dエフェクト制作経験
【20 代から40 代の方が活躍中!】 ※週4日~OK案件です! ※実務経験1年以上ありの方が対象の案件です! ■概要 開発中のシステムに対する追加機能の設計と実装を担当します。Pythonを用いたアプリケーション設計から総合テストまでの工程を行い、AWS Fargate上での開発経験を活かしてデータ連携アプリの機能強化を支援します。さらに、DockerやAWS CDK(Python)を用いたインフラ管理の知識が求められます。 ■具体的な業務内容 ・Pythonを用いたアプリケーション設計および実装 ・AWS Fargate上での開発および運用 ・総合テストの計画および実施 ・Dockerイメージの作成および管理 ・AWS CDK(Python)を用いたインフラのコード化(IaC) 勤務開始時には、プロジェクトの一員として、コミュニケーションを取りながら上記業務を進めて頂く予定です。
案件の必須スキル
・円滑なコミュニケーションが取れる方 ・Pythonのご経験 ・AWS Fargateのご経験
1 - 50件/全219件
この条件の新着案件情報を受け取る
この条件の新着案件情報を受け取る
最高単価
130万円
最低単価
47万円
平均単価
79.2万円
2024年11月のSparkのフリーランス案件・求人の月額単価の平均は79.2万円です。Sparkのフリーランス案件・求人の年収の目安は950万円です。単価20万円台のSparkのフリーランス案件・求人は0件、単価30万円台のSparkのフリーランス案件・求人は0件、単価40万円台のSparkのフリーランス案件・求人は1件、単価50万円台のSparkのフリーランス案件・求人は4件、単価60万円台のSparkのフリーランス案件・求人は44件、単価70万円台のSparkのフリーランス案件・求人は43件、単価80万円台のSparkのフリーランス案件・求人は21件、単価90万円台のSparkのフリーランス案件・求人は23件、単価100万円台のSparkのフリーランス案件・求人は30件です。※フリーランスボード調べ(2024年11月04日更新)
2024年11月のSparkのフリーランス案件・求人の平均月額単価は79.2万円です。前月比で-0.7%(-0.6万円)と月単位でみるSparkのフリーランス案件・求人の月額単価は減少傾向です。
2024年11月のSparkのフリーランス案件・求人の想定平均年収は950.3万円です。前月比で-0.7%(-7万円)と月単位でみるSparkのフリーランス案件・求人の想定年収は減少傾向です。
働き方 | 割合 | 前月比 |
---|---|---|
フルリモート | 27.3% | -0.5% |
一部リモート | 63.6% | +0.7% |
常駐 | 9.1% | -0.2% |
2024年11月のSparkのフリーランス案件・求人におけるフルリモート案件・求人の割合は27.3%で前月比で-0.5%とやや減少傾向にあります。一部リモート案件・求人の割合は63.6%で前月比で+0.7%とやや増加傾向にあります。常駐案件・求人の割合は9.1%で前月比で-0.2%とやや減少傾向にあります。
■Sparkとは Sparkとは、大規模データ処理のためのオープンソースのクラスタコンピューティングフレームワークで、Hadoop MapReduceよりも高速で汎用的な分散処理を実現します。Sparkはバッチ処理、ストリーム処理、インタラクティブクエリ、機械学習などの様々なワークロードに対応しています。 Sparkの特徴として、メモリ内での高速な処理が可能なこと、Resilient Distributed Dataset(RDD)による耐障害性とデータ不変性を持つこと、Spark SQL、Spark Streaming、MLlib、GraphXなどの豊富なライブラリを持つこと、Scala、Java、Python、Rから利用可能なこと、YARN、Mesos、Kubernetesなどの様々なクラスタマネージャ上で動作すること、データソースとしてHDFS、Cassandra、HBase、S3などに対応していることなどが挙げられます。 Sparkができる開発はビッグデータのバッチ処理、リアルタイムデータ処理、大規模データ分析、機械学習モデルの構築とスコアリング、グラフ分析、ETL処理、データウェアハウジングなどと幅広いです。 Sparkを活用している世界的サービスやプロダクトは、Amazon、eBay、Yahoo!、NASA、Alibaba、Tencent、Amazonなどの大企業や、データ分析プラットフォームのDatabricks、ビッグデータ分析基盤のCloudera、ストリーム処理基盤のConfluent Platformなどで採用されています。また、Sparkはデータサイエンスやデータエンジニアリングの分野で必須のスキルとなりつつあり、多くの企業や組織でデータ活用の中心的な役割を果たしています。 ■Sparkを活用するメリット この章ではSparkを活用するメリットについて説明します。 Sparkを習得することにより、具体的に以下のようなメリットがあります。 ・大規模データの分散処理を高速に行える ・MapReduceよりも高水準のAPIによる開発生産性の向上が見込める ・機械学習ライブラリMLlibによる大規模データの予測分析が可能 ・リアルタイムストリーム処理への対応により多様な処理要件に対応できる ・SQLライクなクエリ言語SparkSQLにより既存スキルの活用が可能 ・PythonやR言語との連携によりデータサイエンス業務との親和性が高い ・クラウドのマネージドサービスで容易に利用可能 Sparkは大規模データ処理基盤、データレイク構築、機械学習基盤など様々なビッグデータ関連業務で利用されており、フリーランス求人・案件数も増加傾向にあります。上記活用する上でのメリットを踏まえて、習得可否を検討することをおすすめします。 ■Sparkを活用するデメリット この章ではSparkを活用するデメリットについて説明します。 Sparkを習得することにより、具体的に以下のようなデメリットがあります。 ・大量リソースを必要とするためインフラコストが高くなる ・多数のクラスタノードを適切に設定・管理する運用負荷が高い ・デバッグやトラブルシューティングが難しい面がある ・安定性や互換性に関する情報が少なく判断が難しい Sparkはメリットが多いですが、インフラコストや運用管理の難しさなど注意すべき点がいくつかあることを理解しておきましょう。 Spark習得を今後検討しているフリーランスエンジニアはSparkを活用するメリットデメリットを比較した上で決めると後悔が少ないでしょう。