サービスとしてのビッグデータ（BDaaS）について知っておくべきことすべて

公開: 2015-05-07

過去数年間で、従来のビジネスおよび市場管理は、従来の方法に関連して劇的に変化しました。 顧客の獲得、活性化、維持に向けた新しいアプローチにより、最前列へのデータ流入から導き出せる行動パターンと洞察に関する情報がもたらされました。 これらの特性を適切に分析することにより、起業家は生産性を達成することができます。 それがないため、企業は競争の激化の下で埋葬される運命にあります。

テクノロジーのアクセシビリティと日常生活でのその圧倒的な使用法は、起業家が利用できるデータ量の大幅な増加に影響を与えました。 ただし、データの実際の使用法は、データを適切に保存、管理、分析する能力に依存します。 Big Data as a Serviceテクノロジーが中小企業や組織にとって影響力のある機会として登場する前は、これらのドメインは、それらを購入できる人、つまり大企業のためだけに予約されていました。 Big Data as a ServiceまたはBDaaSは、ビジネスの成長を確保するために、新しい競争上の優位性と顧客および市場の収益性の高い管理を可能にし、データ処理の取り組みのコストを削減することでアクセス性を高めます。

サービスとしてのビッグデータ（BDaaS）について知っておくべきことすべて

Shutterstock.com | bleakstar

この記事では、BDaaSの重要な情報、構成要素、プロセス、およびセクション1）サービスとしてのビッグデータ–用語の定義を通じて直面する課題について説明します。 2） BDaaSの種類; 3） BDaaSフレームワーク、 4） BDaaSの要件; 5） BDaaSの長所と短所および6）従来の環境とビッグデータに関連するBDaaSの違い。

サービスとしてのビッグデータ–用語の定義

サービスとしてのビッグデータは、建設的なデータ処理の効率的でユビキタスな可用性に焦点を当てた新しいテクノロジーです。 これは、クラウドベースのハードウェアおよびソフトウェアサービスのスペクトルであり、技術の進歩と日常生活（ソーシャルネットワーク、オンラインメディア、 NS。）。 BDaaSテクノロジーの目標は、組織や中小企業に費用対効果の高い価値のある洞察を提供して、競争力、革新性、ひいては収益を向上させることです。

BDaaSの成分

  • 高機能サービス指向アーキテクチャ： BDaaSテクノロジーは、ビッグデータストレージインフラストラクチャ、データ処理モジュール、多様な分析ツールを含む高機能アーキテクチャを提供します。その目的は、プログラミングの専門家やデータサイエンティストの雇用、および対象を絞った使用の機会に対する顧客の支出を削減することです。特定のニーズに応じてこれらの多様な層の。 さらに、BDaaSのサービス指向アーキテクチャ（SOA）は、上記の各サービスを個別に活用し、それらを全体に接続します。これにより、特定のビジネス要件への包括的なアプローチが可能になります。
  • クラウド仮想化機能：上記のBDaaSの構造は、クラウドコンピューティングと水平方向のスケーラビリティに基づいています。 基本的に、これは、必要な結果に関してタスクを指定した複数のプロセッサーでデータが保存および処理されることを意味します。 水平方向のスケーラビリティにより、これらの個別のエンティティを単一の論理ユニットとして機能させ、データ量が増加した場合に新しいエンティティを導入できます。 一方、Hadoopなどのシステムは、垂直スケーラビリティベースで動作するオープンソースストレージテクノロジーです。 これは、増加したデータ量を管理するためにシングルプロセッサのプロパティをアップグレードすることを意味します（したがって、テクノロジの進歩に依存します）。
  • 複合イベント駆動型処理： BDaaSテクノロジーにより、説明、記述、予測の3つのモジュールでデータ管理が可能になります。 さまざまな並べ替えと分析のアプローチを通じて、顧客は、ビジネス全体の成長に使用できる問題、脅威、機会、および可能性に関する貴重な情報を入手できます。 さらに、リアルタイム処理技術とオンデマンド機能により、BDaaSシステムはタイムリーで正確であるだけでなく、コストも低くなります。
  • ビジネスインテリジェンスツール：サービスとしてのビッグデータは、レポート、クエリ、オンライン分析処理、データマイニング、およびその他の多数の要素にアプリケーションソフトウェアを使用して、生の（および多くの場合非構造化）データをビジネスインテリジェンスの建設的な情報に変換します。実際のビジネス効率を高めることができる情報。

BDaaSが対応するビッグデータの重要な要素

速度。 ビッグデータの速度は、システム全体のデータ変動の速度を表します。 リアルタイムイベントに関する情報を生成するためにコンピューティング機能を活用するため、ビッグデータ管理の重要な側面です。 これは、複雑なイベント処理アプリケーションを介して行われます。 「ストリーミングデータ」には、BDaaSの水平方向のスケーラビリティと最適化された応答間隔によって保証される十分なストレージ機能が、より短い時間でデータを取得するNoSQLなどの新しいテクノロジーによって必要とされます。

音量。 ビッグデータデータセットのサイズは数ペタバイトに達する可能性があるため、適切な分散コンピューティングと水平スケーラビリティ機能が必要です。 大量のデータは、並列化されているが特定のタスクを備えた数千のノード（個々の処理ユニット）の実装を通じて取得および管理されます。 予測分析と記述分析の精度は、処理装置の数が増えると比例して向上します。

バラエティ。 Big Data as a Serviceテクノロジーは、処理能力を構造化データのみから非構造化データにも拡張しました。 BDaaSで使用されるアプリケーションは、システム全体で変動する生データの大部分から、使用する価値のあるデータを効果的に抽出します。 ビッグデータの多様性の側面を適切に管理することで、テクノロジーインフラストラクチャに関するROIの数値が向上します。

BDaaSに関する統計

数値を見るときは、BDaaSの主要な構成要素であるクラウドコンピューティングとビッグデータに関する個々の統計を組み合わせる必要があります。 これら2つの構成要素の傾向から導き出された統計は、BDaaSの使用が継続的に増加し、IT市場にしっかりと組み込まれていることを示しています。

  • 過去50年間に達成されたデータ流入量の合計は、現在2日間に達成されたデータ流入量に等しくなります。
  • すべてのIT投資の15％は、クラウドベースのシステムに集中しています（2021年までに35％に上昇すると推定されています）
  • 組織内のデータの50％は、2016年までにクラウドベースのシステムに保存される予定です
  • ビッグデータ市場は、2015年中に170億ドルの収益に達すると予測されています（2021年までに880億ドルに増加すると推定されています）
  • 上記の予測によれば、サービスとしてのビッグデータ市場は25億5000万ドル相当と推定されています（2021年までに約300億ドルに上昇すると推定されています）。
  • ビッグデータとクラウドコンピューティングの使用が増加している業界は、ビジネス、金融、メディア、小売、電気通信です。
  • 組織内のデータのほぼ50％は、2016年までにクラウドベースのシステムに保存されると予測されています。
  • 過去50年間に達成されたデータ流入の合計量は、現在2日間で達成されたデータ流入量に等しくなります。

BDAASの種類とレイヤー

BDaaSテクノロジーは、完全なストレージと分析データ処理を提供するために、サービスとしてのインフラストラクチャ（IaaS）、サービスとしてのプラットフォーム（PaaS）、およびサービスとしてのソフトウェア（SaaS）のツールと手法を実装します。 さらに、BDaaSはHadoopインフラストラクチャを実装しますが、特定のデータ処理のニーズに応じてさまざまなソフトウェアを組み込むことで、その効率を向上させることができます。 これらのレイヤーを参照して、BDaaSを4つのタイプに分けることができます。

BDaaSタイプ

BDaaSタイプ

レイヤー

IaaS。 IaaSレイヤーでは、クラウド環境でのデータストレージ用の汎用インフラストラクチャと、データ処理用のノードのオンデマンド使用がユーザーに提供されます。 IaaSレイヤーは、BDaaSテクノロジー（スケーラビリティ、コンピューティング、および生データのアクセス可能性）に直接影響を与えるほとんどの機会を提供しますが、熟練したプログラミングとデータスキルが必要です。 AmazonのEC2ストレージプラットフォームは、IaaSプロパティ用の優れたソフトウェアです。

PaaS。 Platform as a Serviceには、アプリケーションの展開に関する暫定的な機能を備えた基本的なインフラストラクチャが組み込まれています。 プログラミングの専門知識が必要であり、レイヤーを維持するにはデータサイエンスが必要です。 ただし、主に仮想環境に基づいているため、ハードウェアとストレージに関する顧客の関与を減らすことができます。 PaaSレイヤーの例としては、Heroku、Google App Engine、Force.comなどがあります。

SaaS。 SaaSレイヤーを使用すると、ユーザーは、基盤となるソフトウェアのプログラミング、インストール、およびメンテナンスに時間と費用をかけることなく、アプリケーションにアクセスできます。 顧客がオンデマンドでアプリケーションを使用している間、サービスプロバイダーはこれらの機能を処理します。 ただし、お客様はSaaSレイヤーからインフラストラクチャレイヤーと生データにアクセスできません。

タイプ

コアBDaaS。 コアBDaaSはかなり一般的であり、Hadoop、GoogleのMap Reduce、Spark、または個別に記述されたJavaスクリプトなどのインフラストラクチャを使用します。 多くのユーザーは、無料のオープンソースソフトウェアであるHadoopベースのインフラストラクチャを選択します。 コアBDaaSは、この基本インフラストラクチャを、AmazonのS3やHiveなどのストレージアプリケーションおよびYARNなどのNoSQL処理エンジンと組み合わせます。 包括的なコアBDaaSテクノロジーは、AmazonのElastic MapReduce（EMR）です。

パフォーマンスBDaaS。 パフォーマンスBDaaSは基本的なインフラストラクチャを使用しますが、特定の目的のためにパフォーマンスを最適化するために、他のソフトウェアおよびハードウェア（Altiscaleなど）サービスの暫定的な使用を含みます。スケーラビリティとコンピューティングの可能性を予測可能なコストで向上させます。

機能BDaaS。 機能BDaaSは、特定の割り当てのニーズに応じてアプリケーション定義の可能性を提供するために進化しました。 基本的に、これは、基本インフラストラクチャにより、機能に関してさまざまな基本ソフトウェアを使用できることを意味します。つまり、コンピューティングとストレージはサービスプロバイダーから独立しているため、完全にスケーラブルになります。 たとえば、Hadoopエコシステムの提供は、AmazonまたはGoogleのIaaSソフトウェアで洗練されています。

統合されたBDaaS。 統合BDaaSはまだ提供されていませんが、理論的には、パフォーマンスと機能の両方のBDaaSで構成され、ビジネスオーナーをサポートしながら最大のパフォーマンスを実現します。

BDAASフレームワーク

BDaaSフレームワークには、データストレージ、コンピューティング、および分析のプロセスでそれぞれが実行する機能に応じて、さまざまなレイヤーが組み込まれています。

BDAAS データインフラストラクチャ。 BDaaSのプライマリレイヤーは、データハードウェアと数千の分散コンピューティングユニット（ノード）で構成され、これらはすべて相互接続され、データが変動する高速ネットワーク回線として機能します。 BDaaSのこのレイヤーは、データの潜在的な損失を防ぐためにファイアウォールとバックアップシステムを提供します。 独自のデータベースインフラストラクチャを構築すると、1000平方メートルのスペースに150万ドル以上の費用がかかる可能性があるため、BDaaSシステムのインフラストラクチャは、データ処理の主要なアーキテクチャ領域にとって最も収益性の高いソリューションです。 さらに、ほとんどの企業が散発的な間隔で特定の情報のデータ処理を必要とし、毎回新しいデータベースを構築する場合、マイナスのROIバランスに達することを認識しているため、収益性は向上します。

クラウドインフラストラクチャ。 クラウドインフラストラクチャは、データ、ソフトウェア、およびハードウェアが相互に関連する仮想化ドメインです。 クラウドインフラストラクチャはプライベートでもパブリックでもかまいません。事前に長期間（たとえば、数年）、オンデマンド（特定の処理が行われる特定の期間）、またはオンスポット（このオプションを使用できます）で予約できます。他の場所で使用されるプロセッサの量を予測できないため、サービスの可用性への影響）。 このレイヤーには、プレゼンテーションアクセスは含まれていません。

データストレージレイヤー。 データストレージレイヤーは、分析用のデータを直接アップロードできるため、顧客にとって非常にアクセスしやすくなっています。 さらに、このレイヤーは、データの量、速度、多様性の要件に合わせて水平方向にスケーラブルであり、これらの要素の需要、特定の業界のニーズ、および分析の目標に応じて新しいノードを導入します。

計算層。 計算層は、処理フレームワークやアプリケーションプログラミングインターフェイス（API）などの分散コンピューティングサービスを実行するためのテクノロジーで構成されます。その目的は、要件と顧客の好みに応じてデータを管理および操作することです（プログラミングに関する十分な専門知識があれば、ユーザーは自分でプログラムを作成できます。データ分析）ビッグデータからの建設的な情報の導出を目的としています。

データ管理。 データ管理レイヤーは、クラウドプラットフォーム上での処理の保守と最適化の手順を実行します。 これには、データと情報の安全な保管と高効率を目的としたシステムのバックアップ、展開、およびリソース要件が含まれます。

データ分析。 データ分析レイヤーは、BDaaSの最高レベルのデータ処理であり、基になるデータに関する分析手順を担当します。 顧客はWebインターフェイスを介してデータにアクセスし、ストレージレイヤーに送信されたデータに関連する分析レポートとクエリを作成します。 パフォーマンスを最大化するために、このレイヤーは、プロセスを通じてユーザーをガイドするウィザードとグラフィカルツールを提供します。 さらに、BDaaSスタックのこのレイヤーは、ユーザーの特定の業界ベースの要件を参照して、カスタマイズされたアプローチとアプリケーションを可能にし、提供します。 データ分析レイヤーのこの機能により、BDaaSは、さまざまな組織や企業にとって生産性の高いシステムであることが証明されています。業界の重要なセグメントに対応するテクノロジーから選択できるためです（たとえば、金融業界では、証券取引所を提供します）。グラフ、リスク監視、銀行業務の分析および表示ツール。

BDAASの要件

データガバナンス。 効果的なデータガバナンスは、失敗と成功の違いを生む可能性があります。 構造化データと非構造化データの両方が圧倒的に増加し（現在の生データの90％は過去2年間に生成されています）、販売拠点、取引記録、メディア、ソーシャルネットワーク、さまざまな情報収集手法から実装されています。行動パターンをよりよく理解することで顧客エンゲージメントを促進するために、企業はデータを誠実に管理し、プロセスから実際の価値と収益性を引き出すために、業界やビジネスの必需品に関して分析されるデータをターゲットにする必要があります。

データセキュリティ。 大規模な組織や企業には、セキュリティの問題に役立つ可能性のあるプライベートクラウドプラットフォームを企業向けに購入する手段がありますが、中小企業にはそのような取り組みを行う余裕はありません。 データの安全性を確保するために（そして外部のデータ操作のリスクを排除するために）、特別な許可なしに接続できない別々のプロセッサ間で行われるデータとタスクのユニットの分割を要求します。 さらに、潜在的なデータ損失を防ぐ必要があるデータバックアップシステムを採用します。

データ戦略。 処理する予定のデータは、コンピューティングに使用されるBDaaSのレイヤーを参照して構造化する必要があります。 データが変動する経路の構造を設計すると、建設的なプロセスが保証され、プロセスが開始される前であっても潜在的な不整合が解消されます。

データの量、多様性、複雑さだけに焦点を当てないでください。 データ分析は、事前定義された一連の目的に役立つ必要があります。 予測分析手順でさえ、ある種の戦略です（考えられる傾向と将来の傾向の予測）。 したがって、データ分析の結果が組み込まれる戦略を構築する必要があります。 企業の長期目標と相関させて、戦略の短期目標を決定します。 さらに、作成した事前定義された戦略では実装できない過度に抽象的な情報のセットを回避するために、データ抽出から最終分析までのプロセスを監視します。

すべてのデータを一度に全員に急いで送り出そうとしないでください。 プロセスから得られた分析データと情報を戦略に組み込むときは、ビジネスの現在の要件に従ってそれを提示します。 すべての情報をすべての人にフラッシュする必要はありません。 情報をタイムリーに使用し、企業の現在または将来の進歩におけるその場所を包括的に認識してください。

BDAASの長所と短所

利点

  • クラウドインフラストラクチャ： ITインフラストラクチャのインスタンス化を可能にし、基盤となるインフラストラクチャ（仮想マシンやハードウェア）の機能を決定します。
  • データストレージ：分散ストレージ内の生データへのアクセス。
  • コンピューティング：データ操作のための可能なカスタマイズされたプログラミングから生じる柔軟性。
  • データ管理：データへの直接アクセスと、複雑なデータ分析および変更の可能性。
  • データ分析：ユーザーは、BDaaSインフラストラクチャのデータやプログラミング領域を処理することなく分析サービスにアクセスできます。
  • スケーラビリティ：テクノロジーの進歩に依存せず、ビッグデータ処理に関する課題に適切に対処します。
  • セキュリティ：セキュリティ問題の責任は、サービスのプロバイダーに送信されます。
  • サービス：時間と資金を消費する運用と技術開発をサードパーティに転送します。

短所

  • クラウドインフラストラクチャ：インフラストラクチャの知識要件–専門知識に関する課題。
  • データストレージ：プログラミング知識の要件–専門知識に関する課題。
  • コンピューティング：プログラミング知識の要件–専門知識に関する課題。
  • データ管理：プログラミング知識の要件–専門知識に関する課題。
  • データ分析：データおよび分析サービスへの直接アクセスは、データ分析レイヤーにあるデータに制限されていません。
  • セキュリティ：外部の関係者によるデータの潜在的な否定的な操作–ビジネスの成長に影響を与える可能性があります。
  • 専門知識の問題：上記のパラメーターに見られるように、熟練した労働力の不足は、BDaaSテクノロジーの将来の管理で対処しなければならない課題を提示します。

BDAASと従来のビッグデータの違い

サービスとしてのビッグデータは、貴重な情報の洞察に満ちた実装を通じて企業の競争力、生産性、および寿命を向上させるためのビッグデータ処理の課題への回答として登場しました。 このセクションでは、BDaaSがビッグデータ処理への従来のアプローチよりも効率的であることが証明される方法について説明します。

過去数年間に大量のデータの流入が増加しましたが、その環境は適切な管理と利用に適していませんでした。 従来の環境では、あまり開発されていない分析ツールと手法を使用して、構造化データのみを処理できました。 さらに、大量の多様なデータに対する計算能力とストレージ容量が不足していました。

従来のビッグデータシステムは、分散アーキテクチャでの構造化データ処理要件に対応し、ストレージとコンピューティングで一定のスケーラビリティに到達し、高度な分析手順を採用することができました。 ただし、これらのシステムのアクセシビリティは依然として制限されており、カスタムコーディングから派生しています。

サービスとしてのビッグデータは、高度な分析ツールを使用して、構造化データと非構造化データ（企業が取得するデータの80％が非構造化データ）を処理できるようにします。 さらに、クラウドベースの分散コンピューティングサービスを提供し、スケールアップの可能性だけでなく、ユビキタス可用性とオンデマンドの機会を提供します。 BDaaSは、指定されたドメインベースのアルゴリズムと、分析機能が派生するカスタムコーディングの可能性の両方を提供します。 さらに、仮想化されたクラウドプラットフォームにデータを保存します。

市場とその構成要素に関連して変動するビッグデータの量が企業との関係で増加しているため、起業家は、競争に耐え、勝つために、アクセス可能なBDaaSテクノロジーとサービスを採用できます。 今日のビジネスの成長は、行動のパターンや市場の変化に関する貴重な洞察を得て、これらの特性に適切に対応することに依存しています。 BDaaSテクノロジーを使用することにより、ビジネスを破産させることなくこれらの要件を満たすことができます。 あらゆる場所で出現している新しいものよりもはるかに長い間ビジネスで使用されてきた従来のアプローチと方法をすべて破棄するのは難しいかもしれませんが、進歩的でアクティブなビジネス管理に移行しなければならないという事実は変わりません市場で生き残るために。