您需要了解的有關大數據即服務 (BDaaS) 的一切

已發表: 2015-05-07

過去幾年,傳統的業務和市場管理參照傳統方式發生了巨大變化。 獲取、激活和保留客戶的新方法已將有關行為模式和洞察的信息放在前排,這些信息可以從數據湧入中獲得。 通過對這些屬性的正確分析,企業家可以實現生產力。 缺乏它,企業注定在日益激烈的競爭下被埋葬。

技術的可訪問性及其在日常生活中的廣泛使用影響了企業家可用數據量的大量增加。 但是,數據的實際用途取決於對其進行充分存儲、管理和分析的能力。 在大數據即服務技術作為對小型企業和組織有影響力的機會出現之前,這些領域只保留給那些負擔得起的人——即大公司。 大數據即服務或 BDaaS 可實現新的競爭優勢以及對客戶和市場的盈利管理,以確保業務增長,並且由於數據處理工作的成本降低而具有高度可訪問性。

您需要了解的有關大數據即服務 (BDaaS) 的一切

Shutterstock.com | 暗星

在本文中,我們將通過以下部分介紹 BDaaS 的重要信息、組成部分和流程以及它面臨的挑戰:1)大數據即服務 - 定義術語; 2) BDaaS的類型; 3) BDaaS 框架, 4) BDaaS 的要求; 5) BDaaS 的優缺點和 6) BDaaS 相對於傳統環境和大數據的差異

大數據即服務——定義術語

大數據即服務是一種新興技術,專注於建設性數據處理的高效和無處不在的可用性。 它是一種基於雲的硬件和軟件服務範圍,用於存儲和分析過去幾年由於技術進步和日常生活中技術使用(社交網絡、在線媒體、等等。)。 BDaaS 技術的目標是為組織和小型企業提供具有成本效益且有價值的見解,以提高他們的競爭力、創新能力,進而增加收入。

BDaaS的組成部分

  • High Functioning Service-Oriented Architecture: BDaaS技術提供了一個功能強大的架構,包括大數據存儲基礎設施、數據處理模塊和多樣化的分析工具,其目的是減少客戶在僱用編程專家和數據科學家方面的支出以及有針對性的使用機會這些不同的層根據特定的需要。 此外,BDaaS 的面向服務的架構 (SOA) 單獨利用上述每個服務並將它們連接成一個整體——這允許對特定業務需求採取綜合方法。
  • 雲虛擬化能力:上述BDaaS的結構是基於雲計算和水平可擴展性。 從本質上講,這意味著數據在多個處理器上存儲和處理,這些處理器具有與所需結果相關的指定任務。 水平可擴展性使這些獨立的實體能夠作為單個邏輯單元工作,並允許在數據量增加時引入新的實體。 另一方面,Hadoop 等系統是基於垂直可擴展性運行的開源存儲技術。 這意味著它們升級單個處理器的屬性以管理增加的數據量(因此依賴於技術進步)。
  • 複雜的事件驅動處理: BDaaS 技術支持三個模塊中的數據管理——解釋性、描述性和預測性。 通過不同的分類和分析方法,客戶可以獲得有關問題、威脅、機會和可能性的寶貴信息,這些信息可用於整體業務增長。 此外,由於實時處理技術和按需特性,BDaaS系統不僅及時準確,而且成本更低。
  • 商業智能工具:大數據即服務使用應用軟件進行報告、查詢、在線分析處理、數據挖掘和許多其他元素,以便將原始(通常是非結構化)數據轉換為商業智能的建設性信息——即轉化為可以提高實際業務效率的信息。

BDaaS 解決的大數據關鍵要素

速度。 大數據的速度代表了數據在系統中波動的速度。 它是大數據管理的一個重要維度,因為它利用計算能力來生成有關實時事件的信息。 這是通過複雜的事件處理應用程序完成的。 “流數據”需要足夠的存儲能力——BDaaS 的水平可擴展性以及優化的響應間隔確保了這些能力——通過 NoSQL 等新技術在更短的時間內檢索數據。

體積。 大數據數據集的大小可能達到數 PB,因此需要足夠的分佈式計算和水平可擴展性功能。 通過執行具有並行但特定任務的數千個節點(單個處理單元)來獲取和管理數據量。 預測性和描述性分析的準確性隨著處理單元數量的增加而增加。

種類。 大數據即服務技術將處理能力從僅結構化數據擴展到非結構化數據。 BDaaS 使用的應用程序有效地從系統中波動的大部分原始數據中提取有價值的數據以供使用。 對大數據的多樣性維度進行適當的管理會增加技術基礎設施的投資回報率。

BDaaS 統計

在查看數據時,我們必須結合 BDaaS 的關鍵構建塊(雲計算和大數據)的個人統計數據。 從這兩個組成部分的趨勢得出的統計數據意味著 BDaaS 使用量的持續增長以及它在 IT 市場中的牢固整合。

  • 過去五十年的數據湧入總量相當於現在兩天的數據湧入量
  • 15% 的 IT 投資集中在基於雲的系統上(預計到 2021 年將增加到 35%)
  • 到 2016 年,組織中 50% 的數據將存儲在基於雲的系統上
  • 預計 2015 年大數據市場的收入將達到 170 億美元(預計到 2021 年將增至 880 億美元)
  • 根據上述預測,大數據即服務市場價值估計為 25.5 億美元(預計到 2021 年將增加到 300 億美元左右)
  • 大數據和雲計算使用量增加的行業是商業、金融、媒體、零售和電信。
  • 預計到 2016 年,組織中近 50% 的數據將存儲在基於雲的系統上。
  • 過去五十年的數據湧入總量,相當於現在兩天的數據湧入量。

BDAAS 的類型和層次

BDaaS 技術實施基礎設施即服務 (IaaS)、平台即服務 (PaaS) 和軟件即服務 (SaaS) 工具和技術,以提供完整的存儲和分析數據處理。 此外,BDaaS 實現了 Hadoop 基礎架構,但可以根據特定數據處理的需要,通過整合不同的軟件來提升其效率。 參考這些層,我們可以將BDaaS分為四種類型。

BDaaS 類型

BDaaS 類型

圖層

基礎設施即服務。 在 IaaS 層,為用戶提供了用於雲環境中數據存儲的通用基礎設施,以及按需使用節點進行數據處理。 IaaS 層為直接影響 BDaaS 技術(原始數據的可擴展性、計算和可訪問性)提供了最多的機會,但需要熟練的編程和數據技能。 Amazon 的 EC2 存儲平台是適用於 IaaS 屬性的出色軟件。

平台即服務。 平台即服務將基本基礎設施與有關應用程序部署的臨時功能相結合。 它需要編程方面的專業知識,並且需要數據科學來維護該層。 然而,它確實減少了客戶在硬件和存儲方面的參與,因為它主要基於虛擬環境。 PaaS 層的一些示例是 Heroku、Google App Engine 和 Force.com。

軟件即服務。 SaaS 層使用戶能夠訪問應用程序,而無需在底層軟件的編程、安裝和維護上花費時間和資金。 當客戶按需使用應用程序時,服務提供商處理這些功能。 但是,客戶無法從 SaaS 層訪問基礎設施層和原始數據。

類型

核心BDaaS。 核心 BDaaS 是相當通用的,並使用諸如 Hadoop、Google 的 Map Reduce、Spark 或單獨編寫的 Java 腳本等基礎設施。 許多用戶選擇基於 Hadoop 的基礎設施,因為它是免費的開源軟件。 核心 BDaaS 將這種基本基礎設施與存儲應用程序(如 Amazon 的 S3 或 Hive)和 NoSQL 處理引擎(如 YARN)相結合。 一項全面的核心 BDaaS 技術是 Amazon 的 Elastic MapReduce (EMR)。

性能 BDaaS。 性能 BDaaS 使用基本基礎設施,但包括臨時使用其他軟件和硬件(例如 Altiscale)服務,以便針對特定目的優化性能——以可預測的成本提高可擴展性和計算潛力。

功能BDaaS。 功能 BDaaS 的發展是為了根據特定任務的需要提供應用程序定義的可能性。 從本質上講,這意味著基礎架構允許使用不同的基礎軟件,即計算和存儲獨立於服務提供商,因此可以完全擴展。 例如,Hadoop 生態系統產品使用亞馬遜或谷歌的 IaaS 軟件進行了改進。

集成BDaaS。 集成 BDaaS 尚未提供,但理論上它將包含性能和功能 BDaaS,以便在支持企業主的同時實現最大性能。

BDAAS 框架

BDaaS 框架根據每個層在數據存儲、計算和分析過程中所執行的功能合併了不同的層。

BDAAS 數據基礎設施。 BDaaS 的主要層包括數據硬件和數以千計的分佈式計算單元(節點),它們相互連接並作為數據波動的高速網絡線路執行。 這層BDaaS提供防火牆和備份系統,以防止潛在的數據丟失。 由於為 1000 平方米的空間構建您自己的數據庫基礎設施可能需要超過 150 萬美元的支出,因此 BDaaS 系統的基礎設施本身就是數據處理主要架構領域最有利可圖的解決方案。 此外,隨著意識到大多數企業需要以零星的時間間隔對特定信息進行數據處理,並且在每次構建新數據庫的情況下都會達到負的 ROI 平衡,盈利能力會增加。

雲基礎設施。 雲基礎設施是數據、軟件和硬件相互關聯的虛擬化域。 雲基礎設施可以是私有的,也可以是公共的,並且可以提前更長時間(例如幾年)、按需(在特定時間段內進行特定處理)或現場(此選項可以有服務可用性的影響,因為您無法預測其他地方將使用多少處理器)。 該層不包括表示訪問。

數據存儲層。 數據存儲層對客戶來說是高度可訪問的,因為它可以直接上傳數據進行分析。 此外,該層可針對數據量、速度和多樣性的要求進行水平擴展,並根據這些因素的需求以及特定行業的需求和分析目標引入新節點。

計算層。 計算層包括用於執行分佈式計算服務的技術,例如處理框架和應用程序編程接口 (API),其目標是根據需求和客戶的喜好管理和操作數據(如果有足夠的編程專業知識,用戶可以自己編寫程序和數據分析),目的是從大數據中獲取建設性信息。

數據管理。 數據管理層通過雲平台承擔維護和處理優化的程序。 這包括系統備份、部署和資源需求,目的是保護數據和信息並提高效率。

數據分析。 數據分析層是BDaaS中數據處理的最高層,負責對底層數據進行分析處理。 客戶通過 Web 界面訪問數據,並創建與提交到存儲層的數據相關的分析報告和查詢。 為了最大限度地提高性能,該層提供了嚮導和圖形工具來指導用戶完成整個過程。 此外,BDaaS 堆棧的這一層支持並提供參考用戶特定行業需求的定制方法和應用程序。 由於數據分析層的這一特性,BDaaS 被證明是適用於不同組織和企業的高效系統——因為您可以選擇解決您所在行業重要部分的技術(例如,在金融行業,它將提供證券交易所圖表、風險監控和銀行業務分析和演示工具。

BDAAS 的要求

數據治理。 有效的數據治理可以區分失敗和成功。 隨著來自銷售點、交易記錄以及媒體、社交網絡和各種信息收集技術的結構化和非結構化數據(90% 的當前原始數據是在過去兩年中生成的)的大量增加——這些技術已經實施為了通過更好地了解客戶的行為模式來促進客戶參與,企業必須認真管理他們的數據——針對要針對其行業和業務需求進行分析的數據——以便從流程中提取實際價值和盈利能力。

數據安全。 雖然大型組織和公司有辦法為他們的企業購買私有云平台,這可能對安全問題有益,但小型企業卻負擔不起這樣的努力。 為確保您的數據安全(並排除外部數據操縱的風險),要求將數據單元和跨獨立處理器承擔的任務進行劃分,未經特殊許可無法連接。 此外,應採用數據備份系統,以防止潛在的數據丟失。

數據策略。 您打算處理的數據應參照 BDaaS 層進行結構化,數據將通過這些層進行計算。 如果您設計數據波動的路徑結構,您將確保一個建設性的流程,甚至在流程啟動之前就消除潛在的不一致。

不要只關注數據的數量、種類和復雜性。 數據分析應該服務於一組預定義的目標。 甚至預測分析程序也是一種策略(預測可能的趨勢和未來趨勢)。 因此,您應該構建一個策略,將數據分析的結果納入其中。 確定與企業長期目標相關的戰略的短期目標。 此外,監控從數據提取到最終分析的過程,以避免在您創建的預定義策略中無法實施的過於抽象的信息集。

不要試圖一次性將所有數據發送給所有人。 當您將來自流程的分析數據和信息整合到您的戰略中時,請根據您當前的業務需求呈現它。 沒有必要將所有信息都閃現給每個人。 及時使用信息並全面了解其在企業當前或未來發展中的位置。

BDAAS 的優缺點

好處

  • 雲基礎設施:實現 IT 基礎設施的實例化並確定覆蓋基礎設施(虛擬機和/或硬件)的能力;
  • 數據存儲:訪問分佈式存儲中的原始數據;
  • 計算:由於數據操作可能的定制編程而產生的靈活性;
  • 數據管理:直接訪問數據和復雜數據分析和修改的可能性;
  • 數據分析:用戶無需處理BDaaS基礎設施的數據或編程領域即可訪問分析服務;
  • 可擴展性:正確解決大數據處理方面的挑戰,不依賴於技術進步;
  • 安全性:安全問題的責任轉移給服務提供者;
  • 服務:將耗費時間和資金的運營和技術開發轉移給第三方。

缺點

  • 雲基礎設施:基礎設施知識要求——專業知識挑戰;
  • 數據存儲:編程知識要求——專業知識挑戰;
  • 計算:編程知識要求——專業知識挑戰;
  • 數據管理:編程知識要求——專業知識的挑戰;
  • 數據分析:不能直接訪問數據,分析服務僅限於數據分析層中的數據;
  • 安全性:外部各方對數據的潛在負面操縱——可能影響業務增長;
  • 專業知識問題:從上述參數中可以看出,缺乏熟練勞動力是未來 BDaaS 技術管理中必須解決的挑戰。

BDAAS 與傳統大數據的區別

大數據即服務是應對大數據處理挑戰的一種解決方案,旨在通過有價值信息的有見地實施來提高企業競爭力、生產力和壽命。 在本節中,我們將討論 BDaaS 被證明比傳統的大數據處理方法更有效的方式。

過去幾年,大量數據湧入增加,而環境不適合對其進行充分管理和利用。 傳統環境只能使用不太發達的分析工具和技術處理結構化數據。 此外,它缺乏大量不同數據的計算能力和存儲能力。

傳統的大數據系統可以解決分佈式架構上的結構化數據處理需求,在存儲和計算方面達到一定的可擴展性,並採用先進的分析程序。 但是,這些系統的可訪問性仍然受到限制,並且源自自定義編碼。

大數據即服務可以使用先進的分析工具處理結構化和非結構化數據(公司獲得的數據中有 80% 是非結構化的)。 此外,它提供基於雲的分佈式計算服務,具有擴展的可能性以及無處不在的可用性和按需機會。 BDaaS 提供指定的基於域的算法和自定義編碼的可能性,分析能力來源於此。 此外,它將數據存儲在虛擬化雲平台上。

隨著大數據量隨著市場及其與企業組成部分的波動而增加,企業家可以採用可訪問的 BDaaS 技術和服務,以便在競爭中生存和獲勝。 如今,業務增長依賴於對行為模式、市場變化以及對這些特性做出適當反應的寶貴見解。 通過使用 BDaaS 技術,可以在不使您的企業破產的情況下滿足這些要求。 與在各個角落出現的新方法相比,很難拋棄所有在業務中使用時間更長的傳統方法和方法,但這並不能改變您必須轉變為漸進式和積極的業務管理的事實為了在市場上生存。