Tot ce trebuie să știți despre Big Data ca serviciu (BDaaS)

În ultimii ani, managementul tradițional al afacerilor și al pieței s-au schimbat dramatic în raport cu modalitățile tradiționale. Noile abordări către achiziționarea, activarea și păstrarea clienților au pus informații despre tiparele comportamentale și perspectivele care pot fi derivate din fluxul de date din primele rânduri. Prin analiza adecvată a acestor proprietăți, antreprenorii pot realiza productivitate. În lipsa acesteia, întreprinderile sunt destinate înmormântării sub concurența crescândă.

Accesibilitatea tehnologiei și utilizarea copleșitoare a acesteia în viața de zi cu zi au influențat creșterea masivă a cantităților de date disponibile pentru antreprenori. Cu toate acestea, utilizarea practică a datelor depinde de capacitatea de a le stoca, gestiona și analiza în mod adecvat. Înainte ca tehnologia Big Data ca serviciu să apară ca o oportunitate influentă pentru întreprinderile și organizațiile mici, aceste domenii erau rezervate numai celor care își puteau permite - adică marilor corporații. Big Data ca serviciu sau BDaaS permite noi avantaje competitive, precum și gestionarea profitabilă a clienților și a pieței pentru a asigura creșterea afacerii și este extrem de accesibilă datorită costurilor reduse ale eforturilor de prelucrare a datelor.

Shutterstock.com | bleakstar

În acest articol vom prezenta informații importante, elemente constitutive și procese ale BDaaS, precum și provocări cu care se confruntă prin secțiunile 1) Big Data ca serviciu - Definirea termenului ; 2) Tipuri de BDaaS ; 3) Cadru BDaaS, 4) Cerințe pentru BDaaS ; 5) Avantajele și dezavantajele BDaaS și 6) Diferențele BDaaS în raport cu mediul tradițional și Big Data .

DATE MARI CA SERVICIU - DEFINIREA TERMENULUI

Big Data ca serviciu este o tehnologie emergentă axată pe disponibilitatea eficientă și omniprezentă a procesării constructive a datelor. Este un spectru bazat pe cloud de servicii hardware și software pentru stocarea și analiza cantităților crescute de informații diverse care au apărut în ultimii ani datorită progreselor tehnologice și prezenței intrinseci a utilizării tehnologiei în viața de zi cu zi (rețele sociale, mass-media online, etc.). Scopul tehnologiei BDaaS este de a oferi informații rentabile și valoroase pentru organizații și întreprinderi mici, pentru a le crește competitivitatea, inovația și, în consecință, veniturile.

Ingrediente ale BDaaS

• Arhitectură orientată spre servicii de înaltă funcționare: tehnologia BDaaS oferă o arhitectură extrem de funcțională, care include o infrastructură de stocare a datelor mari, module de procesare a datelor și diverse instrumente analitice al căror scop este de a reduce cheltuielile clienților pentru angajarea experților în programare și a oamenilor de știință a datelor, precum și oportunități pentru o utilizare țintită dintre aceste straturi diverse în funcție de nevoi specifice. Mai mult, arhitectura orientată spre servicii (SOA) a BDaaS valorifică fiecare dintre serviciile menționate mai sus individual, precum și le conectează într-un întreg - ceea ce permite o abordare cuprinzătoare a cerințelor specifice de afaceri.

• Capabilități de virtualizare în cloud: Structurile menționate mai sus ale BDaaS se bazează pe cloud-computing și pe scalabilitate orizontală. În esență, aceasta înseamnă că datele sunt stocate și procesate pe mai multe procesoare care au sarcini specificate în ceea ce privește rezultatul necesar. Scalabilitatea orizontală permite acestor entități separate să funcționeze ca o singură unitate logică și permite introducerea altora noi dacă crește cantitatea de date. Pe de altă parte, sistemele precum Hadoop sunt tehnologii de stocare open-source care funcționează pe bază de scalabilitate verticală. Aceasta înseamnă că actualizează proprietățile unor procesoare individuale pentru a gestiona cantități crescute de date (și, prin urmare, sunt dependente de avansurile tehnologice).

• Procesare complexă bazată pe evenimente: tehnologia BDaaS permite gestionarea datelor în trei module - explicative, descriptive și predictive. Prin diferite abordări de sortare și analitice, clienții pot obține informații valoroase cu privire la probleme, amenințări, oportunități și posibilități care pot fi utilizate pentru dezvoltarea globală a afacerii. Mai mult, datorită tehnicilor de procesare în timp real și a funcțiilor la cerere, sistemul BDaaS nu este doar oportun și precis, ci și mai puțin costisitor.

• Business Intelligence Tools: Big Data as a Service folosește aplicații software pentru raportare, interogare, procesare analitică online, extragere de date și numeroase alte elemente pentru a transforma date brute (și frecvent nestructurate) în informații constructive pentru business intelligence - adică în informații care pot spori eficiența reală a afacerii.

Elemente cheie ale Big Data pe care BDaaS le adresează

Viteză. Viteza Big Data reprezintă viteza fluctuației datelor prin sisteme. Este o dimensiune importantă a managementului Big Data, deoarece utilizează abilitățile de calcul pentru a genera informații cu privire la evenimentele în timp real. Acest lucru se face prin aplicații complexe de procesare a evenimentelor. „Streamingul de date” necesită suficiente capacități de stocare - care sunt asigurate de scalabilitatea orizontală a BDaaS, precum și de intervale de răspuns optimizate - prin noi tehnologii, cum ar fi NoSQL, care recuperează date într-un timp mai mic.

Volum. Dimensiunea seturilor de date Big Data se poate ridica la mai mulți petabyți și, prin urmare, necesită caracteristici de calcul distribuite adecvate și scalabilitate orizontală. Volumul de date este obținut și gestionat prin implementarea a mii de noduri (unități de procesare individuale) cu sarcini paralele, dar particulare. Acuratețea analizei predictive și descriptive crește proporțional cu numărul crescut de unități de procesare.

Varietate. Tehnologiile Big Data ca serviciu au extins abilitățile de procesare de la doar date structurate la date nestructurate. Aplicațiile utilizate de BDaaS extrag efectiv date valoroase pentru utilizare din majoritatea datelor brute care fluctuează prin sisteme. Gestionarea corectă a dimensiunii varietății Big Data are ca rezultat creșterea cifrelor de rentabilitate a investiției în ceea ce privește infrastructura tehnologică.

Statistici despre BDaaS

Când ne uităm la cifre, trebuie să combinăm statistici individuale despre elementele cheie ale BDaaS - cloud computing și Big Data. Statisticile derivate din tendințele acestor doi constituenți implică o creștere continuă a utilizării BDaaS, precum și încorporarea sa fermă pe piața IT.

• Cantitatea totală de flux de date realizată în ultimii cincizeci de ani este egală cu cantitatea de flux de date care se realizează în două zile în zilele noastre
• 15% din toate investițiile IT se concentrează pe sistemele bazate pe cloud (cu creșterea estimată la 35% până în 2021)
• 50% din datele din organizații vor fi stocate pe sisteme bazate pe cloud până în 2016
• Se anticipează că piața Big Data va atinge venituri de 17 miliarde de dolari în cursul anului 2015 (cu creșterea estimată la 88 de miliarde de dolari până în 2021)
• Piața Big Data ca serviciu este estimată la 2,55 miliarde de dolari în conformitate cu previziunile menționate mai sus (cu creșterea estimată la aproximativ 30 de miliarde de dolari până în 2021)
• Industriile cu utilizare crescută a Big Data și cloud computing sunt afaceri, finanțe, mass-media, retail și telecomunicații.
• Se estimează că aproape 50% din datele din organizații vor fi stocate pe sisteme bazate pe cloud până în 2016.
• Cantitatea totală de flux de date realizată în ultimii cincizeci de ani este egală cu cantitatea de flux de date care se realizează în două zile în zilele noastre.

TIPURI ȘI STRATURI DE BDAAS

Tehnologia BDaaS implementează instrumentele și tehnicile Infrastructure as a Service (IaaS), Platform as a Service (PaaS) și Software as a Service (SaaS) pentru a oferi procesare completă a datelor de stocare și analiză. Mai mult, BDaaS implementează infrastructuri Hadoop, dar le poate îmbunătăți eficiența prin încorporarea diferitelor programe software în funcție de necesitățile unei prelucrări speciale a datelor. Cu referire la aceste straturi, putem împărți BDaaS în patru tipuri.

Tipuri BDaaS

Straturi

IaaS. În stratul IaaS, utilizatorilor li se oferă infrastructuri generice pentru stocarea datelor în mediul cloud, precum și utilizarea la cerere a nodurilor pentru procesarea datelor. Stratul IaaS oferă cele mai multe oportunități de influență directă asupra tehnologiei BDaaS (scalabilitate, calcul și accesibilitatea datelor brute), dar necesită abilități de programare și date competente. Platforma de stocare Amazon EC2 este un software excelent pentru proprietățile IaaS.

PaaS. Platforma ca serviciu încorporează infrastructura de bază cu caracteristici provizorii privind implementarea aplicației. Necesită expertiză în programare și știința datelor este necesară pentru menținerea stratului. Cu toate acestea, reduce implicarea clienților în probleme de hardware și stocare, deoarece se bazează în principal în medii virtuale. Câteva exemple de strat PaaS sunt Heroku, Google App Engine și Force.com.

SaaS. Stratul SaaS permite utilizatorilor să acceseze aplicații fără a cheltui timp și finanțări în programarea, instalarea și întreținerea software-ului de bază. Furnizorul de servicii se ocupă de aceste caracteristici în timp ce clientul folosește aplicații la cerere. Cu toate acestea, clienții nu pot accesa straturile de infrastructură și datele brute din stratul SaaS.

Tipuri

Core BDaaS. Core BDaaS este considerabil generic și folosește infrastructuri precum Hadoop, Google Map Reduce, Spark sau scripturi Java scrise individual. Mulți utilizatori optează pentru infrastructuri bazate pe Hadoop, deoarece este un software open source gratuit. Core BDaaS combină această infrastructură de bază cu aplicații de stocare precum Amazon S3 sau Hive și motoare de procesare NoSQL precum YARN. O tehnologie cuprinzătoare de bază BDaaS este Elastic MapReduce (EMR) Amazon.

Performanță BDaaS. Performanță BDaaS utilizează infrastructura de bază, dar include utilizarea provizorie a altor servicii software și hardware (de exemplu, Altiscale) pentru a optimiza performanța în scopuri specifice - creșterea scalabilității și a potențialului de calcul la costuri previzibile.

Caracteristică BDaaS. Caracteristica BDaaS a evoluat pentru a oferi posibilități de definire a aplicației în funcție de necesitățile anumitor sarcini. În esență, acest lucru înseamnă că infrastructura de bază permite utilizarea diferitelor software de bază cu privire la caracteristici - adică calculul și stocarea sunt independente de furnizorul de servicii și pot fi astfel complet scalabile. De exemplu, ofertele ecosistemului Hadoop sunt rafinate cu software-ul IaaS Amazon sau Google.

BDaaS integrat. BDaaS integrat nu a fost încă oferit, dar teoretic ar cuprinde atât performanță, cât și caracteristică BDaaS, astfel încât să permită performanțe maxime, sprijinind în același timp proprietarii de afaceri.

CADRU BDAAS

Cadrul BDaaS încorporează diferite straturi în funcție de funcția pe care fiecare o îndeplinește în procesul de stocare a datelor, calcul și analiză.

Infrastructură de date. Stratul principal al BDaaS cuprinde hardware de date și mii de unități de calcul distribuite (noduri) care sunt toate interconectate și funcționează ca linii de rețea de mare viteză prin care datele fluctuează. Acest strat de BDaaS oferă firewall-uri și sistem de backup pentru a preveni pierderea potențială a datelor. Deoarece construirea propriei infrastructuri de baze de date se poate ridica la cheltuieli de peste 1,5 milioane de dolari pentru 1000 de metri pătrați de spațiu, infrastructura sistemului BDaaS se prezintă ca cea mai profitabilă soluție pentru sfera arhitecturală primară a procesării datelor. În plus, profitabilitatea crește odată cu conștientizarea faptului că majoritatea întreprinderilor au nevoie de prelucrarea datelor pentru informații specifice la intervale sporadice și ar atinge un sold negativ al rentabilității investiției în cazul construirii de fiecare dată a unei noi baze de date.

Infrastructură în cloud. Infrastructura cloud este domeniul virtualizat pe care se interacționează datele, software-ul și hardware-ul. Infrastructura cloud poate fi privată sau publică și poate fi rezervată în avans pentru o perioadă mai lungă (de exemplu, câțiva ani), la cerere (pentru o anumită perioadă de timp în care va avea loc o anumită prelucrare) sau la fața locului (această opțiune poate avea impact asupra disponibilității serviciului, deoarece nu puteți prevedea cât de mulți procesoare vor fi angajați în altă parte). Acest strat nu include accesul la prezentare.

Strat de stocare a datelor. Stratul de stocare a datelor este extrem de accesibil pentru clienți, deoarece permite încărcarea directă a datelor pentru analiză. Mai mult, stratul este orizontal scalabil pentru cerințele de volum de date, viteză și varietate și introduce noi noduri în funcție de cererea acestor factori, precum și de nevoile anumitor industrii și obiectivele analizei.

Strat de calcul. Stratul de calcul cuprinde tehnologii pentru realizarea serviciilor de calcul distribuite, cum ar fi cadrele de procesare și interfețele de programare a aplicațiilor (API) al căror obiectiv este de a gestiona și manipula datele în funcție de cerințe și preferințele clientului (utilizatorii pot scrie singuri programe dacă există suficientă expertiză în programare și analiza datelor) cu obiectivul derivării de informații constructive din Big Data.

Management de date. Stratul de gestionare a datelor efectuează proceduri de întreținere și optimizare a procesării pe platforma cloud. Aceasta include backup-uri de sistem, implementări și cerințe de resurse cu obiectivul de păstrare în siguranță a datelor și informațiilor, precum și eficiență ridicată.

Analiza datelor. Stratul de analiză a datelor este cel mai înalt nivel de procesare a datelor în BDaaS și este responsabil de procedurile analitice privind datele subiacente. Clienții accesează datele printr-o interfață web și creează rapoarte analitice și interogări care sunt legate de datele transmise stratului de stocare. Pentru a maximiza performanța, acest strat oferă vrăjitori și instrumente grafice care ghidează utilizatorii prin proces. Mai mult, acest strat al stivei BDaaS permite și oferă abordări și aplicații personalizate cu referire la cerințele specifice ale utilizatorilor din industrie. Datorită acestei caracteristici a stratului de analiză a datelor, BDaaS se dovedește a fi un sistem extrem de productiv pentru diverse organizații și întreprinderi - deoarece puteți alege dintre tehnologii care se vor adresa unor segmente importante ale industriei dvs. (de exemplu, în industria financiară, va oferi bursă de valori grafice, monitorizarea riscurilor și instrumentele analitice și de prezentare a operațiunilor bancare.

CERINȚE PENTRU BDAAS

Guvernarea datelor. O guvernanță eficientă a datelor poate face diferența între eșec și succes. Odată cu creșterea copleșitoare atât a datelor structurate, cât și a celor nestructurate (90% din datele brute actuale au fost generate în ultimii doi ani) din punctele de vânzare, înregistrările tranzacțiilor, precum și din mass-media, rețelele sociale și diverse tehnici de colectare a informațiilor - care sunt implementate pentru a stimula implicarea clienților printr-o mai bună înțelegere a tiparelor lor de comportament, întreprinderile trebuie să își guverneze datele conștient - direcționând datele care urmează să fie analizate în funcție de necesitățile lor din industrie și afaceri - pentru a extrage valoarea reală și profitabilitatea din proces.

Securitatea datelor. În timp ce organizațiile și companiile mari au mijloacele de a achiziționa platforme cloud private pentru întreprinderile lor care pot fi benefice pentru probleme de securitate, întreprinderile mici nu își pot permite astfel de eforturi. Pentru a asigura siguranța datelor dvs. (și a exclude riscurile de manipulare a datelor externe) solicitați o împărțire a unităților de date și sarcini întreprinse între procesoare separate care nu pot fi conectate fără permisiuni speciale. În plus, utilizați sisteme de backup de date care ar trebui să prevină pierderea potențială a datelor.

Strategia de date. Datele pe care intenționați să le prelucrați ar trebui să fie structurate cu referire la straturile BDaaS prin care vor fi calculate. Dacă proiectați o structură de căi prin care datele vor fluctua, veți asigura un proces constructiv și veți elimina eventualele neconcordanțe chiar înainte ca procesul să fie pus în mișcare.

Nu vă concentrați exclusiv pe volumul, varietatea și complexitatea datelor. Analiza datelor ar trebui să servească un set predefinit de obiective. Chiar și procedurile de analiză predictivă sunt o strategie de acest fel (anticiparea tendințelor posibile și a tendințelor viitoare). Prin urmare, ar trebui să structurați o strategie în cadrul căreia vor fi încorporate rezultatele analizei datelor. Stabiliți obiectivele pe termen scurt ale strategiei în corelație cu obiectivele pe termen lung ale întreprinderii dvs. În plus, monitorizați procesul de la extragerea datelor până la analiza finală pentru a evita setul excesiv de abstract de informații care nu poate fi implementat în strategiile predefinite pe care le-ați creat.

Nu încercați să transmiteți toate datele simultan tuturor. Pe măsură ce încorporați datele și informațiile analizate care derivă din proces în strategia dvs., prezentați-le în conformitate cu cerințele actuale ale afacerii dvs. Nu este nevoie să transmiteți toate informațiile tuturor. Folosiți informațiile în timp util și cu o conștientizare cuprinzătoare a locului în cadrul progreselor actuale sau viitoare ale întreprinderii dvs.

AVANTAJE ȘI DEzavantaje ale BDAAS

Avantaje

• Cloud Infrastructure: Permite instanțierea infrastructurii IT și determină capacitățile infrastructurii suprapuse (mașini virtuale și / sau hardware);
• Stocare date: acces la date brute în stocare distribuită;
• Calcul: flexibilitate care rezultă din posibila programare personalizată pentru manipularea datelor;
• Managementul datelor: acces direct la date și posibilități de analiză și modificare complexă a datelor;
• Analiza datelor: utilizatorii pot accesa serviciile de analiză fără a fi nevoie să se ocupe de date sau de sferele de programare ale infrastructurilor BDaaS;
• Scalabilitate: abordarea corectă a provocărilor legate de prelucrarea Big Data și care nu depind de progresele tehnologice;
• Securitate: Responsabilitatea pentru probleme de securitate este transmisă furnizorului de servicii;
• Serviciu: Transferul operațiunilor consumatoare de timp și finanțare și dezvoltarea tehnologiei către o terță parte.

Dezavantaje

• Cloud Infrastructure: Cerințe de cunoaștere a infrastructurii - provocare în ceea ce privește expertiza;
• Stocarea datelor: Cerințe de cunoștințe de programare - provocare în ceea ce privește expertiza;
• Calcul: Cerințe de programare a cunoștințelor - provocare în ceea ce privește expertiza;
• Managementul datelor: Cerințe de cunoștințe de programare - provocare în ceea ce privește expertiza;
• Analiza datelor: nu există acces direct la date și servicii de analiză la datele care se află în stratul de analiză a datelor;
• Securitate: potențiale manipulări negative ale datelor de către părți externe - pot influența creșterea afacerii;
• Probleme de expertiză: După cum se poate vedea în parametrii menționați mai sus, lipsa forței de muncă calificate prezintă o provocare care va trebui abordată în viitorul management al tehnologiei BDaaS.

DIFERENȚELE BDAAS LA DATE MARI TRADIȚIONALE

Big Data ca serviciu a apărut ca un răspuns la provocările legate de prelucrarea datelor mari, în scopul creșterii competitivității, productivității și longevității întreprinderii, prin implementarea inteligentă a informațiilor valoroase. În această secțiune, vom discuta modalitățile prin care BDaaS se dovedește a fi mai eficient decât abordările tradiționale ale procesării Big Data.

Un aflux crescut de date voluminoase în ultimii ani a avut loc în timp ce mediul nu era potrivit pentru gestionarea și utilizarea adecvată a acestuia. Mediul tradițional era capabil să proceseze doar date structurate cu instrumente și tehnici analitice mai puțin dezvoltate. Mai mult, nu avea putere de calcul și capacități de stocare pentru cantități mari de date diverse.

Sistemele tradiționale Big Data ar putea aborda cerințele structurate de procesare a datelor pentru arhitecturi distribuite și au atins o anumită scalabilitate în stocare și calcul, precum și au folosit proceduri analitice avansate. Cu toate acestea, accesibilitatea acestor sisteme era încă limitată și derivată din codificarea personalizată.

Big Data ca serviciu permite prelucrarea datelor structurate și nestructurate (80% din datele obținute de companii sunt nestructurate) cu instrumente analitice avansate. Mai mult, oferă servicii de calcul distribuite bazate pe cloud, cu posibilități de extindere, precum și disponibilitate omniprezentă și oportunități la cerere. BDaaS oferă atât algoritmi specifici pe bază de domeniu, cât și posibilități de codificare personalizate din care derivă capacitatea analitică. Mai departe, stochează date pe platforme cloud virtualizate.

Odată cu creșterea cantității de date mari care fluctuează în raport cu piața și componentele sale cu întreprinderile, antreprenorii pot utiliza tehnologii și servicii BDaaS accesibile pentru a rezista și a prevala în rândul concurenței. În prezent, creșterea afacerii depinde de obținerea unor informații valoroase asupra tiparelor de comportament, precum și de schimbările de pe piață și de reacția adecvată la aceste proprietăți. Prin utilizarea tehnologiei BDaaS, aceste cerințe pot fi îndeplinite fără a vă conduce afacerea în faliment. Poate fi greu să renunți la toate abordările și metodele tradiționale care au fost utilizate în afaceri de mult mai mult decât cele noi care apar în fiecare colț, dar nu schimbă faptul că trebuie să te transferi în managementul activ și progresiv al afacerii pentru a supraviețui pe piață.