Wszystko, co musisz wiedzieć o Big Data jako usłudze (BDaaS)

W ciągu ostatnich kilku lat tradycyjne zarządzanie biznesem i rynkiem zmieniło się radykalnie w stosunku do tradycyjnych sposobów. Nowe podejścia do pozyskiwania, aktywacji i retencji klientów umieściły w pierwszych rzędach informacje o wzorcach zachowań i spostrzeżeniach, które można uzyskać z napływu danych. Poprzez odpowiednią analizę tych właściwości przedsiębiorcy mogą osiągnąć produktywność. Z powodu jej braku przedsiębiorstwa są skazane na pochówek w warunkach rosnącej konkurencji.

Dostępność technologii i jej przytłaczające wykorzystanie w życiu codziennym wpłynęły na masowy wzrost ilości danych dostępnych dla przedsiębiorców. Jednak praktyczne wykorzystanie danych jest uzależnione od umiejętności odpowiedniego ich przechowywania, zarządzania i analizowania. Zanim technologia Big Data as a Service pojawiła się jako wpływowa szansa dla małych firm i organizacji, domeny te były zarezerwowane tylko dla tych, których było na nie stać – czyli wielkich korporacji. Big Data as a Service lub BdaaS umożliwia nowe przewagi konkurencyjne, a także rentowne zarządzanie klientami i rynkiem w celu zapewnienia rozwoju biznesu i jest wysoce dostępna dzięki obniżonym kosztom przetwarzania danych.

Shutterstock.com | ponura gwiazda

W tym artykule przedstawimy ważne informacje, elementy składowe i procesy BdaaS, a także wyzwania, przed którymi stoi w punktach 1) Big Data as a Service – Definiowanie terminu ; 2) Rodzaje BdaaS ; 3) Framework BdaaS, 4) Wymagania dla BdaaS ; 5) Zalety i wady BdaaS oraz 6) Różnice BdaaS w stosunku do tradycyjnego środowiska i Big Data .

BIG DATA JAKO USŁUGA – DEFINIOWANIE POJĘCIA

Big Data as a Service to nowa technologia skoncentrowana na wydajnej i wszechobecnej dostępności konstruktywnego przetwarzania danych. Jest to oparte na chmurze spektrum usług sprzętowych i programowych do przechowywania i analizy zwiększonej ilości różnorodnych informacji, które pojawiły się w ciągu ostatnich kilku lat ze względu na postęp technologiczny i nieodłączną obecność wykorzystania technologii w życiu codziennym (sieci społecznościowe, media online, itp.). Celem technologii BdaaS jest zapewnienie opłacalnych i cennych informacji dla organizacji i małych firm w celu zwiększenia ich konkurencyjności, innowacyjności, a w konsekwencji przychodów.

Składniki BdaaS

• High Functioning Service-Oriented Architecture: Technologia BdaaS zapewnia wysoce funkcjonalną architekturę, która obejmuje infrastrukturę przechowywania dużych zbiorów danych, moduły przetwarzania danych oraz różnorodne narzędzia analityczne, których celem jest zmniejszenie nakładów klienta na zatrudnienie ekspertów programistycznych i analityków danych oraz możliwości ukierunkowanego wykorzystania tych zróżnicowanych warstw zgodnie z konkretnymi potrzebami. Ponadto architektura zorientowana na usługi (SOA) BdaaS wykorzystuje każdą z ww. usług indywidualnie i łączy je w całość – co pozwala na kompleksowe podejście do konkretnych wymagań biznesowych.

• Możliwości wirtualizacji chmury: Wyżej wymienione struktury BdaaS oparte są na chmurze obliczeniowej i skalowalności poziomej. Zasadniczo oznacza to, że dane są przechowywane i przetwarzane na wielu procesorach, które mają określone zadania dotyczące wymaganego wyniku. Skalowalność pozioma pozwala tym oddzielnym jednostkom pracować jako pojedyncza jednostka logiczna i umożliwia wprowadzanie nowych, jeśli ilość danych wzrasta. Z drugiej strony systemy takie jak Hadoop to technologie pamięci masowej typu open source, które działają na zasadzie skalowalności pionowej. Oznacza to, że ulepszają właściwości pojedynczych procesorów w celu zarządzania zwiększonymi ilościami danych (a tym samym są zależne od postępu technologicznego).

• Złożone przetwarzanie sterowane zdarzeniami: Technologia BdaaS umożliwia zarządzanie danymi w trzech modułach – wyjaśniającym, opisowym i predykcyjnym. Dzięki różnym podejściom sortującym i analitycznym klienci mogą uzyskać cenne informacje dotyczące problemów, zagrożeń, szans i możliwości, które można wykorzystać do ogólnego rozwoju firmy. Co więcej, dzięki technikom przetwarzania w czasie rzeczywistym i funkcjom na żądanie system BdaaS jest nie tylko terminowy i dokładny, ale także mniej kosztowny.

• Narzędzia Business Intelligence: Big Data as a Service wykorzystuje oprogramowanie aplikacyjne do raportowania, zapytań, przetwarzania analitycznego online, eksploracji danych i wielu innych elementów w celu przekształcenia surowych (i często nieustrukturyzowanych) danych w konstruktywne informacje dla analizy biznesowej – czyli w informacje, które mogą zwiększyć rzeczywistą efektywność biznesową.

Kluczowe elementy Big Data, które adresuje BdaaS

Prędkość. Velocity of Big Data reprezentuje szybkość fluktuacji danych w systemach. Jest to ważny wymiar zarządzania Big Data, ponieważ wykorzystuje możliwości obliczeniowe w celu generowania informacji o zdarzeniach w czasie rzeczywistym. Odbywa się to za pomocą złożonych aplikacji do przetwarzania zdarzeń. „Dane strumieniowe” wymagają wystarczających możliwości przechowywania — które są zapewniane przez poziomą skalowalność BdaaS, a także zoptymalizowane interwały odpowiedzi — dzięki nowym technologiom, takim jak NoSQL, które pobierają dane w krótszym czasie.

Tom. Wielkość zbiorów danych Big Data może sięgać wielu petabajtów, a zatem wymaga odpowiednich funkcji przetwarzania rozproszonego i skalowalności poziomej. Objętość danych jest pozyskiwana i zarządzana poprzez implementację tysięcy węzłów (pojedynczych jednostek przetwarzania) z równoległymi, ale określonymi zadaniami. Dokładność analizy predykcyjnej i opisowej rośnie proporcjonalnie ze wzrostem liczby jednostek przetwarzających.

Różnorodność. Technologie Big Data as a Service rozszerzyły możliwości przetwarzania, od tylko danych ustrukturyzowanych do danych nieustrukturyzowanych. Aplikacje wykorzystywane przez BdaaS skutecznie wydobywają cenne dane do wykorzystania z większości surowych danych, które zmieniają się w systemach. Właściwe zarządzanie wymiarem różnorodności Big Data skutkuje zwiększonymi wartościami zwrotu z inwestycji w infrastrukturę technologiczną.

Statystyki dotyczące BdaaS

Patrząc na liczby musimy połączyć indywidualne statystyki dotyczące kluczowych elementów budulcowych BdaaS – cloud computing i Big Data. Statystyki wywodzące się z tendencji tych dwóch elementów sugerują ciągły wzrost wykorzystania BdaaS oraz jego mocne włączenie na rynek IT.

• Całkowita ilość napływu danych osiągnięta w ciągu ostatnich pięćdziesięciu lat jest równa ilości napływu danych osiągniętej obecnie w ciągu dwóch dni
• 15% wszystkich inwestycji IT koncentruje się na systemach opartych na chmurze (przy szacowanym wzroście do 35% do 2021 r.)
• 50% danych w organizacjach będzie przechowywanych w systemach chmurowych do 2016 r.
• Przewiduje się, że rynek Big Data osiągnie 17 miliardów dolarów przychodu w ciągu 2015 roku (przy szacowanym wzroście do 88 miliardów dolarów do 2021 roku)
• Rynek Big Data as a Service szacowany jest na 2,55 miliarda dolarów zgodnie z powyższymi przewidywaniami (przy szacowanym wzroście do około 30 miliardów dolarów do 2021 roku)
• Branże o zwiększonym wykorzystaniu Big Data i przetwarzania w chmurze to biznes, finanse, media, handel detaliczny i telekomunikacja.
• Przewiduje się, że do 2016 r. prawie 50% danych w organizacjach będzie przechowywanych w systemach chmurowych.
• Całkowita ilość napływających danych osiągnięta w ciągu ostatnich pięćdziesięciu lat jest równa ilości napływających danych, która jest obecnie osiągana w ciągu dwóch dni.

RODZAJE I WARSTWY BDAAS

Technologia BdaaS wdraża narzędzia i techniki infrastruktury jako usługi (IaaS), platformy jako usługi (PaaS) i oprogramowania jako usługi (SaaS), aby zapewnić pełne przechowywanie i przetwarzanie danych. Co więcej, BdaaS wdraża infrastruktury Hadoop, ale może zwiększyć ich wydajność poprzez włączenie innego oprogramowania zgodnie z potrzebami konkretnego przetwarzania danych. W odniesieniu do tych warstw możemy podzielić BdaaS na cztery typy.

Typy BDaaS

Warstwy

IaaS. W warstwie IaaS użytkownikom oferowane są generyczne infrastruktury do przechowywania danych w środowisku chmury, a także wykorzystanie na żądanie węzłów do przetwarzania danych. Warstwa IaaS zapewnia najwięcej możliwości bezpośredniego wpływu na technologię BdaaS (skalowalność, obliczenia i dostępność nieprzetworzonych danych), ale wymaga biegłości w programowaniu i danych. Platforma pamięci masowej Amazon EC2 to doskonałe oprogramowanie dla usług IaaS.

PaaS. Platforma jako usługa obejmuje podstawową infrastrukturę z tymczasowymi funkcjami dotyczącymi wdrażania aplikacji. Wymaga specjalistycznej wiedzy z zakresu programowania, a do utrzymania warstwy niezbędna jest nauka o danych. Zmniejsza to jednak zaangażowanie klientów w kwestie sprzętu i pamięci masowej, ponieważ opiera się głównie na wirtualnym otoczeniu. Niektóre przykłady warstwy PaaS to Heroku, Google App Engine i Force.com.

SaaS. Warstwa SaaS umożliwia użytkownikom dostęp do aplikacji bez poświęcania czasu i środków finansowych na programowanie, instalację i konserwację oprogramowania bazowego. Usługodawca zajmuje się tymi funkcjami, podczas gdy klient korzysta z aplikacji na żądanie. Jednak klienci nie mogą uzyskać dostępu do warstw infrastruktury i nieprzetworzonych danych z warstwy SaaS.

Rodzaje

Rdzeń BdaaS. Core BdaaS jest dość ogólny i wykorzystuje infrastrukturę, taką jak Hadoop, Google Map Reduce, Spark lub indywidualnie napisane skrypty Java. Wielu użytkowników wybiera infrastrukturę opartą na Hadoop, ponieważ jest to bezpłatne oprogramowanie typu open source. Core BdaaS łączy tę podstawową infrastrukturę z aplikacjami pamięci masowej, takimi jak silniki przetwarzania Amazon S3 lub Hive i NoSQL, takie jak YARN. Kompleksową technologią Core BdaaS jest Elastic MapReduce (EMR) firmy Amazon.

Wydajność BDaaS. Wydajność BdaaS wykorzystuje podstawową infrastrukturę, ale obejmuje tymczasowe wykorzystanie innego oprogramowania i usług sprzętowych (na przykład Altiscale) w celu optymalizacji wydajności do określonych celów – zwiększenie skalowalności i potencjału obliczeniowego przy przewidywalnych kosztach.

Funkcja BdaaS. Funkcjonalność BdaaS ewoluowała w celu udostępnienia możliwości definiowania aplikacji zgodnie z potrzebami poszczególnych zadań. Zasadniczo oznacza to, że podstawowa infrastruktura pozwala na zastosowanie różnego podstawowego oprogramowania w zakresie funkcji – czyli przetwarzanie i przechowywanie danych są niezależne od usługodawcy i dzięki temu mogą być w pełni skalowalne. Na przykład oferty ekosystemu Hadoop są udoskonalane za pomocą oprogramowania IaaS firmy Amazon lub Google.

Zintegrowany BDAaS. Zintegrowany BdaaS nie był jeszcze oferowany, ale teoretycznie składałby się zarówno z wydajności, jak i funkcji BdaaS, aby zapewnić maksymalną wydajność przy jednoczesnym wspieraniu właścicieli firm.

RAMY BDAAS

Framework BdaaS obejmuje różne warstwy w zależności od funkcji, jaką każda z nich pełni w procesie przechowywania, przetwarzania i analizy danych.

Infrastruktura danych. Podstawowa warstwa BdaaS składa się ze sprzętu danych i tysięcy rozproszonych jednostek obliczeniowych (węzłów), które są ze sobą połączone i działają jak szybkie linie sieciowe, przez które przepływają dane. Ta warstwa BdaaS zapewnia zapory ogniowe i system tworzenia kopii zapasowych, aby zapobiec potencjalnej utracie danych. Ponieważ budowa własnej infrastruktury bazodanowej może kosztować ponad 1,5 miliona dolarów na 1000 m2 powierzchni, infrastruktura systemu BdaaS prezentuje się jako najbardziej opłacalne rozwiązanie dla podstawowej architektonicznej sfery przetwarzania danych. Ponadto rentowność wzrasta wraz ze świadomością, że większość firm potrzebuje przetwarzania danych dla określonych informacji w sporadycznych odstępach czasu i osiągałaby ujemny bilans ROI w przypadku każdorazowej budowy nowej bazy danych.

Infrastruktura chmury. Infrastruktura chmury to zwirtualizowana domena, w której powiązane są dane, oprogramowanie i sprzęt. Infrastruktura chmury może być prywatna lub publiczna i może być rezerwowana z wyprzedzeniem na dłuższy okres (na przykład kilka lat), na żądanie (na określony czas, w którym nastąpi konkretne przetwarzanie) lub na miejscu (ta opcja może mieć wpływ na dostępność usługi, ponieważ nie można przewidzieć, ile procesorów zostanie wykorzystanych gdzie indziej). Ta warstwa nie obejmuje dostępu do prezentacji.

Warstwa przechowywania danych. Warstwa przechowywania danych jest wysoce dostępna dla klientów, ponieważ umożliwia bezpośrednie przesyłanie danych do analizy. Ponadto warstwa jest skalowalna poziomo dla wymagań dotyczących objętości, szybkości i różnorodności danych oraz wprowadza nowe węzły zgodnie z zapotrzebowaniem tych czynników, potrzebami poszczególnych branż i celami analizy.

Warstwa obliczeniowa. Warstwa obliczeniowa obejmuje technologie wykonywania usług przetwarzania rozproszonego, takie jak struktury przetwarzania i interfejsy programowania aplikacji (API), których celem jest zarządzanie i manipulowanie danymi zgodnie z wymaganiami i preferencjami klienta (użytkownicy mogą samodzielnie pisać programy, jeśli mają wystarczającą wiedzę w zakresie programowania i analityki danych) w celu konstruktywnego pozyskiwania informacji z Big Data.

Zarządzanie danymi. Warstwa zarządzania danymi podejmuje procedury utrzymania i optymalizacji przetwarzania na platformie chmurowej. Obejmuje to tworzenie kopii zapasowych systemu, wdrożenia i wymagania dotyczące zasobów w celu bezpiecznego przechowywania danych i informacji oraz wysokiej wydajności.

Analiza danych. Warstwa analizy danych jest najwyższym poziomem przetwarzania danych w BdaaS i odpowiada za procedury analityczne dotyczące danych bazowych. Klienci uzyskują dostęp do danych poprzez interfejs WWW i tworzą raporty analityczne i zapytania, które są związane z danymi przekazanymi do warstwy przechowywania. Aby zmaksymalizować wydajność, warstwa ta oferuje kreatory i narzędzia graficzne, które prowadzą użytkowników przez cały proces. Co więcej, ta warstwa stosu BdaaS umożliwia i oferuje niestandardowe podejścia i aplikacje w odniesieniu do specyficznych wymagań branżowych użytkowników. Ze względu na tę cechę warstwy analizy danych, BdaaS okazuje się wysoce wydajnym systemem dla różnorodnych organizacji i przedsiębiorstw – ponieważ możesz wybierać spośród technologii, które będą adresować ważne segmenty Twojej branży (np. w branży finansowej będzie oferować giełdę wykresy, monitorowanie ryzyka oraz narzędzia analityczne i prezentacyjne operacji bankowych.

WYMAGANIA DLA BDAAS

Zarządzanie danymi. Skuteczne zarządzanie danymi może zadecydować o porażce lub sukcesie. Przy przytłaczającym wzroście zarówno danych ustrukturyzowanych, jak i nieustrukturyzowanych (90% aktualnych danych surowych zostało wygenerowanych w ciągu ostatnich dwóch lat) z punktów sprzedaży, zapisów transakcji, a także z mediów, sieci społecznościowych i różnorodnych technik zbierania informacji – które są wdrażane Aby pobudzić zaangażowanie klientów poprzez lepsze zrozumienie ich wzorców zachowań, przedsiębiorstwa muszą sumiennie zarządzać swoimi danymi – kierując się na dane, które mają być analizowane pod kątem ich potrzeb branżowych i biznesowych – tak, aby wydobyć z procesu rzeczywistą wartość i rentowność.

Ochrona danych. Podczas gdy duże organizacje i firmy mają środki na zakup prywatnych platform chmurowych dla swoich przedsiębiorstw, które mogą być korzystne z punktu widzenia bezpieczeństwa, małe firmy nie mogą sobie pozwolić na takie przedsięwzięcia. W celu zapewnienia bezpieczeństwa Twoich danych (i wykluczenia ryzyka manipulacji danymi z zewnątrz) poproś o podział jednostek danych i zadań wykonywanych na oddzielne procesory, których nie można połączyć bez specjalnych uprawnień. Dodatkowo stosuj systemy tworzenia kopii zapasowych danych, które powinny zapobiegać potencjalnej utracie danych.

Strategia danych. Dane, które zamierzasz przetwarzać, powinny być ustrukturyzowane w odniesieniu do warstw BdaaS, za pomocą których będziesz przetwarzać. Jeśli zaprojektujesz strukturę ścieżek, którymi będą się zmieniać dane, zapewnisz konstruktywny proces i wyeliminujesz potencjalne niespójności jeszcze przed uruchomieniem procesu.

Nie skupiaj się wyłącznie na ilości, różnorodności i złożoności danych. Analiza danych powinna służyć ustalonemu zestawowi celów. Nawet procedury analizy predykcyjnej są swego rodzaju strategią (przewidywanie możliwych trendów i przyszłych tendencji). Dlatego powinieneś ustrukturyzować strategię, w ramach której zostaną uwzględnione wyniki analizy danych. Określ krótkoterminowe cele strategii w korelacji z długoterminowymi celami Twojego przedsiębiorstwa. Dodatkowo monitoruj proces od ekstrakcji danych do końcowej analizy, aby uniknąć zbyt abstrakcyjnego zestawu informacji, których nie można zaimplementować we wstępnie zdefiniowanych strategiach, które utworzyłeś.

Nie próbuj wysyłać wszystkich danych do wszystkich naraz. Włączając analizowane dane i informacje pochodzące z procesu do swojej strategii, zaprezentuj je zgodnie z aktualnymi wymaganiami Twojego biznesu. Nie ma potrzeby przekazywać wszystkim wszystkich informacji. Korzystaj z informacji w odpowiednim czasie iz pełną świadomością ich miejsca w obecnych lub przyszłych postępach Twojego przedsiębiorstwa.

ZALETY I WADY BDAAS

Zalety

• Infrastruktura chmury: umożliwia tworzenie instancji infrastruktury IT i określa możliwości infrastruktury nadrzędnej (maszyny wirtualne i/lub sprzęt);
• Przechowywanie danych: Dostęp do surowych danych w pamięci rozproszonej;
• Computing: Elastyczność wynikająca z możliwego dostosowania programowania do manipulacji danymi;
• Zarządzanie danymi: Bezpośredni dostęp do danych i możliwości kompleksowej analizy i modyfikacji danych;
• Analiza danych: Użytkownicy mogą uzyskać dostęp do usług analitycznych bez konieczności zajmowania się danymi lub sferami programowania infrastruktury BdaaS;
• Skalowalność: Właściwe sprostanie wyzwaniom związanym z przetwarzaniem Big Data i niezależność od postępu technologicznego;
• Bezpieczeństwo: Odpowiedzialność za kwestie bezpieczeństwa jest przekazywana dostawcy usług;
• Usługa: Przeniesienie operacji pochłaniających czas i pieniądze oraz rozwój technologii na stronę trzecią.

Niedogodności

• Cloud Infrastructure: Wymóg wiedzy o infrastrukturze – wyzwanie dotyczące wiedzy specjalistycznej;
• Przechowywanie danych: Wymóg wiedzy programistycznej – wyzwanie dotyczące wiedzy specjalistycznej;
• Computing: Wymagania dotyczące wiedzy programistycznej – wyzwanie dotyczące wiedzy specjalistycznej;
• Zarządzanie danymi: Wymóg wiedzy programistycznej – wyzwanie dotyczące wiedzy specjalistycznej;
• Analiza danych: żaden bezpośredni dostęp do danych i usług analitycznych nie jest ograniczony do danych znajdujących się w warstwie analizy danych;
• Bezpieczeństwo: Potencjalna negatywna manipulacja danymi przez podmioty zewnętrzne – może wpłynąć na rozwój biznesu;
• Kwestie związane z ekspertyzą: Jak widać w powyższych parametrach, brak wykwalifikowanej siły roboczej stanowi wyzwanie, które będzie musiało zostać rozwiązane w przyszłym zarządzaniu technologią BdaaS.

RÓŻNICE BDAAS OD TRADYCYJNYCH BIG DATA

Big Data as a Service pojawiła się jako odpowiedź na wyzwania związane z przetwarzaniem dużych zbiorów danych w celu zwiększenia konkurencyjności, produktywności i długowieczności przedsiębiorstwa poprzez wnikliwe wdrażanie cennych informacji. W tej sekcji omówimy, w jaki sposób BdaaS okazuje się bardziej wydajny niż tradycyjne podejścia do przetwarzania Big Data.

Zwiększony napływ obszernych danych w ciągu ostatnich kilku lat miał miejsce, gdy środowisko nie było odpowiednie do ich odpowiedniego zarządzania i wykorzystania. Tradycyjne środowisko było w stanie przetwarzać tylko ustrukturyzowane dane przy użyciu mniej rozwiniętych narzędzi i technik analitycznych. Co więcej, brakowało mu mocy obliczeniowej i możliwości przechowywania dużej ilości różnorodnych danych.

Tradycyjne systemy Big Data mogą sprostać wymogom przetwarzania danych strukturalnych w architekturach rozproszonych i osiągnąć pewną skalowalność w zakresie przechowywania i przetwarzania, a także stosować zaawansowane procedury analityczne. Jednak dostępność tych systemów była nadal ograniczona i wynikała z niestandardowego kodowania.

Big Data as a Service umożliwia przetwarzanie danych ustrukturyzowanych i nieustrukturyzowanych (80% danych pozyskiwanych przez firmy jest nieustrukturyzowanych) za pomocą zaawansowanych narzędzi analitycznych. Ponadto oferuje usługi przetwarzania rozproszonego w chmurze z możliwością skalowania, a także wszechobecną dostępnością i możliwościami na żądanie. BdaaS oferuje zarówno określone algorytmy oparte na domenach, jak i niestandardowe możliwości kodowania, z których wynikają możliwości analityczne. Ponadto przechowuje dane na zwirtualizowanych platformach chmurowych.

Wraz ze wzrostem ilości danych big data, które ulegają fluktuacjom w stosunku do rynku i jego elementów składowych z przedsiębiorstwami, przedsiębiorcy mogą korzystać z dostępnych technologii i usług BdaaS, aby przetrwać i zwyciężyć wśród konkurencji. Rozwój biznesu w dzisiejszych czasach jest uzależniony od uzyskiwania cennych informacji na temat wzorców zachowań, a także zmian na rynku i odpowiedniego reagowania na te właściwości. Korzystając z technologii BDAaS, wymagania te można spełnić bez doprowadzania firmy do bankructwa. Może być trudno odrzucić wszystkie tradycyjne podejścia i metody, które są stosowane w biznesie znacznie dłużej niż te nowe, które pojawiają się na każdym kroku, ale nie zmienia to faktu, że trzeba przejść do postępowego i aktywnego zarządzania biznesem aby przetrwać na rynku.