Все, что вам нужно знать о больших данных как услуге (BDaaS)

За последние несколько лет традиционное управление бизнесом и рынком кардинально изменилось по сравнению с традиционными способами. Новые подходы к привлечению, активации и удержанию клиентов позволили получить информацию о поведенческих моделях и выводах, которые могут быть получены из притока данных в первые ряды. Путем правильного анализа этих свойств предприниматели могут достичь производительности. Из-за его отсутствия предприятия обречены на захоронение в условиях возрастающей конкуренции.

Доступность технологий и их повсеместное использование в повседневной жизни повлияли на резкое увеличение объемов данных, доступных предпринимателям. Однако практическое использование данных зависит от способности их адекватно хранить, управлять и анализировать. До того, как технология «большие данные как услуга» стала влиятельной возможностью для малых предприятий и организаций, эти домены были зарезервированы только для тех, кто мог их себе позволить, то есть для крупных корпораций. Большие данные как услуга или BDaaS обеспечивают новые конкурентные преимущества, а также выгодное управление клиентами и рынком для обеспечения роста бизнеса и являются очень доступными благодаря снижению затрат на обработку данных.

Shutterstock.com | мрачная звезда

В этой статье мы представим важную информацию, составляющие и процессы BDaaS, а также проблемы, с которыми он сталкивается в разделах 1) Большие данные как услуга - определение термина ; 2) Типы BDaaS ; 3) BDaaS Framework, 4) Требования для BDaaS ; 5) Преимущества и недостатки BDaaS и 6) Отличия BDaaS по сравнению с традиционной средой и большими данными .

БОЛЬШИЕ ДАННЫЕ КАК УСЛУГА - ОПРЕДЕЛЕНИЕ СРОКА

Большие данные как услуга - это новая технология, ориентированная на эффективную и повсеместную конструктивную обработку данных. Это облачный спектр аппаратных и программных услуг для хранения и анализа увеличивающихся объемов разнообразной информации, появившихся за последние несколько лет благодаря технологическим достижениям и естественному использованию технологий в повседневной жизни (социальные сети, онлайн-медиа, так далее.). Цель технологии BDaaS - предоставить экономически эффективную и ценную информацию для организаций и малых предприятий с целью повышения их конкурентоспособности, инноваций и, следовательно, доходов.

Состав BDaaS

• Высокофункциональная сервис-ориентированная архитектура: технология BDaaS обеспечивает высокофункциональную архитектуру, которая включает в себя инфраструктуру хранения больших данных, модули обработки данных и разнообразные аналитические инструменты, целью которых является сокращение расходов клиентов на привлечение специалистов по программированию и специалистов по обработке данных, а также возможности для целевого использования. этих различных слоев в соответствии с конкретными потребностями. Более того, сервис-ориентированная архитектура (SOA) BDaaS использует каждый из вышеупомянутых сервисов по отдельности, а также объединяет их в единое целое, что позволяет комплексно подходить к конкретным бизнес-требованиям.

• Возможности облачной виртуализации . Вышеупомянутые структуры BDaaS основаны на облачных вычислениях и горизонтальной масштабируемости. По сути, это означает, что данные хранятся и обрабатываются несколькими процессорами, которые задали задачи в отношении требуемого результата. Горизонтальная масштабируемость позволяет этим отдельным объектам работать как единое логическое устройство и позволяет вводить новые, если объем данных увеличивается. С другой стороны, такие системы, как Hadoop, представляют собой технологии хранения с открытым исходным кодом, которые работают на основе вертикальной масштабируемости. Это означает, что они модернизируют свойства отдельных процессоров, чтобы управлять увеличенными объемами данных (и, таким образом, зависят от технического прогресса).

• Комплексная обработка, управляемая событиями: технология BDaaS позволяет управлять данными в трех модулях - пояснительном, описательном и прогнозирующем. С помощью различных подходов к сортировке и анализу клиенты могут получить ценную информацию о проблемах, угрозах, возможностях и возможностях, которые можно использовать для общего роста бизнеса. Более того, благодаря технологиям обработки в реальном времени и функциям по запросу, система BDaaS не только своевременна и точна, но и менее затратна.

• Инструменты бизнес-аналитики: большие данные как услуга используют прикладное программное обеспечение для составления отчетов, запросов, онлайн-аналитической обработки, интеллектуального анализа данных и множества других элементов для преобразования необработанных (и часто неструктурированных) данных в конструктивную информацию для бизнес-аналитики, то есть в информация, которая может повысить реальную эффективность бизнеса.

Ключевые элементы больших данных, к которым обращается BDaaS

Скорость. Скорость больших данных представляет собой скорость колебания данных через системы. Это важный аспект управления большими данными, поскольку он использует вычислительные возможности для генерации информации о событиях в реальном времени. Это делается с помощью сложных приложений обработки событий. «Потоковая передача данных» требует достаточных возможностей хранения - которые обеспечиваются горизонтальной масштабируемостью BDaaS, а также оптимизированными интервалами отклика - с помощью новых технологий, таких как NoSQL, которые извлекают данные за меньшее время.

Объем. Размер наборов данных больших данных может достигать нескольких петабайт и, следовательно, требует соответствующих функций распределенных вычислений и горизонтальной масштабируемости. Объем данных получается и управляется за счет реализации тысяч узлов (отдельных блоков обработки) с параллельными, но конкретными задачами. Точность прогнозного и описательного анализа возрастает пропорционально увеличению количества обрабатывающих устройств.

Разнообразие. Технологии «больших данных как услуга» расширили возможности обработки от только структурированных данных до неструктурированных. Приложения, используемые BDaaS, эффективно извлекают ценные данные для использования из большинства необработанных данных, которые колеблются в системе. Правильное управление разнообразием измерений больших данных приводит к увеличению показателей рентабельности инвестиций в технологическую инфраструктуру.

Статистика по BDaaS

Глядя на цифры, мы должны объединить индивидуальную статистику по ключевым строительным блокам BDaaS - облачным вычислениям и большим данным. Статистические данные, полученные на основе тенденций этих двух составляющих, предполагают постоянный рост использования BDaaS, а также его уверенное включение в рынок ИТ.

• Общий объем притока данных, достигнутый за последние пятьдесят лет, равен объему притока данных, который достигается сегодня за два дня.
• 15% всех инвестиций в ИТ сосредоточено в облачных системах (с предполагаемым увеличением до 35% к 2021 году)
• К 2016 году 50% данных в организациях будут храниться в облачных системах.
• Прогнозируется, что в течение 2015 года выручка рынка больших данных достигнет 17 миллиардов долларов (с предполагаемым увеличением до 88 миллиардов долларов к 2021 году).
• Согласно вышеприведенным прогнозам, рынок больших данных как услуги оценивается в 2,55 миллиарда долларов (с предполагаемым ростом примерно до 30 миллиардов долларов к 2021 году).
• Отраслями, в которых наблюдается рост использования больших данных и облачных вычислений, являются бизнес, финансы, СМИ, розничная торговля и телекоммуникации.
• По прогнозам, к 2016 году почти 50% данных в организациях будут храниться в облачных системах.
• Общий объем притока данных, достигнутый за последние пятьдесят лет, равен объему притока данных, который сегодня достигается за два дня.

ВИДЫ И СЛОИ BDAAS

Технология BDaaS реализует инструменты и методы «Инфраструктура как услуга» (IaaS), «Платформа как услуга» (PaaS) и «Программное обеспечение как услуга» (SaaS) для обеспечения полной обработки данных хранения и анализа. Более того, BDaaS реализует инфраструктуры Hadoop, но может повысить их эффективность за счет включения различного программного обеспечения в соответствии с потребностями конкретной обработки данных. Что касается этих уровней, мы можем разделить BDaaS на четыре типа.

Типы BDaaS

Слои

IaaS. На уровне IaaS пользователям предлагаются общие инфраструктуры для хранения данных в облачной среде, а также использование узлов для обработки данных по запросу. Уровень IaaS предоставляет наибольшие возможности для прямого влияния на технологию BDaaS (масштабируемость, вычисление и доступность необработанных данных), но требует квалифицированного программирования и навыков работы с данными. Платформа хранения Amazon EC2 - отличное программное обеспечение для свойств IaaS.

PaaS. Платформа как услуга включает в себя базовую инфраструктуру с предварительными функциями для развертывания приложений. Это требует опыта в программировании и науке о данных, чтобы поддерживать уровень. Тем не менее, он снижает участие клиентов в вопросах аппаратного обеспечения и хранилища, поскольку он в основном базируется в виртуальной среде. Некоторыми примерами уровня PaaS являются Heroku, Google App Engine и Force.com.

SaaS. Уровень SaaS позволяет пользователям получать доступ к приложениям, не тратя время и деньги на программирование, установку и обслуживание базового программного обеспечения. Поставщик услуг занимается этими функциями, в то время как клиент использует приложения по запросу. Однако клиенты не могут получить доступ к уровням инфраструктуры и необработанным данным из уровня SaaS.

Типы

Ядро BDaaS. Ядро BDaaS в значительной степени универсально и использует такие инфраструктуры, как Hadoop, Google Map Reduce, Spark или индивидуально написанные Java-скрипты. Многие пользователи выбирают инфраструктуры на основе Hadoop, потому что это бесплатное программное обеспечение с открытым исходным кодом. Core BDaaS объединяет эту базовую инфраструктуру с приложениями хранения, такими как Amazon S3 или Hive, и механизмами обработки NoSQL, такими как YARN. Комплексная технология Core BDaaS - это Amazon Elastic MapReduce (EMR).

Производительность BDaaS. Производительность BDaaS использует базовую инфраструктуру, но включает временное использование другого программного и аппаратного обеспечения (например, Altiscale) для оптимизации производительности для конкретных целей - увеличения масштабируемости и вычислительного потенциала при предсказуемых затратах.

Функция BDaaS. Функция BDaaS развивалась, чтобы предоставить возможность определения приложения в соответствии с потребностями конкретных назначений. По сути, это означает, что базовая инфраструктура позволяет использовать различное базовое программное обеспечение в отношении функций, то есть вычисления и хранение не зависят от поставщика услуг и, таким образом, могут быть полностью масштабируемыми. Например, предложения экосистемы Hadoop улучшаются с помощью программного обеспечения IaaS от Amazon или Google.

Встроенный BDaaS. Интегрированный BDaaS еще не был предложен, но теоретически он будет включать в себя как Performance, так и Feature BDaaS, чтобы обеспечить максимальную производительность при поддержке владельцев бизнеса.

РАМКИ BDAAS

Фреймворк BDaaS включает в себя разные уровни в соответствии с функцией, которую каждый из них выполняет в процессе хранения, вычислений и анализа данных.

Инфраструктура данных. Первичный уровень BDaaS состоит из аппаратного обеспечения данных и тысяч распределенных вычислительных блоков (узлов), которые все взаимосвязаны и работают как высокоскоростные сетевые линии, по которым колеблются данные. Этот уровень BDaaS предоставляет брандмауэры и систему резервного копирования, чтобы предотвратить потенциальную потерю данных. Поскольку создание собственной инфраструктуры базы данных может стоить более 1,5 миллиона долларов на 1000 квадратных метров пространства, инфраструктура системы BDaaS представляет собой наиболее выгодное решение для основной архитектурной сферы обработки данных. Более того, прибыльность увеличивается с осознанием того, что большинству предприятий требуется обработка данных для конкретной информации через спорадические промежутки времени, и что в случае создания новой базы данных каждый раз может достигать отрицательного баланса ROI.

Облачная инфраструктура. Облачная инфраструктура - это виртуализированная область, в которой взаимосвязаны данные, программное обеспечение и оборудование. Облачная инфраструктура может быть частной или общедоступной и может быть зарезервирована заранее на более длительный период (например, несколько лет), по запросу (на определенный период времени, в течение которого будет производиться конкретная обработка) или на месте (этот вариант может иметь влияние на доступность обслуживания, поскольку вы не можете предсказать, сколько процессоров будет задействовано где-либо еще). Этот уровень не включает доступ к презентации.

Уровень хранения данных. Уровень хранения данных очень доступен для клиентов, поскольку он позволяет напрямую загружать данные для анализа. Более того, уровень масштабируется по горизонтали в соответствии с требованиями к объему, скорости и разнообразию данных и вводит новые узлы в соответствии с требованиями этих факторов, а также потребностями конкретных отраслей и целями анализа.

Вычислительный уровень. Уровень вычислений включает в себя технологии для выполнения распределенных вычислительных услуг, таких как структуры обработки и интерфейсы прикладного программирования (API), целью которых является управление данными и манипулирование ими в соответствии с требованиями и предпочтениями клиента (пользователи могут сами писать программы при наличии достаточного опыта в программировании и программировании). аналитика данных) с целью получения конструктивной информации из больших данных.

Управление данными. Уровень управления данными берет на себя процедуры обслуживания и оптимизации обработки на облачной платформе. Это включает в себя резервное копирование системы, развертывание и требования к ресурсам с целью сохранения данных и информации, а также высокой эффективности.

Анализ данных. Уровень анализа данных - это самый высокий уровень обработки данных в BDaaS, который отвечает за аналитические процедуры в отношении лежащих в основе данных. Клиенты получают доступ к данным через веб-интерфейс и создают аналитические отчеты и запросы, связанные с данными, отправленными на уровень хранения. Чтобы максимизировать производительность, этот уровень предлагает мастеров и графические инструменты, которые направляют пользователей через процесс. Более того, этот уровень стека BDaaS позволяет и предлагает индивидуальные подходы и приложения с учетом конкретных отраслевых требований пользователей. Благодаря этой особенности уровня анализа данных, BDaaS оказывается высокопроизводительной системой для различных организаций и предприятий, потому что вы можете выбирать из технологий, которые будут использоваться в важных сегментах вашей отрасли (например, в финансовой отрасли он будет предлагать биржу ценных бумаг). графики, мониторинг рисков и инструменты для анализа и представления банковских операций.

ТРЕБОВАНИЯ К BDAAS

Управление данными. Эффективное управление данными может стать решающим фактором между неудачей и успехом. С огромным увеличением как структурированных, так и неструктурированных данных (90% текущих необработанных данных было создано за последние два года) из точек продаж, записей транзакций, а также из средств массовой информации, социальных сетей и различных методов сбора информации, которые реализованы Чтобы стимулировать взаимодействие с клиентами за счет лучшего понимания их поведенческих моделей, предприятия должны добросовестно управлять своими данными, ориентируясь на данные, которые необходимо анализировать с учетом потребностей их отрасли и бизнеса, чтобы извлечь из этого процесса реальную ценность и прибыльность.

Безопасность данных. В то время как у крупных организаций и компаний есть средства для приобретения частных облачных платформ для своих предприятий, которые могут быть полезны с точки зрения безопасности, малые предприятия не могут позволить себе такие усилия. Чтобы обеспечить безопасность ваших данных (и исключить риски манипулирования данными извне), запросите разделение единиц данных и задач, выполняемых отдельными процессорами, которые не могут быть подключены без специальных разрешений. Кроме того, используйте системы резервного копирования данных, которые должны предотвратить потенциальную потерю данных.

Стратегия данных. Данные, которые вы собираетесь обрабатывать, должны быть структурированы со ссылкой на уровни BDaaS, через которые они будут выполняться. Если вы спроектируете структуру путей, по которым будут колебаться данные, вы обеспечите конструктивный процесс и устраните потенциальные несоответствия еще до того, как процесс будет запущен.

Не сосредотачивайтесь исключительно на объеме, разнообразии и сложности данных. Анализ данных должен служить заранее определенному набору целей. Даже процедуры прогнозного анализа представляют собой своего рода стратегию (предвидение возможных тенденций и будущих тенденций). Следовательно, вы должны структурировать стратегию, в которую будут включены результаты анализа данных. Определите краткосрочные цели стратегии во взаимосвязи с долгосрочными целями вашего предприятия. Кроме того, отслеживайте процесс от извлечения данных до окончательного анализа, чтобы избежать чрезмерно абстрактного набора информации, который не может быть реализован в заранее определенных стратегиях, которые вы создали.

Не пытайтесь сразу передать все данные всем сразу. По мере того, как вы включаете проанализированные данные и информацию, полученную в результате процесса, в свою стратегию, представляйте их в соответствии с текущими требованиями вашего бизнеса. Нет необходимости выдавать всем всю информацию. Используйте информацию своевременно и с полным пониманием ее места в текущих или будущих достижениях вашего предприятия.

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ BDAAS

Преимущества

• Облачная инфраструктура: позволяет создавать экземпляры ИТ-инфраструктуры и определять возможности вышележащей инфраструктуры (виртуальных машин и / или оборудования);
• Хранение данных: доступ к необработанным данным в распределенном хранилище;
• Вычислительная техника: гибкость, обусловленная возможным индивидуальным программированием для обработки данных;
• Управление данными: прямой доступ к данным и возможности для комплексного анализа и модификации данных;
• Аналитика данных: пользователи могут получать доступ к службам аналитики без необходимости иметь дело с данными или сферами программирования инфраструктур BDaaS;
• Масштабируемость: правильное решение задач, связанных с обработкой больших данных, независимо от технологических достижений;
• Безопасность: ответственность за вопросы безопасности передается поставщику услуг;
• Услуга: передача операций, требующих значительных временных и финансовых затрат, и разработки технологий третьей стороне.

Недостатки

• Облачная инфраструктура: требования к знаниям инфраструктуры - проблема, связанная с опытом;
• Хранение данных: требования к знаниям в области программирования - проблема, связанная с опытом;
• Вычислительная техника: требования к знаниям в области программирования - проблема, связанная с опытом;
• Управление данными: требования к знаниям в области программирования - вызовы экспертным знаниям;
• Аналитика данных: нет прямого доступа к данным, а аналитические сервисы ограничены данными, которые находятся на уровне аналитики данных;
• Безопасность: возможность негативного манипулирования данными внешними сторонами - может повлиять на рост бизнеса;
• Вопросы экспертизы: Как видно из вышеупомянутых параметров, нехватка квалифицированной рабочей силы представляет собой проблему, которую необходимо будет решить в будущем управлении технологией BDaaS.

ОТЛИЧИЯ BDAAS ОТ ТРАДИЦИОННЫХ БОЛЬШИХ ДАННЫХ

Большие данные как услуга возникли как ответ на вызовы обработки больших данных с целью повышения конкурентоспособности, производительности и долговечности предприятия за счет проницательного внедрения ценной информации. В этом разделе мы обсудим способы, которыми BDaaS оказывается более эффективным, чем традиционные подходы к обработке больших данных.

Увеличился приток объемных данных за последние несколько лет, когда среда не подходила для ее адекватного управления и использования. Традиционная среда была способна обрабатывать только структурированные данные с помощью менее развитых аналитических инструментов и методов. Более того, ему не хватало вычислительной мощности и емкости для хранения больших объемов разнообразных данных.

Традиционные системы больших данных могут удовлетворить требования к структурированной обработке данных в распределенных архитектурах и достичь определенной масштабируемости в области хранения и вычислений, а также использовать передовые аналитические процедуры. Однако доступность этих систем по-прежнему была ограничена и определялась индивидуальным кодированием.

Большие данные как услуга позволяют обрабатывать структурированные и неструктурированные данные (80% данных, получаемых компаниями, неструктурированы) с помощью передовых аналитических инструментов. Кроме того, он предлагает услуги распределенных вычислений на основе облачных вычислений с возможностями масштабирования, а также повсеместную доступность и возможности по запросу. BDaaS предлагает как определенные доменные алгоритмы, так и возможности пользовательского кодирования, из которых вытекают аналитические возможности. В дальнейшем он хранит данные на виртуализированных облачных платформах.

С увеличением объемов больших данных, которые колеблются в зависимости от рынка и его составляющих с предприятиями, предприниматели могут использовать доступные технологии и услуги BDaaS, чтобы выдерживать конкуренцию и превосходить ее. В настоящее время рост бизнеса зависит от получения ценной информации о моделях поведения, а также об изменениях на рынке и надлежащей реакции на эти свойства. Используя технологию BDaaS, можно удовлетворить эти требования, не доводя ваш бизнес до банкротства. Трудно отказаться от всех традиционных подходов и методов, которые использовались в бизнесе намного дольше, чем новые, которые появляются на каждом углу, но это не меняет того факта, что вы должны перейти к прогрессивному и активному управлению бизнесом. чтобы выжить на рынке.