BDaaS(Big Data as a Service)에 대해 알아야 할 모든 것
게시 됨: 2015-05-07지난 몇 년 동안 전통적인 비즈니스 및 시장 관리는 전통적인 방식과 관련하여 극적으로 변화했습니다. 고객 확보, 활성화 및 유지에 대한 새로운 접근 방식은 데이터 유입에서 파생될 수 있는 행동 패턴 및 통찰력에 대한 정보를 맨 앞줄에 두었습니다. 이러한 속성의 적절한 분석을 통해 기업가는 생산성을 달성할 수 있습니다. 그것의 부족으로 인해 기업은 점점 더 치열해지는 경쟁 속에 묻힐 운명에 처해 있습니다.
기술의 접근성과 일상 생활에서의 압도적인 사용은 기업가가 사용할 수 있는 데이터 양의 엄청난 증가에 영향을 미쳤습니다. 그러나 데이터의 실제 사용은 데이터를 적절하게 저장, 관리 및 분석하는 능력에 달려 있습니다. Big Data as a Service 기술이 소규모 기업과 조직에 영향력 있는 기회로 등장하기 전에는 이러한 영역은 자금이 넉넉한 기업, 즉 대기업만을 위한 것이었습니다. 서비스로서의 빅 데이터 또는 BDaaS는 비즈니스 성장을 보장하기 위해 고객 및 시장의 수익성 있는 관리뿐만 아니라 새로운 경쟁 우위를 가능하게 하며 데이터 처리 노력의 비용 절감으로 인해 접근성이 높습니다.
Shutterstock.com | 황량한 별
이 기사에서는 BDaaS의 중요한 정보, 구성 요소 및 프로세스와 1) 서비스로서의 빅 데이터 – 용어 정의 ; 2) BDaaS의 종류 3) BDaaS 프레임워크, 4) BDaaS에 대한 요구 사항 ; 5) BDaaS의 장점과 단점 , 6) 기존 환경과 빅데이터에 대한 BDaaS의 차이점 .
서비스로서의 빅 데이터 – 용어 정의
Big Data as a Service는 건설적인 데이터 처리의 효율적이고 유비쿼터스 가용성에 중점을 둔 새로운 기술입니다. 기술 발전과 일상 생활(소셜 네트워크, 온라인 미디어, 등.). BDaaS 기술의 목표는 조직 및 소규모 기업의 경쟁력, 혁신 및 결과적으로 수익을 증대하기 위해 비용 효율적이고 가치 있는 통찰력을 제공하는 것입니다.
BDaaS의 구성 요소
- 고기능 서비스 지향 아키텍처: BDaaS 기술은 프로그래밍 전문가 및 데이터 과학자 고용에 대한 고객의 비용 절감과 목표 사용 기회를 줄이는 것을 목적으로 하는 빅 데이터 스토리지 인프라, 데이터 처리 모듈 및 다양한 분석 도구를 포함하는 고기능 아키텍처를 제공합니다. 특정 요구 사항에 따라 이러한 다양한 레이어. 또한 BDaaS의 SOA(Service-Oriented Architecture)는 위에서 언급한 각 서비스를 개별적으로 활용하고 전체로 연결하여 특정 비즈니스 요구 사항에 대한 포괄적인 접근을 허용합니다.
- 클라우드 가상화 기능: 위에서 언급한 BDaaS의 구조는 클라우드 컴퓨팅 및 수평 확장성을 기반으로 합니다. 기본적으로 이는 필요한 결과와 관련하여 작업을 지정한 여러 프로세서에서 데이터가 저장되고 처리됨을 의미합니다. 수평적 확장성을 통해 이러한 개별 엔터티가 단일 논리적 단위로 작동할 수 있으며 데이터 양이 증가할 경우 새로운 엔터티를 도입할 수 있습니다. 반면 하둡과 같은 시스템은 수직 확장성을 기반으로 작동하는 오픈 소스 스토리지 기술입니다. 즉, 증가하는 데이터 양을 관리하기 위해 단일 프로세서의 속성을 업그레이드하므로 기술 발전에 의존합니다.
- 복잡한 이벤트 기반 처리: BDaaS 기술은 설명, 설명 및 예측의 세 가지 모듈에서 데이터 관리를 가능하게 합니다. 다양한 분류 및 분석 접근 방식을 통해 고객은 전반적인 비즈니스 성장에 사용할 수 있는 문제, 위협, 기회 및 가능성에 관한 귀중한 정보를 얻을 수 있습니다. 또한 실시간 처리 기술과 주문형 기능으로 인해 BDaaS 시스템은 시기 적절하고 정확할 뿐만 아니라 비용도 저렴합니다.
- 비즈니스 인텔리전스 도구: 서비스로서의 Big Data는 보고, 쿼리, 온라인 분석 처리, 데이터 마이닝 및 기타 수많은 요소에 응용 프로그램 소프트웨어를 사용하여 원시(및 종종 비정형) 데이터를 비즈니스 인텔리전스를 위한 건설적인 정보로 변환합니다. 실제 업무 효율성을 높일 수 있는 정보입니다.
BDaaS가 다루는 빅 데이터의 핵심 요소
속도. 빅데이터의 속도는 시스템을 통한 데이터 변동의 속도를 나타냅니다. 실시간 이벤트와 관련된 정보를 생성하기 위해 컴퓨팅 능력을 활용하기 때문에 빅 데이터 관리의 중요한 차원입니다. 이것은 복잡한 이벤트 처리 응용 프로그램을 통해 수행됩니다. '스트리밍 데이터'는 더 짧은 시간에 데이터를 검색하는 NoSQL과 같은 신기술을 통해 BDaaS의 수평 확장성과 최적화된 응답 간격으로 보장되는 충분한 저장 기능이 필요합니다.
용량. 빅 데이터 데이터 세트의 크기는 수 페타바이트에 이를 수 있으므로 적절한 분산 컴퓨팅 및 수평 확장 기능이 필요합니다. 병렬이지만 특정 작업이 있는 수천 개의 노드(개별 처리 장치)의 구현을 통해 데이터 볼륨을 확보하고 관리합니다. 예측 및 기술 분석의 정확도는 처리 장치 수가 증가함에 따라 비례하여 증가합니다.
다양성. Big Data as a Service 기술은 처리 능력을 정형 데이터에서 비정형 데이터까지 확장했습니다. BDaaS에서 사용하는 응용 프로그램은 시스템을 통해 변동하는 대부분의 원시 데이터에서 유용한 데이터를 효과적으로 추출합니다. 빅 데이터의 다양한 차원을 적절하게 관리하면 기술 인프라에 대한 ROI 수치가 높아집니다.
BDaaS에 대한 통계
수치를 볼 때 BDaaS의 핵심 구성 요소인 클라우드 컴퓨팅과 빅 데이터에 대한 개별 통계를 결합해야 합니다. 이 두 구성 요소의 경향에서 파생된 통계는 BDaaS 사용의 지속적인 성장과 IT 시장으로의 확고한 통합을 의미합니다.
- 지난 50년간 달성한 총 데이터 유입량은 오늘날 이틀 동안 달성한 데이터 유입량과 같습니다.
- 전체 IT 투자의 15%가 클라우드 기반 시스템에 집중되어 있습니다(2021년까지 35%로 증가 예상).
- 2016년까지 조직 데이터의 50%가 클라우드 기반 시스템에 저장됩니다.
- 빅 데이터 시장은 2015년 동안 170억 달러의 매출에 도달할 것으로 예상됩니다(2021년까지 880억 달러로 증가 예상)
- Big Data as a Service 시장은 위의 예측에 따라 25억 5,500만 달러 규모로 추정됩니다(2021년까지 약 300억 달러로 증가 예상)
- 빅 데이터 및 클라우드 컴퓨팅 사용이 증가하는 산업, 비즈니스, 금융, 미디어, 소매 및 통신.
- 2016년까지 조직 내 데이터의 거의 50%가 클라우드 기반 시스템에 저장될 것으로 예상됩니다.
- 지난 50년간 달성한 데이터의 총 유입량은 오늘날 이틀 동안 달성한 데이터의 유입량과 같습니다.
BDAAS의 유형 및 계층
BDaaS 기술은 완전한 저장 및 분석 데이터 처리를 제공하기 위해 IaaS(Infrastructure as a Service), PaaS(Platform as a Service) 및 SaaS(Software as a Service) 도구 및 기술을 구현합니다. 또한 BDaaS는 Hadoop 인프라를 구현하지만 특정 데이터 처리의 필요에 따라 다른 소프트웨어를 통합하여 효율성을 업그레이드할 수 있습니다. 이러한 계층을 참조하여 BDaaS를 4가지 유형으로 나눌 수 있습니다.
BDaaS 유형
레이어
IaaS. IaaS 계층에서 사용자는 클라우드 환경의 데이터 저장을 위한 일반 인프라와 데이터 처리를 위한 노드의 주문형 고용을 제공합니다. IaaS 계층은 BDaaS 기술(확장성, 컴퓨팅 및 원시 데이터의 접근성)에 직접적인 영향을 미칠 수 있는 대부분의 기회를 제공하지만 숙련된 프로그래밍 및 데이터 기술이 필요합니다. Amazon의 EC2 스토리지 플랫폼은 IaaS 속성을 위한 탁월한 소프트웨어입니다.
PaaS. PaaS(Platform as a Service)는 애플리케이션 배포와 관련된 임시 기능과 함께 기본 인프라를 통합합니다. 계층을 유지하려면 프로그래밍 및 데이터 과학에 대한 전문 지식이 필요합니다. 그러나 주로 가상 환경을 기반으로 하기 때문에 하드웨어 및 스토리지 문제에 대한 고객의 개입을 줄입니다. PaaS 계층의 몇 가지 예는 Heroku, Google App Engine 및 Force.com입니다.
SaaS. SaaS 계층을 통해 사용자는 기본 소프트웨어의 프로그래밍, 설치 및 유지 관리에 시간과 재정을 들이지 않고도 애플리케이션에 액세스할 수 있습니다. 서비스 제공자는 이러한 기능을 처리하고 고객은 주문형 애플리케이션을 사용합니다. 그러나 고객은 SaaS 계층에서 인프라 계층 및 원시 데이터에 액세스할 수 없습니다.
유형
핵심 BDaaS. Core BDaaS는 상당히 일반적이며 Hadoop, Google의 Map Reduce, Spark 또는 개별적으로 작성된 Java 스크립트와 같은 인프라를 사용합니다. 많은 사용자가 무료 오픈 소스 소프트웨어이기 때문에 Hadoop 기반 인프라를 선택합니다. Core BDaaS는 이 기본 인프라를 Amazon의 S3 또는 Hive와 같은 스토리지 애플리케이션 및 YARN과 같은 NoSQL 처리 엔진과 결합합니다. 포괄적인 Core BDaaS 기술은 Amazon의 Elastic MapReduce(EMR)입니다.
성능 BDaaS. 성능 BDaaS는 기본 인프라를 사용하지만 특정 목적을 위해 성능을 최적화하기 위해 다른 소프트웨어 및 하드웨어(예: Altiscale) 서비스의 임시 사용을 포함하여 예측 가능한 비용으로 확장성과 컴퓨팅 잠재력을 높입니다.
기능 BDaaS. 기능 BDaaS는 특정 할당의 필요에 따라 응용 프로그램 정의의 가능성을 제공하기 위해 진화했습니다. 본질적으로 이것은 기본 인프라가 기능과 관련하여 다양한 기본 소프트웨어를 사용할 수 있음을 의미합니다. 즉, 컴퓨팅 및 스토리지는 서비스 제공업체와 독립적이므로 완전히 확장할 수 있습니다. 예를 들어, Hadoop 에코시스템 오퍼링은 Amazon 또는 Google의 IaaS 소프트웨어로 개선됩니다.
통합 BDaaS. 통합 BDaaS는 아직 제공되지 않았지만 이론적으로 성능 및 기능 BDaaS로 구성되어 비즈니스 소유자를 지원하면서 최대 성능을 허용할 것입니다.
BDAAS 프레임워크
BDaaS 프레임워크는 데이터 저장, 컴퓨팅 및 분석 과정에서 각 계층이 수행하는 기능에 따라 다른 계층을 통합합니다.
클라우드 인프라. 클라우드 인프라는 데이터, 소프트웨어 및 하드웨어가 상호 연관되는 가상화된 도메인입니다. 클라우드 인프라는 사설 또는 공용일 수 있으며 더 긴 기간(예: 몇 년), 온디맨드(특정 처리가 수행되는 특정 기간) 또는 현장(이 옵션은 다른 곳에서 얼마나 많은 프로세서가 사용될지 예측할 수 없기 때문에 서비스 가용성에 영향을 미칩니다. 이 계층에는 프레젠테이션 액세스가 포함되지 않습니다.
데이터 저장 계층. 데이터 저장 계층은 분석을 위해 데이터를 직접 업로드할 수 있으므로 고객의 접근이 용이합니다. 또한 이 계층은 데이터 볼륨, 속도 및 다양성의 요구 사항에 따라 수평으로 확장 가능하며 이러한 요인의 요구와 특정 산업의 요구 및 분석 목표에 따라 새로운 노드를 도입합니다.
계산 계층. 계산 계층은 요구 사항 및 고객의 선호도에 따라 데이터를 관리하고 조작하는 것을 목적으로 하는 처리 프레임워크 및 API(응용 프로그래밍 인터페이스)와 같은 분산 컴퓨팅 서비스를 수행하기 위한 기술로 구성됩니다(프로그래밍에 대한 충분한 전문 지식이 있으면 사용자가 직접 프로그램을 작성할 수 있습니다. 데이터 분석) 빅 데이터에서 건설적인 정보 파생을 목표로 합니다.
데이터 관리. 데이터 관리 계층은 클라우드 플랫폼을 통한 처리의 유지 관리 및 최적화 절차를 수행합니다. 여기에는 데이터와 정보의 안전한 유지와 높은 효율성을 목표로 하는 시스템 백업, 배포 및 리소스 요구 사항이 포함됩니다.
데이터 분석. 데이터 분석 계층은 BDaaS에서 가장 높은 수준의 데이터 처리를 담당하는 계층으로 기반 데이터에 대한 분석 절차를 담당합니다. 고객은 웹 인터페이스를 통해 데이터에 액세스하고 스토리지 계층에 제출된 데이터와 관련된 분석 보고서 및 쿼리를 생성합니다. 성능을 최대화하기 위해 이 계층은 프로세스를 통해 사용자를 안내하는 마법사와 그래픽 도구를 제공합니다. 또한 BDaaS 스택의 이 계층은 사용자의 특정 산업 기반 요구 사항을 참조하여 맞춤형 접근 방식과 애플리케이션을 가능하게 하고 제공합니다. 데이터 분석 계층의 이러한 기능으로 인해 BDaaS는 다양한 조직 및 기업을 위한 매우 생산적인 시스템임이 입증되었습니다. 당신이 산업의 중요한 부문을 다룰 기술 중에서 선택할 수 있기 때문입니다(예: 금융 산업에서 증권 거래소를 제공할 것입니다. 그래프, 위험 모니터링 및 은행 업무 분석 및 프리젠테이션 도구.
BDAAS 요구 사항
데이터 거버넌스. 효과적인 데이터 거버넌스는 실패와 성공을 가를 수 있습니다. 판매 시점, 거래 기록, 미디어, 소셜 네트워크 및 다양한 정보 수집 기술에서 구현되는 정형 및 비정형 데이터(현재 원시 데이터의 90%가 지난 2년 동안 생성됨)의 압도적인 증가로 구현됩니다. 행동 패턴에 대한 더 나은 이해를 통해 고객 참여를 촉진하기 위해 기업은 프로세스에서 실제 가치와 수익성을 추출할 수 있도록 데이터를 양심적으로 관리해야 합니다.
데이터 보안. 대기업과 기업은 보안 문제에 도움이 될 수 있는 기업용 프라이빗 클라우드 플랫폼을 구매할 수 있는 수단을 가지고 있지만 소규모 기업은 그러한 노력을 감당할 수 없습니다. 데이터의 안전을 보장하고 외부 데이터 조작의 위험을 배제하기 위해 데이터 단위의 분할을 요청하고 특별한 권한 없이는 연결할 수 없는 별도의 프로세서에서 수행하는 작업을 요청합니다. 또한 잠재적인 데이터 손실을 방지해야 하는 데이터 백업 시스템을 사용합니다.
데이터 전략. 처리하려는 데이터는 데이터가 컴퓨팅될 BDaaS 계층을 참조하여 구조화되어야 합니다. 데이터가 변동하는 경로 구조를 설계하면 프로세스가 실행되기 전에 건설적인 프로세스를 보장하고 잠재적인 불일치를 제거할 수 있습니다.
데이터의 양, 다양성 및 복잡성에만 집중하지 마십시오. 데이터 분석은 미리 정의된 목표 세트를 제공해야 합니다. 예측 분석 절차조차도 일종의 전략입니다(가능한 경향 및 미래 경향에 대한 예측). 따라서 데이터 분석 결과를 통합할 전략을 구성해야 합니다. 기업의 장기 목표와 연계하여 전략의 단기 목표를 결정합니다. 또한 생성한 사전 정의된 전략에서 구현할 수 없는 지나치게 추상적인 정보 집합을 피하기 위해 데이터 추출에서 최종 분석까지의 프로세스를 모니터링합니다.
모든 데이터를 한 번에 모든 사람에게 급하게 보내려고 하지 마십시오. 프로세스에서 파생된 분석된 데이터와 정보를 전략에 통합할 때 비즈니스의 현재 요구 사항에 따라 제시하십시오. 모든 사람에게 모든 정보를 알려줄 필요는 없습니다. 기업의 현재 또는 미래 발전에서 정보가 차지하는 위치에 대한 포괄적인 인식과 함께 적시에 정보를 사용하십시오.
BDAAS의 장점과 단점
장점
- 클라우드 인프라: IT 인프라의 인스턴스화를 가능하게 하고 상위 인프라(가상 머신 및/또는 하드웨어)의 기능을 결정합니다.
- 데이터 저장소: 분산 저장소의 원시 데이터에 대한 액세스
- 컴퓨팅: 데이터 조작을 위한 가능한 맞춤형 프로그래밍에서 발생하는 유연성.
- 데이터 관리: 데이터에 대한 직접 액세스 및 복잡한 데이터 분석 및 수정 가능성
- 데이터 분석: 사용자는 BDaaS 인프라의 데이터 또는 프로그래밍 영역을 처리하지 않고도 분석 서비스에 액세스할 수 있습니다.
- 확장성: 기술 발전에 의존하지 않고 빅 데이터 처리와 관련된 문제를 적절하게 해결합니다.
- 보안: 보안 문제에 대한 책임은 서비스 제공자에게 이전됩니다.
- 서비스: 시간과 재정을 소모하는 운영 및 기술 개발을 제3자에게 이전합니다.
단점
- 클라우드 인프라: 인프라 지식 요구 사항 – 전문성에 대한 도전;
- 데이터 저장: 프로그래밍 지식 요구 사항 – 전문 지식에 대한 도전;
- 컴퓨팅: 프로그래밍 지식 요구 사항 – 전문 지식에 대한 도전;
- 데이터 관리: 프로그래밍 지식 요구 사항 – 전문 지식에 대한 도전;
- 데이터 분석: 데이터 및 분석 서비스에 대한 직접 액세스는 데이터 분석 계층에 있는 데이터로 제한됩니다.
- 보안: 외부 당사자에 의한 잠재적인 부정적인 데이터 조작 - 비즈니스 성장에 영향을 미칠 수 있습니다.
- 전문성 문제: 위에서 언급한 매개변수에서 볼 수 있듯이 숙련된 인력의 부족은 BDaaS 기술의 향후 관리에서 해결해야 할 과제를 나타냅니다.
기존 빅데이터와 BDAAS의 차이점
Big Data as a Service는 가치 있는 정보의 통찰력 있는 구현을 통해 기업의 경쟁력, 생산성 및 장수를 높이기 위해 빅 데이터 처리의 과제에 대한 해답으로 등장했습니다. 이 섹션에서는 BDaaS가 빅 데이터 처리에 대한 기존 접근 방식보다 더 효율적임을 입증하는 방법에 대해 논의할 것입니다.
지난 몇 년간 방대한 데이터의 유입이 증가하면서 적절한 관리와 활용을 위한 환경이 적합하지 않았습니다. 기존 환경은 덜 개발된 분석 도구와 기술로 구조화된 데이터만 처리할 수 있었습니다. 또한, 다양한 데이터를 대량으로 저장할 수 있는 연산 능력과 저장 용량이 부족했습니다.
기존의 빅 데이터 시스템은 분산 아키텍처에서 구조화된 데이터 처리 요구 사항을 해결할 수 있었고 스토리지 및 컴퓨팅에서 특정 확장성에 도달했으며 고급 분석 절차를 채택했습니다. 그러나 이러한 시스템의 접근성은 여전히 제한적이었고 사용자 정의 코딩에서 파생되었습니다.
Big Data as a Service는 고급 분석 도구를 사용하여 정형 및 비정형 데이터(기업에서 획득하는 데이터의 80%가 비정형 데이터)를 처리할 수 있습니다. 또한 확장 가능성과 유비쿼터스 가용성 및 주문형 기회를 갖춘 클라우드 기반 분산 컴퓨팅 서비스를 제공합니다. BDaaS는 지정된 도메인 기반 알고리즘과 분석 기능이 파생되는 사용자 지정 코딩 가능성을 모두 제공합니다. 또한 가상화된 클라우드 플랫폼에 데이터를 저장합니다.
시장 및 기업과 관련하여 변동하는 빅 데이터의 양이 증가함에 따라 기업가는 경쟁에서 견디고 승리하기 위해 액세스 가능한 BDaaS 기술 및 서비스를 사용할 수 있습니다. 오늘날 비즈니스 성장은 시장의 변화뿐만 아니라 행동 패턴에 대한 귀중한 통찰력을 얻고 이러한 속성에 적절하게 대응하는 데 달려 있습니다. BDaaS 기술을 사용하면 비즈니스를 파산시키지 않고도 이러한 요구 사항을 충족할 수 있습니다. 여기저기서 등장하는 새로운 방식들보다 훨씬 더 오랫동안 기업에서 사용되어온 기존의 접근 방식과 방식을 모두 버리기는 어려울 수 있지만, 진보적이고 적극적인 기업 경영으로 전환해야 한다는 사실은 변함이 없습니다. 시장에서 살아남기 위해.
