사용자 삽입 이미지
지난 2010년, EMC는 업계의 주목을 받는 인수합병을 성공시켰다. 데이터웨어하우스(DW) 업체 그린플럼이 주인공이다. 이 두 인수를 통해 EMC는 빅데이터 시대를 선도하고 있다.

EMC는 2011년 말 이를 기반으로 정형데이터와 비정형데이터를 통합 지원하는 통합 분석 플랫폼, ‘EMC 그린플럼 UAP(United Analytics Platform)’을 출시했다.

EMC 그린플럼 UAP는 ▲EMC 그린플럼 데이터베이스 ▲EMC 그린플럼 코러스 ▲EMC 피보탈 HD 등 세 가지 그린플럼 제품으로 구성돼 있다.

그린플럼 DB는 정형 데이터 분석을 위한 관계형DB다. 회사 측에 따르면, 데이터를 분리하는 대용량 병렬처리 MPP(Massively Parallel Processing) 구조를 이용, 방대한 양의 정형 데이터를 보다 저렴한 비용으로 빠르게 처리하고 분석할 수 있다.

그린플럼 코러스는 데이터 분석 인력이 서로 협업할 수 있는 소셜 협업 툴이다. 회사 측은 이 제품에 대해 “시공간의 자유를 보장하는 소셜 및 협업 툴셋을 제공함으로써 언제 어디서나 빅데이터를 반복적으로 활용 분석하고 이를 통해 얻어낸 통찰력을 현업에 신속히 적용할 수 있게 지원한다”고 설명했다.

이 중 가장 주목되는 것은 오픈소스 빅데이터 분석 플랫폼인 하둡 기술을 내재화 한 피보탈 HD다. 그린플럼 DB가 대용량 정형 데이터 분석을 위한 플랫폼이라면, 피보탈HD는 비정형 데이터를 분석을 위한 핵심 플랫폼이다.

회사 측에 따르면, 이는 아파치 하둡 프레임워크에 빅데이터 분석 플랫폼인 EMC 그린플럼 MPP 데이터베이스 기술을 통합시켜 개발한 것이다. EMC는 “피보탈 HD를 통해 다양한 종류의 데이터 분석 도구와 언어를 SQL 인터페이스 기반에서 구현해 하둡의 확장성, 고가용성, 비용 효율성을 보다 높일 수 있다”고 강조했다.

최근 하둡 기술은 비정형 데이터 분석 분야에서 유연성, 확장성, 저비용 등의 장점으로 각광을 받고 있지만, 복잡한 인터페이스와 하둡 개발 인력 부족으로 적용에 어려움을 겪고 있다.

반면 ‘피보탈 HD’은 SQL 표준 쿼리 인터페이스 기반으로 하둡 파일시스템에 저장된 데이터 세트를 간편하게 질의하고 분석할 수 있다고 회사 측은 설명했다. SQL 표준 쿼리 인터페이스를 지원한다는 것은 맵-리듀스와 같은 기술을 숙지한 고급 개발자 없이 하둡 기술을 활용할 수 있다는 것을 의미한다.

회사 측은 특히 “피보탈 HD의 핵심 기술로 10년에 걸친 연구개발 성과인 EMC 그린플럼의 ‘호크 테크놀로지(HAWQ Technology)’가 최초로 도입됨에 따라, 다양한 쿼리 및 데이터 분석에 대한 응답 속도를 하둡 기반으로 최소 100배에서 최대 600까지 획기적으로 높였다”고 강조했다.

‘피보탈 HD’는 EMC 빅데이터 분석 플랫폼인 ‘EMC 그린플럼 DCA UAP’ 기반으로 그린플럼 데이터베이스와 함께 운영될 수 있으며, 또한 스케일아웃 스토리지인 ‘EMC 아이실론’의 하둡 파일시스템 프로토콜을 활용해 아이실론과 통합 구성이 가능하다.

EMC는 이같은 플랫폼 이외에도 데이터 과학자 양성에도 적극적이다. 지난 2011년 5월 라스베가스에서 세계 최초로 ‘데이터 과학자 서밋(Data Scientist Summit)’을 개최했으며, 지난 해 5월 제2회 서밋을 개최했다.

한국EMC도 빅데이터 분석을 위한 데이터과학자 양성을 위해 빅데이터 개념부터 분석방법, 분석도구, 기업 유형별 실습 등 다양한 커리큘럼을 포함한 ‘데이터 과학 및 빅데이터 분석 과정’을 2012년에 개설했다.

첫해에만 정규교육과정 및 기업방문교육과정(On-site)을 통해 총 132명의 교육생을 배출했으며, 2013년에는 총 6차례의 정규교육과정과 약 20차례의 방문교육을 진행해 약 430명 이상의 교육생들이 빅데이터 교육 과정에 참가할 것으로 예상되고 있다.

댓글 쓰기

저작권자 © 딜라이트닷넷 무단전재 및 재배포 금지