빅데이터 배포용 아파치 하둡 기술 선두 기업인 맵알테크놀러지스(www.mapr.com)가 데이터브릭스(Databricks)와 전략적 파트너십을 체결하고, 맵알 배포판이 완벽한 아파치 스파크(Apache Spark) 스택을 지원한다고 밝혔다.

최근 기업들이 보다 쉽고 빠르게 빅데이터에서 가치를 창출하는 방법을 모색하고 있는 가운데 스파크는 인메모리 처리 프레임워크를 기반으로 실시간 처리와 손쉬운 프로그래밍으로 성능과 개발자의 생산성을 모두 향상시키고 있다.

- 성능: 스파크는 엔드-투-엔드 애플리케이션의 성능을 가속화시키는 인메모리 파이프라이닝(pipelining)과 함께 범용 실행 프레임워크를 제공하며, 다수의 애플리케이션 상에서 5배에서 100배에 이르는 성능 향상을 보였다.

- 개발자 생산성: 개발자는 스파크를 통해 기존 코드보다 1/5정도의 라인으로 구현을 할 수 있으며 RDDs(Resilient Distributed Dataset)와 같은 분산 객체를 사용해 애플리케이션을 설계할 수 있도록 한다. 또한, 자바(Java), 스칼라(Scala), 파이썬(Python)과 같은 여러 가지 프로그래밍 언어를 지원하며 스트리밍 기반의 실시간 작업 등 여러 환경에서 같은 코드를 사용할 수 있다.

대부분의 기업들은 현재 맵알 환경에서 스파크를 실행하고 있으며, 이러한 기업의 스파크 기반 애플리케이션은 맵알 배포판의 엔터프라이즈급 성능과 더불어 운영 데이터를 실시간으로 처리하는 장점을 제공한다.

맵알 배포판의 완벽한 스파크 스택 지원으로 맵알 고객들은 스파크 스택과 관련된 모든 프로젝트에 24x7 지원이 가능해졌다. 프로젝트에 관한 로드맵을 공유하고, 혁신의 가속화를 목표로 한 맵알과 데이터브릭스의 협력을 통해 맵알 고객들과 하둡 커뮤니티는 아파치 스파크 1.0(Apache Spark 1.0) 버전이 나오면 향후 몇 년 간 다양한 이점을 얻게 될 것이다.

매트 애슬렛(Matt Aslett) 451 리서치(451 Research)의 데이터 플랫폼 및 분석 부문 리서치 이사는 “아파치 스파크는 차세대 데이터 처리 플랫폼에 최적화된 고성능의 인메모리 데이터 처리 기반에 여러 계산 모델을 제공한다”며, “맵알은 데이터브릭스와의 파트너십을 통해 완벽한 스파크 스택을 지원하고, 하둡 사용자들이 스파크의 높은 성능 및 유연성을 기반으로 애플리케이션을 개발할 수 있도록 지원한다”고 전했다.

아이온 스토이카(Ion Stoica) 데이터브릭스 CEO는 “데이터브릭스는 기업 데이터로부터 깊은 통찰력을 빠르게 제공하는 차세대 빅데이터 엔진인 스파크와 맵알의 엔터프라이즈급 신뢰성 및 성능 간의 뛰어난 결합을 기대하고 있다”고 말했다.

존 슈뢰더(John Schroeder) 맵알테크놀러지스 CEO 겸 공동설립자는 "오픈 소스 커뮤니티는 빠른 속도로 엄청난 기술 혁신을 주도하고 있다”며, “맵알은 가장 광범위한 컴퓨팅 프레임워크 및 라이브러리와 함께 배포판에 최적의 솔루션을 선택할 수 있는 유연성을 지원하며, 가장 개방적인 배포판과 함께 맵알 고객들을 위해 미래 경쟁력이 높은 투자를 지원한다”고 밝혔다.

스파크 스택은 다섯 개의 고유한 아파치 오픈 소스 프로젝트를 포함한다. 완벽한 스파크 스택의 추가로 맵알 배포판은 현재 20개 이상의 아파치 오픈 소스 프로젝트를 지원하며, 이 프로젝트들은 배치, 인터렉티브, 스트리밍, 그래프 및 기계학습(Machine Leaning) 등의 다양한 환경에서 사용할 수 있도록 한다. 맵알은 매달 아파치 오픈 소스 프로젝트의 배포 버전을 제공하는 유일한 기업으로 고객들이 전체 클러스터 업그레이드 없이 필요한 컴포넌트만 업그레이드를 할 수 있게 하며, 클러스터 서비스의 중단 위험을 감소시키는 동시에 한층 빠르게 오픈 소스 혁신의 도입을 지원한다.

맵알 아파치 하둡 배포판의 완전한 스파크 스택에 관한 보다 상세한 정보는 맵알과 데이터브릭스의 공동 웨비나 웹페이지를 통해 얻을 수 있다.