글로벌 엔터프라이즈 데이터 클라우드 전문 기업 클라우데라(kr.cloudera.com, NYSE:CLDR, 한국지사장 강형준)가 클라우데라 데이터 플랫폼(이하 ‘CDP’)에 새롭게 추가된 기능을 발표했다. 새롭게 공개된 서비스 3종인 △CDP 데이터 엔지니어링, △CDP 운영 데이터베이스, △CDP 데이터 시각화 기능은 데이터 전문가를 위한 워크플로우 자동화, 작업 우선순위 지정, 성능 조정 등의 주요 기능을 제공해 더욱 신속하고 스마트한 데이터 분석 경험을 제공한다.

아룬 머시(Arun Murthy) 클라우데라 최고제품책임자(CPO)는 "클라우데라의 고객들은 데이터에 기반한 의사결정을 도입하는 데이터 라이프사이클의 중요성을 이해하고 있어 나이파이(NiFi), 카프카(Kafka), 스파크(Spark), 임팔라(Impala), 하이브(Hive), 에이치베이스(Hbase) 등 오픈소스 기반의 데이터 플랫폼에서 데이터 클러스터를 통합하고 있다"며, “클라우데라 CDP가 제공하는 분석 경험을 통해 데이터 전문가들은 클러스터를 관리하는 번거로움 없이 더 나은 결과를 얻을 수 있다. 또한 데이터 라이프사이클 전반에 내재된 보안과 거버넌스는 IT에 대한 접근성을 높여 기업의 강력한 데이터 클라우드 활용을 지원한다”고 말했다.

CDP 데이터 엔지니어링
데이터 라이프사이클 전반에서 분석을 수행하고 사용 사례를 만들어 내는 것은 데이터를 가치화 하는데 매우 중요하다. CDP 데이터 엔지니어링(CDP Data Engineering)은 데이터를 수집하고 가공해 인사이트로 전환하는 기업의 데이터 파이프라인 전반을 가속화하는 데이터 엔지니어링 서비스다. 쿠버네티스(Kubernetes) 상에서 강력한 아파치 스파크(Apache Spark) 서비스를 제공하는 CDP 데이터 엔지니어링은 기업의 생산성을 높이는 다음의 주요 기능을 포함한다.

· 비주얼 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 기반 모니터링, 트러블슈팅, 신속한 디버깅(Debugging)을 위한 성능 조정
· 작업 일정 통합 조정과 자동화, 복잡한 데이터 파이프라인을 지원하는 네이티브 아파치 에어플로우(Apache Airflow)와 API 제공
· 리소스 격리와 중앙 집중방식의 GUI 기반 작업 관리
· CDP 데이터 라이프사이클 통합과 SDX 보안과 거버넌스

CDP 운영 데이터베이스
기업이 지속적으로 방대한 정형 데이터와 비정형 데이터를 생성하면서 개발자들은 데이터에 대한 접근성을 높이고 실시간 작업을 지원해 비즈니스 운영과 수익 창출에 기여할 수 있는 애플리케이션을 구축해야 한다. 이에 클라우데라는 비관계형 데이터베이스(NoSQL database) 서비스인 CDP 운영 데이터베이스(CDP Operational Database) 기능을 선보이고 비즈니스 크리티컬 애플리케이션을 위한 성능과 확장성을 제공한다. 주요 기능은 다음과 같다.

· 애플리케이션 구조의 변화없이 기존 데이터 모델을 변경할 수 있도록 해 데이터를 활용할 수 있는 스키마
· 클러스터의 워크로드를 기반으로 한 자동 확장을 지원해 인프라 사용과 비용 최적화
· Hbase API를 사용하는 비관계형 데이터베이스의 키 값과 자바 API를 사용하는 관계형 데이터베이스에 대해 다중 모달(Multi-modal) 클라이언트 액세스를 제공해 개발자가 마이SQL(MySQL), 포스트그레SQL(PostgresSQL) 등을 기반으로 애플리케이션 구축할 수 있도록 지원
· CDP 데이터 라이프사이클 통합과 클라우데라 SDX(Shared Data Experience) 플랫폼의 보안과 거버넌스

CDP 데이터 시각화
애널리스트와 데이터 사이언스 팀은 분석 결과를 제공해 기업이 이를 신속하게 비즈니스 환경에 적용할 수 있도록 한다. 이러한 과정을 가속화하기 위해서 기업은 사용자가 셀프 서비스 방식으로 데이터와 예측 모델을 추출해 시각화할 수 있도록 지원해야 한다. CDP 데이터 시각화는 비주얼 대시보드, 보고서와 차트 등의 큐레이션을 간단하게 지원해 민첩한 분석과 통찰력을 제공한다. CDP 데이터 시각화가 지원하는 주요 기능은 다음과 같다.

· ‘드래그 앤 드롭(Drag-and-drop, 끌어서 놓기)’ 방식의 맞춤형 인터랙티브 애플리케이션을 사용해 신속한 분석과 머신 러닝 모델 공유
· 데이터 기반의 비즈니스 의사결정을 위한 데이터 통찰력 제공
· AI 기반 자연어 검색과 시각화 추천 기능을 활용한 빠른 데이터 탐색 지원

한편, CDP 데이터 엔지니어링은 AWS 클라우드 상에서 현재 이용 가능하며, CDP 운영 데이터베이스와 CDP 데이터 시각화 서비스는 기술 프리뷰를 거쳐 올해 말에 상용화된다.