엘라스틱서치(Elasticsearch)와 엘라스틱 스택(Elastic Stack)으로 검색, 로깅, 분석 분야에서 미션 크리티컬한 데이터 문제를 해결해주는 글로벌 오픈소스 기업인 엘라스틱이 자사의 엘라스틱 5.4(Elastic 5.4)버전에 최초로 자율형 머신러닝 기능을 도입했다고 밝혔다.

최근 인수한 프리러트 (Prelert) 의 머신러닝 기능을 엘라스틱 스택에 통합하여, 고객들이 복잡한 전문 지식과 별도의 개발을 거치지 않고도 머신 러닝 기능을 활용할 수 있도록 해준다. 엘라스틱의 새로운 머신러닝 기능은 이상 징후를 자동으로 탐지하고, 근본 원인 분석을 효율화하며, 실시간 애플리케이션 상에서 오탐(false positives)을 줄여주는 시계열 데이터 세트용 솔루션이 내장되어있다. 이 기술은 인프라 기술 문제, 사이버공격, 비즈니스 문제 등을 실시간으로 확인하고자 하는 비즈니스에 적합하다.

엘라스틱 창업자겸 CEO 세이 베논(Shay Banon) 은 "엘라스틱의 비전은 복잡성을 없애서 사용자가 엘라스틱 스택에 머신러닝을 간편하게 구축하여 로깅, 보안 및 메트릭 등에 사용할 수 있도록 하는 것"이라며 "자율형 (Unsupervised) 머신러닝 기능은 사용자들에게 뛰어난 경험을 제공한다. 자신의 시계열 데이터에서 이상을 감지할 수 있기 때문에 검색과 분석이 자연스럽게 확장될 것이다”고 말했다.

최근 실시간 통찰력을 확보하여 운영에 활용하려는 조직과 기업들이 늘어나면서, 많은 개발자와 IT 운영자가 로그 파일, 보안 데이터, 메트릭, 텍스트, 문서 등을 수집, 강화 및 분석하기 위해 엘라스틱 스택을 사용하고 있다. 하지만 이러한 조직 및 기업들이 생성하는 데이터의 복잡성과 규모가 증가하면서, 기존 데이터 분석 접근 방식의 실용성이 떨어지고 있다. 타사의 머신러닝으로 통계 모델을 생성할 수는 있지만, 기존 작업들을 위한 실시간 운영 시스템을 개발하는 것은 쉽지 않다. 서로 다른 다양한 데이터 세트에 대한 올바른 통계 모델을 파악하려면 비용이 많이 들 뿐 아니라 세심한 데이터 과학 기술이 요구된다. 또한 수작업으로 만든 규칙은 불안정하며, 많은 오탐을 유발한다.

5.4 버전에서 X-Pack의 기능으로 제공되는 엘라스틱 최초의 자율형 머신러닝 기능은 로그 파일, 애플리케이션 및 성능 메트릭, 네트워크 흐름, 금융 거래 데이터 등의 시계열 데이터의 이상을 자동으로 탐지한다. 엘라스틱의 새로운 머신러닝 기능은 엘라스틱서치에 저장된 기존의 데이터를 활용하기 때문에 사용자가 로깅, 보안 분석 및 메트릭 분석과 같은 워크플로우를 즉시 운영에 활용할 수 있으며, 친숙하고 사용자 친화적인 키바나(Kibana) UI를 통해 정교한 머신러닝 작업을 생성하고, 복잡성과 까다로운 통합을 최소화할 수 있게 해준다. 이 밖에 엘라스틱 머신러닝의 이점은 다음과 같다.

● X-Pack에 포함되어 있어 단일 명령만으로 엘라스틱서치와 키바나에 설치
● 기본적으로 엘라스틱 스택에 통합되므로 엘라스틱서치 밖으로 데이터를 이동할 필요가 없음
● 직관적인 UI로 머신 러닝 작업을 생성하고 다양한 데이터 형식(로그 메시지, 네트워크 트래픽, 메트릭)에서 이상 탐지 결과를 분석
● 엘라스틱서치내에서 실행되어 확장성과 가용성이 뛰어남
● 예측 분석과 연동하여 X-팩의 알림 기능을 완벽하게 지원