IT 자문기관 가트너(Gartner)가 2019년 10대 데이터 및 분석 기술 트렌드를 발표했다. 가트너는 향후 3-5년간 엄청난 파괴적인 영향력을 미칠 데이터 및 분석 기술 트렌드로 증강 분석(augmented analytics), 지속적 지능화(continuous intelligence), 그리고 설명 가능한 인공지능(artificial intelligence)을 꼽았다.

2월 18일부터 19일까지 호주 시드니에서 개최되는 가트너 데이터 및 분석 서밋(Gartner Data & Analytics Summit)에서 가트너의 리서치 부사장인 리타 살람(Rira Sallam)은 “데이터 및 분석 리더들은 이러한 트렌드가 비즈니스에 영향을 미칠 가능성을 파악해 비즈니스 모델과 운영을 조정해야 하며, 그렇지 않을 경우 이를 진행하는 타사에 경쟁 우위를 뺏길 위험을 감수해야 한다”고 말했다.

또한, 리타 살람 리서치 부사장은 “데이터 및 분석은 내부 의사 결정을 지원하는 것부터 지속적 지능화, 정보 제품, 나아가 데이터 최고 책임자(chief data officer)를 임명하는 것까지 그 활용성이 계속 발전하고 있다”며, “이러한 발전을 촉진하는 기술 트렌드를 더욱 심도 있게 이해하고, 비즈니스 가치에 기반해 기술 트렌드의 우선순위를 정하는 것이 중요하다”고 말했다.

가트너의 부사장 겸 최고 연구원인 도널드 페인버그(Donald Feinberg)에 따르면, 디지털 혁신의 부작용인 방대한 데이터는 전례 없는 기회를 만들어 내기도 했다. 방대한 양의 데이터를 클라우드 기반의 향상된 강력한 처리 능력과 함께 활용하면, AI의 모든 잠재력을 실현하는데 필요한 대규모 알고리즘 훈련 및 실행이 가능하다.

도널드 페인버그 부사장은 “디지털 비즈니스에 요구되는 규모, 복잡성, 데이터의 분산된 특성, 행동 속도 및 지속적 지능화는 경직되고 중앙집중화 된 아키텍처와 도구들이 와해되고 있다는 것을 의미한다”며, “계속되는 변화에 대응하는 민첩하고 데이터 중심적인 아키텍처가 비즈니스의 지속적인 생존을 좌우할 것”이라고 말했다.

가트너는 데이터 및 분석 리더들이 중요한 비즈니스 우선 순위에 대해 고위 비즈니스 리더들과 논의하고, 아래와 같은 상위 트렌드들을 활용할 수 있는 방안에 대해 탐색해 볼 것을 권고했다.

트렌드 1: 증강 분석
증강 분석은 데이터 및 분석 시장의 차세대 혁신의 물결이다. 증강 분석은 머신러닝(ML)과 AI 기술을 사용해 분석 콘텐츠가 개발, 소비, 공유되는 방식을 혁신한다.

증강 분석은 2020년까지 분석과 비즈니스 인텔리전스, 데이터 사이언스와 머신러닝 플랫폼, 그리고 임베디드 분석의 신규 구매를 촉진하는 주 요인이 될 것으로 예상된다. 데이터 및 분석 리더들은 플랫폼 기능이 성숙해짐에 따라 증강 분석을 도입할 계획을 마련해야 한다.

트렌드 2: 증강 데이터 관리
증강 데이터 관리는 머신러닝 기능과 AI 엔진을 활용해 기업 정보 관리 카테고리를 생성하는 것이다. 여기에는 데이터 품질, 메타데이터 관리, 마스터 데이터 관리, 데이터 통합, 데이터베이스 관리 시스템(DBMS) 자체 구성 및 자제 조정 등이 포함된다. 이를 통해 많은 수작업이 자동화되고, 기술 숙련도가 부족한 사용자들은 데이터를 사용해 더욱 자율적으로 작업할 수 있으며, 숙련된 기술자들은 보다 가치 있는 작업에 집중할 수 있다.

증강 데이터 관리를 통해 메타데이터는 회계 감사와 계보, 보고용으로만 사용되는 것이 아니라, 동적 시스템을 실행하는 것으로 전환된다. 메타데이터는 수동에서 능동으로 바뀌고 있으며, 모든 인공지능과 머신러닝을 실행하는 주 동력이 되고 있다.

2022년 말에 이르면 머신러닝과 자동화 서비스 수준 관리가 추가되어 데이터 관리 수작업이 45%가량 줄어들 것으로 전망된다.

트렌드 3: 지속적 지능화
2022년에 이르면 주요 신규 비즈니스 시스템의 절반 이상이 실시간 컨텍스트 데이터를 사용하는 지속적 지능화를 통합하여 의사 결정을 개선할 것으로 보인다.

지속적 지능화는 실시간 분석이 비즈니스 운영에 통합되는 설계 패턴으로, 현재와 과거의 데이터를 처리해 사건에 대응하는 행동을 정한다. 이는 의사 결정을 자동화하거나 지원하게 된다. 지속적 지능화는 증강 분석, 이벤트 스트림 프로세싱, 최적화, 비즈니스 규정 관리, 머신러닝 등 다양한 기술을 활용한다.

리타 살람 리서치 부사장은 “지속적 지능화는 데이터 및 분석 팀 업무에 있어 중요한 변화”라며, “2019년에 분석 및 비즈니스 인텔리전스 팀이 기업이 보다 현명한 실시간 의사 결정을 내릴 수 있도록 지원하게 되는 것은 거대한 변화이자 큰 기회다. 이는 운영 비즈니스 인텔리전스의 궁극적 목표로 볼 수 있다”고 말했다.

트렌드 4: 설명 가능한 AI
점점 더 많은 AI 모델이 인간의 의사 결정을 강화하고 대체하는 데 사용되고 있다. 그러나 기업은 때때로 이러한 모델이 의사 결정에 어떻게 도달하는지를 정당화해야 한다. 사용자 및 이해당사자들과 신뢰를 구축하기 위해, 애플리케이션 리더들은 AI 모델을 한층 해석하기 쉽고 설명 가능한 방식으로 만들어야 한다.

안타깝게도 이러한 고급 AI 모델의 대다수는 복잡한 블랙박스로, 특정 권고사항이나 결정사항에 도달한 이유를 설명하지 못한다. 예를 들어, 데이터 사이언스와 머신러닝 플랫폼에서 설명 가능한 AI는 모델의 정확성, 속성, 모델 통계, 기능 등의 측면에서 모델에 대한 설명을 자연어로 자동 생성한다.

트렌드 5: 그래프
그래프 분석은 조직, 사람, 거래 등 이해 주체 간 관계를 탐색할 수 있는 일련의 분석 기법이다.

그래프 처리 애플리케이션과 그래프 데이터베이스 관리 시스템은 2022년까지 매년 100%씩 성장하며 데이터 준비를 지속적으로 가속화하고, 더욱 복잡하고 적응력 뛰어난 데이터 사이언스를 구현할 것이다.

그래프 데이터 저장소에서는 데이터 사일로를 가로지르는 복잡한 상호관계를 통해 데이터를 효율적으로 모델링, 탐색 및 쿼리할 수 있으나, 전문 기술이 필요한 부문이라 현재까지 채택이 제한적이었다.

복잡한 데이터 전반에 걸쳐 복잡한 질문을 제기할 필요성이 대두됨에 따라, 그래프 분석은 향후 몇 년 내 성장할 것이다. SQL 쿼리를 사용하는 방법은 항상 실용적이지 않을 수 있으며, 대규모 실행은 불가할 수 있다.

트렌드 6: 데이터 패브릭
데이터 패브릭은 분산된 데이터 환경에서 마찰 없는 액세스와 데이터 공유를 가능케 한다. 이를 통해 일관된 단일 데이터 관리 프레임워크를 구축할 수 있으며, 사일로화 된 저장소를 설계단에서 바꾸어 원활한 데이터 액세스와 프로세싱을 지원한다.

2022년까지 맞춤형 데이터 패브릭 설계는 주로 정적인 인프라로 구축될 것이며, 기업들은 보다 동적인 데이터 메시 접근방식을 완전히 재설계하기 위해 새로운 비용을 지불해야 할 것이다.

트렌드 7: NLP 및 대화형 분석
2020년까지 분석 쿼리의 50%가 검색, 자연어 처리(NLP), 음성을 통해 생성되거나 자동 생성될 것이다. 복잡한 데이터 조합을 분석하고 조직 내 모든 이들이 분석에 액세스해야 할 필요성이 늘어나면서 해당 기술에 대한 폭넓은 채택이 이뤄질 것이며, 이를 통해 분석 툴은 검색 인터페이스나 가상 비서와의 대화만큼 용이해질 것이다.

트렌드 8: 상용 AI와 머신러닝
가트너는 2022년에 이르면 AI와 머신러닝 기술을 활용하는 새로운 최종 사용자 솔루션의 75%가 오픈 소스 플랫폼이 아닌 상용 솔루션으로 구축될 것으로 전망한다.

상용 업체들은 현재 오픈 소스 생태계에 커넥터를 구축했으며, AI와 머신러닝을 확장하고 대중화하기 위해 오픈 소스 기술에 결여된 프로젝트 및 모델 관리, 재사용, 투명성, 데이터 계보, 플랫폼 응집력, 통합 등의 엔터프라이즈 기능을 제공한다.

트렌드 9: 블록체인
블록체인과 분산 원장 기술이 핵심적으로 제안하는 가치는 신뢰할 수 없는 참여자 네트워크 전반에 분산된 신뢰를 제공하는 것이다. 분석 사용 사례에 대한 잠재적 영향은 중요하며, 참여자 관계나 상호 작용을 활용하는 경우에는 특히 중요하다.

그러나 4, 5가지의 주요 블록체인 기술이 주류로 자리잡기 까지는 수 년이 걸릴 것이다. 그 때까지 최종 기술 사용자들은 주요 고객이나 네트워크가 요구하는 블록체인 기술과 표준을 통합할 수밖에 없을 것이다. 여기에는 기존 데이터 및 분석 인프라와의 통합도 포함된다. 통합 비용은 잠재적 이익보다 더 클 수도 있다. 블록체인은 데이터베이스가 아닌 데이터 소스이며, 기존 데이터관리 기술을 대체하지는 않을 것이다.

트렌드 10: 퍼시스턴트 메모리 서버
새로운 퍼시스턴트-메모리 기술을 이용하면 인메모리 컴퓨팅(IMC) 기반 아키텍처를 채택하는 데 드는 비용과 복잡성을 줄일 수 있다. 퍼시스턴트 메모리는 고성능 워크로드에 비용 효율적인 대용량 메모리를 제공할 수 있는, D램과 낸드 플래시 메모리 사이 새로운 메모리 계층을 의미한다. 이는 애플리케이션 성능, 가용성, 부팅 시간, 클러스터링 방법, 보안 방식 등을 향상시키면서 비용을 제어할 수 있는 잠재력을 갖췄다. 또한, 데이터 복제 필요성을 줄여 기업이 애플리케이션과 데이터 아키텍처 복잡성을 줄일 수 있도록 지원한다.

도널드 페인버그 부사장은 “데이터 양이 빠르게 증가하고 있고, 데이터를 가치로 실시간 변환해야 하는 시급성도 그와 동일한 속도로 빠르게 증가하고 있다”며 “새로운 서버 워크로드는 단순히 더 빠른 GPU 성능이 아니라 대용량 메모리와 더욱 빠른 스토리지를 필요로 한다”고 말했다.