퀀텀코리아(www.quantum.com/kr, 이강욱 지사장)는 오늘, 기업이 관리해야 하는 데이터가 폭발적으로 증가하고 있는 상황에서 스토리지 리소스 최적화 및 아카이빙 전략을 소개하는 ‘2021 데이터 관리 방안’을 발표했다.

퀀텀의 노에미 그레이즈도르프(Noemi Greyzdorf) 제품 마케팅 디렉터는 지난해 디지털 기반 비즈니스의 확대로 데이터가 엄청난 속도로 증가했으며, 이는 2021년까지 지속될 것이다. 모든 정보가 디지털화되고 있는 가운데, 매일 생성되는 방대한 양의 디지털 콘텐츠를 어떻게 관리, 저장 및 보호할 것인지가 중요해지고 있다”라고 말하며, “특히 생명 과학 및 일부 IoT 분야에서는 매일 테라바이트(TB)급 데이터가 생성, 수집되고 있다. 올해 기업들은 데이터가 비즈니스에 어떤 영향을 미치는지, 데이터가 현재와 미래에 가져올 수 있는 가치가 무엇인지에 대한 이해와 통찰력을 확보해야 한다. 기업들이 데이터의 가치를 인식했다면 AI 기술을 활용하여 메타데이터를 색인화 및 추가함으로써 리소스를 최적화하고, 장기적인 전략을 가지고 스토리지 시스템을 운영하여 보다 효과적인 데이터 관리가 가능해질 것이다. 라고 밝혔다.

퀀텀이 소개하는 ‘데이터 관리 방안’은 관리 오류 최소화를 위한 데이터 자산 관리 시스템을 운영하라, 데이터 관리 자동화 프로세스를 활용하여 스토리지 리소스를 제어하라, 스토리지 계층간 데이터 이동 자동화로 리소스를 최적화하라, 데이터 백년대계, 아카이빙 전략 변화를 주시하여 장기적인 준비가 필요하다 등으로 주요 내용은 다음과 같다.

1. 관리 오류 최소화를 위한 데이터 자산 관리 시스템을 운영하라: ‘사용자의 행동 패턴’은 데이터 관리에서 가장 큰 문제 중 하나다. 우리는 데이터를 엉뚱한 곳에 저장시키고 나서, 그 데이터를 찾기 위해 수 백만 또는 수 십억 개의 파일을 검색하고 있다. 그러나 사실상 사용자의 행동을 바꾸는 것은 거의 불가능하다. 이에 사용자의 데이터를 적합한 곳에 저장하고 보호할 수 있는 안전망을 제공하는 혁신적인 기술을 도입해야 한다.

대규모 데이터 세트를 관리해야 하는 업계는 자산 관리를 위한 소프트웨어가 필요하다. 자산 관리 플랫폼은 수십 년간 대규모 파일을 관리해온 미디어 및 엔터테인먼트(M&E) 업계에서는 이미 일반적으로 활용되고 있으며, 최근 많은 디지털 기반 비즈니스 기업 기업이 증가하면서 그 수요도 크게 늘어나고 있다.

기업이 보유하고 있는 데이터 활용을 극대화하기 위해서는 모든 파일 기반 스토리지 시스템을 정기적으로 스캔하고 모든 정보를 수집하여 쉽게 액세스할 수 있도록 중앙 위치에 배치하는 시스템이 필요하다. 이러한 시스템은 메타데이터를 컴파일링(compiling)하고, 용이한 검색을 위해 구조화하며, 시스템에 있는 데이터를 빠르게 확인할 수 있는 뷰(view)를 제공한다.

데이터의 중앙 집중 관리 시스템을 구현한 이후에는 메타데이터를 통해 얻은 지식을 적용하여 보다 효과적인 스토리지를 구현하고 운영상의 이점을 확보해야 한다. 비즈니스 태그 또는 확장 가능한 속성(attributes)을 데이터에 부여하고 이를 실시간으로 스토리지 리소스를 관리하는 시스템에 연결된 구조화된 형식으로 유지하면 필요한 곳에 효과적으로 데이터를 보관할 수 있다. AI 기술을 이용하여 이 데이터를 색인화(Indexing) 및 카탈로그화(cataloging)하면 이 파일 데이터를 추가 메타데이터와 함께 더욱 가치 있게 만들 수 있고, 보다 용이한 검색과 접근성, 재사용이 가능해진다.

2. 데이터 관리 자동화 프로세스를 활용하여 스토리지 리소스를 제어하라: 사람이 데이터와 상호작용하는 것이 어려운 일로 보일지 모르나, 오늘날 생성되고 소비되는 대부분의 데이터는 애플리케이션에 의해 무의식적으로 이미 상호작용되고 있다.

애플리케이션을 설치하여 운영할 때, 해당 데이터 관리 자동화는 필수적인 단계로, 애플리케이션이 어떤 프로세스에 있는지, 어떤 워크플로우에 있는지, 다음 단계에서 해당 데이터로 무슨 작업을 수행할지, 몇일간의 시간 간격을 두고 데이터 태그 지정하는 등을 통해 특정 기준에 따라 수행될 수 있다. 애플리케이션은 태그이든 메타데이터 변수이든 이러한 데이터 식별자(identifier)를 통해 데이터 및 스토리지 리소스를 보다 직접적으로 제어할 수 있다.

예를 들어, 애플리케이션이 이러한 디스크립터(descriptors)나 태그를 기반으로 스토리지 시스템에 "이 데이터를 오전 10시 5분에 사용할 것이며, 플래시(Flash)로 옮길 것이다”라는 지시를 보내면 스토리지 시스템은 데이터를 플래시로 자동으로 이동시킨다. 애플리케이션은 데이터를 사용하고 다시 스토리지 시스템에 저장하도록 지시한다.

3. 스토리지 계층간 데이터 이동 자동화로 리소스를 최적화하라: 기업들은 귀중한 스토리지 리소스를 최적화해야 하며, 상대적으로 활용 빈도가 낮아 고성능을 요구하지 않는 데이터를 고가의 스토리지 미디어에 저장하지는 않는지 확인해야 한다. 즉, 정확한 데이터 관리 정책을 수립하여, 이를 바탕으로 투명하고 자동화된 방식으로 스토리지 계층간 데이터를 자동으로 이동시키는 방식을 택해야 한다. 이를 통해 리소스를 최적으로 활용하고, 스토리지 서비스 제공에 드는 전체 비용을 절감할 수 있다.

데이터를 지연 없이 신속하게 애플리케이션에 전송해야 한다면, 기업들은 가장 비싸지만 고성능을 제공하는 스토리지 시스템을 사용해야 한다. 불필요한 낭비를 방지하려면 애플리케이션이 프로세싱 또는 분석을 수행하는데 필요한 데이터만 고가 스토리지 계층에 배치하고, 더 이상 필요하지 않게 되면 바로 삭제해야 한다.

4. 데이터 백년대계, 아카이빙 전략 변화를 주시하여 장기적인 준비가 필요하다: 관련 자료를 모두 저장해야 하는 기업이라면 아카이브 데이터가 장기적인 성공을 위해 어떤 역할을 하는지, 데이터 아카이빙 전략이 어떻게 변화하고 있는지를 주시해야 한다. 다양한 산업의 기업들이 점점 더 많은 데이터를 보유하고 있다. 이 데이터는 디지털 형식으로 100년 이상 보존될 수 있기 때문에 기업들은 장기 보존에 대해 고려해야 한다. 지능형 데이터 관리 소프트웨어와 고가용성 스케일-아웃(유연하게 확장가능한) 하드웨어가 결합된 "100년 아카이브(100-year archives)"는 엑사바이트(EB)급 아카이브 데이터를 처리하는데 필수적이다.

오늘날 아카이브 데이터를 위한 가장 비용 효율적인 솔루션은 로컬, 클라우드 및 원격지에서 접속하여 대용량 테이프 로보틱 라이브러리를 사용하는 것이다. 실제로 가장 빠르게 성장하고 있는 데이터센터 유형은 하이퍼스케일 데이터센터(이하 HSDC)로, 최신 아카이빙 전략의 정점을 보여준다. 그러나 HSDC는 오늘날 전세계 전력의 약 2%를 소비하며, 2030년까지 8%에 이를 것으로 예상되고 있다. 미래의 HSDC 스토리지의 문제점을 해결하기 위해서는 이레이저 코딩(erasure coding), 엑사급 용량의 지오-스프레딩(geo-spreading), 매우 높은 신뢰성과 사이버보안성을 지원할 수 있는 고확장성의 지능형 에어-갭(air-gapped) 테이프 아키텍처가 필요하다.

100년 아카이브(100-year archives)에는 데이터 또는 자산 카탈로그, 스마트한 데이터 이동기(data movers), 데이터 분류 및 메타데이터 기능, 고확장성의 테이프 라이브러리, 높은 결함 감내성(fault tolerance), 중복제거 및 가용성을 높이기 위해 서로 다른 지역에 데이터를 분산시키는 지오-스프레딩(geo-spreading), 이레이저 코딩(erasure coding) 등의 기능을 모두 제공하는 지능적인 액티브 아카이브 소프트웨어가 필요하다.