지난 3월 HPE는 인공지능(AI), 기계학습(ML), HPC(High Performance Computing) 전용 스토리지인 HPE Alletra MP File (알레트라 엠피 파일) 스토리지에 대한 신규 업데이트를 출시했다. HPE Alletra MP File 스토리지는 엔터프라이즈 대규모 AI 환경, 데이터레이크 등의 데이터 중심의 고성능 워크로드에 최적화된 스토리지로 활용되어 왔다.

이번 신규 업데이트에서 주목할 가장 큰 변화는 바로 고집적성이다. 기존 대비 랙 유닛당 4배 많은 용량과 2배 향상된 성능을 제공한다. 그에 따라 AI 업무 처리량을 2배로 늘릴 수 있게됨과 동시에 전력 소비를 최대 50%까지 절감할 수 있게 되었다. 컨트롤러의 접적성 향상뿐만 아니라 1RU당 1.3PB 용량의 All NVMe를 제공하는 드라이브 샤시의 혁신을 통해 비용을 크게 줄이며 데이터 센터의 상면과 전력 소비를 크게 절감할 수 있다.

▲ HPE 알레트라 MP 파일

이러한 개선 사항을 통해 HPE는 AI 및 데이터레이크 등 데이터 중심의 고성능 워크로드에서 성능, 운영 편의성, 효율성 향상을 달성할 수 있도록 도움을 준다.

2023년 중반에 처음 출시된 HPE Alletra MP File 스토리지는 지속적인 업데이트와 혁신 적용을 약속해 왔으며 최신 업데이트에서 기존 대비 7배 높은 고집적도를 제공하면서 그 약속을 실현했다. 이번 업데이트를 통해 HPE Alletra MP File 스토리지는 델 파워스케일(Dell PowerScale)과 퓨어스토리지 플래시블레이드(PureStorage FlashBlade) 보다 2.3배 높은 집적성을 자랑한다.

HPE는 특히 AI 워크로드에서 성능과 역량적인 측면을 더욱 개선해왔다. 이는 폭발적으로 증가하는 AI 워크로드에 대응해 가장 범용적인 스케일아웃(Scale-out, 수평확장) 파일 스토리지에 투자하길 원하는 고객을 선제적으로 지원하기 위한 HPE의 노력을 반영하고 있다.

많은 기업들이 AI를 최우선 당면 과제로 여기고 있으며 신속하게 도입, 적용하고 확대함에 따라 HPE는 그에 맞는 AI 전용 스토리지를 출시하여 고객들의 고민을 함께 해결해왔다. HPE Alletra MP File은 작은 규모로 시작해 대규모로 확장할 수 있는 유연성과 효율성을 제공할 뿐만 아니라 스냅샷, 원격복제, 중복제거,압축,유사성제거, QoS, 고가용성 아키텍처 등 엔터프라이즈급 환경을 지원한다. 뿐만 아니라 뛰어난 성능을 통해 학습, 튜닝, 추론의 모든 AI 단계를 아우를 수 있다. 그렇기에 생성형 AI, 대규모 언어 모델(LLM) 등 다양한 AI 워크로드에서 각광을 받고 있다.

AI 워크로드를 처리함에 있어 기존의 레거시 스케일아웃 NAS 스토리지는 성능 확장성의 제한이라는 한계점이 존재한다. 바로 Shared-nothing (비공유) 아키텍처로 인해 발생하는 한계이다. 기존의 스케일아웃 스토리지는 다수의 노드로 구성되며, 각 노드는 컨트롤러 CPU, Memory, 드라이브, NIC가 함께 구성되어 있다. 각 노드 내부에 저장된 데이터는 해당 노드 자신만이 데이터를 볼 수 있으며, 다른 노드와 공유 및 분산저장/처리하기 위해서는 고속의 네트워크로 구성되어야 하며, 그로 인해 발생하는 East-West 트래픽으로 인해 성능 확장성의 한계를 가지게 된다. 즉, 단 하나의 파일을 접근하는 작업이라도 항상 모든 노드들과 통신을 해야만 하는 단점이 존재한다.

반면, HPE가 제공하는 Alletra MP File 스토리지의 Shared-everyhing (모든것을 공유) 아키텍처는 컨트롤러와 드라이브 노드를 분리 구성하여 모든 컨트롤러는 모든 드라이브를 직접 볼 수 있는 구조로 노드간의 East-West 트래픽을 원천적으로 제거했다. 이로 인해 성능 확장이 필요한 경우 컨트롤러만 독립적으로 증설하여 효율적인 성능 확장이 가능하다. 뿐만 아니라 용량 확장이 필요한 경우 드라이브만 독립적으로 증설하여 불필요한 컴퓨팅 파워의 증설을 사전에 방지할 수 있다. HPE Alletra MP File 스토리지는 기본 장착되는 고속의 NVMe SCM이 캐싱역할을 담당하여 빠른 응답속도를 제공한다. 또한, 모든 데이터는 NVMe SSD에 최종 저장되어 미디어간 데이터 이동, 티어링을 하지 않아 데이터 집약적인 AI 워크로드에서 성능을 극대화한다. 그래서 HPE Alletra MP File 스토리지는 생성형 AI 및 LLM 등을 비롯한 가장 까다롭고 데이터 집약적인 AI 워크로드 전반에서 빠르고 일정한 수준을 유지하는 성능을 제공할 수 있다.

AI 용 레거시 파일 스토리지에는 또 다른 문제가 있다. 전문 지식을 가진 엔지니어만이 스토리지를 다룰 수 있으며 유지보수관리를 위해 복잡하고 어려운 명령어 기반의 수동 작업이 필요한 경우가 바로 그것이다. 이로 인해 조직은 새로운 AI 모델의 가치 창출 보다는 반복적이고 일상적인 관리 업무에 많은 시간을 소모하게 된다.

▲ HPE 그린레이크 센트럴 대시보드에서 비용 및 시스템 활용 현황을 확인하는 모습

HPE Alletra MP File은 누구나 쉽고 간편하게 다룰수 있는 GUI에서 모든 관리가 이루어지며 운영 및 관리 오버헤드를 줄이고 AI를 통한 생산성 향상에 기여를 한다. 더 이상 전문 지식과 복잡한 설정 프로세스가 필요하지 않으며 새로운 개발 및 혁신에 걸리는 시간을 단축할 수 있다. 추가적으로 HPE 그린레이크 플랫폼(HPE GreenLake Platform)에서 동작하는 클라우드 관리 콘솔을 제공하여 언제 어디서나 모든 기기에서 엑세스할 수 있는 통합 관리를 제공한다. 스마트폰처럼 최적의 버전에 대한 업데이트 알림을 주고 시스템 중단 없이 업그레이드를 수행할 수 있다. 또한, 블록스토리지, HCI, 백업/복구, 재해복구, SAN 스위치 등을 함께 통합된 환경에서 관리할 수 있어 인프라 관리에 소요되는 시간과 인력, 노력을 최소화 할 수 있다.

데이터 집약적인 AI 모델은 스토리지 용량, 상면, 전력 소비와 관련해 충족해야할 사항들이 매우 많다. 하지만 레거시 NAS 스토리지는 집적성, 단위 TB당 비용, 전력 효율성 등의 요구사항을 충족하기에는 턱없이 부족하다.

반면, HPE Alletra MP File은 단위 랙 유닛 밀도당 4배 더 많은 용량과 절반의 전력 소비로 AI 스토리지 비용을 절감한다. 또한, 업계 최고의 데이터 중복제거/압축/유사성제거 기술, 무중단 업그레이드, 낭비 자원을 방지하는 애즈어서비스(as-a-Service) 구독형 AI 스토리지 모델을 통해 탄소 배출량도 줄일 수 있다. 뿐만 아니라 성능과 용량을 독립적으로 확장 가능하여 확장 효율성을 높이면서도 비용은 절감시킬 수 있고, NVIDIA의 GPUDirect Storage 기능을 완벽 지원하여 GPU 사용률을 극대화함으로써 GPU의 투자수익(ROI)을 최대화할 수 있다.

용량 효율성 측면을 살펴보면, 업계 유일의 유사성 제거 기능을 통해 중복제거, 압축과 더불어 한번 더 용량을 절감하여 저장할 수 있다. 유사성 제거는 매우 정교한 방식으로 데이터를 줄여주는 기술로 생명과학 데이터의 경우 2:1, 중복제거된 백업, 압축 로그 파일, HPC 및 애니메이션 데이터의 경우 3:1, 그리고 비압축 시계열 데이터의 경우 8:1의 비율로 절감 효과가 있다.

HPE Alletra MP File 스토리지는 엔비디아 퀀텀-2(NVIDIA Quantum) 플랫폼과의 우수한 호환성을 제공하며, 인피니밴드 (Infiniband), NVIDIA GPUDirect® 연동을 통한 AI 모델 생성시 체크포인트를 신속하게 생성할 수 있어 GPU 활용을 최적화 하고 AI 워크로드를 가속화한다.

조직이 AI 당면 과제를 해결하고 오늘날의 시장에서 경쟁하려면 엔터프라이즈급 성능, 간편성, 효율성을 모두 제공할 수 있는 전용의 AI 파일 스토리지가 필요하다. AI 워크로드를 진정으로 가속화하려면 이 세 가지 역량을 모두 필수적으로 갖춰야 한다. HPE Alletra MP File은 각 역량을 모두 제공하도록 설계되었으며 학습, 추론, 튜닝의 모든 AI 단계에 적합하다. AI 뿐만 아니라 HPC, 데이터레이크, 생명과학, 금융, 미디어 & 엔터테인먼트, 교육, 제조 등의 모든 워크로드를 포괄하는 유일한 솔루션으로 데이터를 활용하여 가치를 창출해내려는 모든 기업에 최고의 지원을 제공한다.