AI/ML, 클라우드, 스토리지 및 5G/엣지를 위한 토탈 IT 솔루션의 글로벌 리더 슈퍼마이크로컴퓨터(Super Micro Computer, Inc.(SMCI), 이하 슈퍼마이크로)가 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 발표했다. 최신 솔루션은 현재는 물론 미래의 LLM(Large Language Model; 대형 언어 모델) 인프라에도 적합한 핵심 빌딩 블록을 제공한다.

슈퍼마이크로의 탁월한 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치(Batch)와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 마지막으로 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화돼 있다.

찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다. 슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"며, "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 덧붙였다

이어서 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다. 그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적이다. 상호 연결된 GPU, CPU, 메모리, 스토리지 및 네트워킹이 랙 내 여러 노드에 걸쳐 구축될 때 최신 AI를 구현할 수 있다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 생성형 AI와 LLM이 빠르게 발전하고 있는 만큼 핵심 빌딩 블록으로 제공된다"고 설명했다.

카우츠브 상하니 (Kaustubh Sanghan) 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며, “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 말했다.

슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 또한 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C(Direct-to-Chip) 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다.

엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다.

조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gb/s 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다.

슈퍼마이크로의 엔비디아 MGX™ 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다.

▲ 슈퍼마이크로 생성형AI 슈퍼클러스터 솔루션 포트폴리오

랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터
- 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개 탑재
- 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원
- 확장 가능한 유닛 하나에 엔비디아 H100이 포함된 20TB HBM3 또는 엔비디아 H200이 포함된 36TB HBM3e 탑재
- 1:1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지 활성화
- 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭
- 업계 최고의 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭
- 엔비디아 AI Enterprise 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원

랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터
- 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩 장착
- 클라우드 규모, 대용량, 짧은 지연 시간 및 대규모 배치 추론에 적합한 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델 수용
- 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭
- 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치 제공
- 엔비디아 블루필드-3 DPU와 업계 최고의 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스 제공
- 엔비디아 AI 엔터프라이즈 5.0 소프트웨어

슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 최고의 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다.