AI/ML, 클라우드, 스토리지 및 5G/엣지를 위한 토탈 IT 솔루션의 글로벌 기업 슈퍼마이크로컴퓨터(Super Micro Computer, Inc.(SMCI), 이하 슈퍼마이크로)가 ‘국제 슈퍼컴퓨팅 컨퍼런스(ISC 2024)’에 참가해 데이터센터 전력 소모량 감축과 동시에 AI 및 HPC 용량 확장을 목표로 할 때 직면하는 까다로운 요구사항을 충족할 수 있는 방안을 발표했다.

슈퍼마이크로는 콜드 플레이트, CDU, CDM, 냉각탑 전체 등을 포함한 완전한 수냉식 냉각 솔루션을 제공한다. 데이터센터에 수냉식 냉각 서버 및 인프라를 도입할 경우 데이터센터의 PUE가 크게 감소해 총 전력 소비량을 최대 40%까지 줄일 수 있다.

찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 "슈퍼마이크로는 데이터센터에 종합 수냉식 냉각 솔루션과 같은 최신 기술을 도입하기 위해 AI 및 HPC 고객과 지속적으로 협력하고 있다"며, "슈퍼마이크로의 완전한 수냉식 냉각 솔루션은 랙당 최대 100kW를 처리할 수 있다. 이로 인해 데이터센터의 TCO(total cost of ownership; 총 소유 비용) 감축과 AI 및 HPC 컴퓨팅의 집적도 향상이 가능하다. 당사는 빌딩 블록 아키텍처를 통해 최신 GPU와 가속기를 시장에 출시하고 있다. 또한, 새로운 랙 스케일 솔루션을 지속적으로 출시함으로써 고객에게 보다 신속하게 제품을 공급하고 있다. 이 프로세스는 검증된 공급업체와 함께 이루어진다”고 설명했다.

슈퍼마이크로 애플리케이션에 최적화된 고성능 서버는 최고 성능의 CPU 및 GPU를 탑재해 시뮬레이션, 데이터 분석 및 머신 러닝에 적합하다. 독보적인 성능을 자랑하는 슈퍼마이크로 4U 8-GPU 수냉식 냉각 서버는 엔비디아 H100/H200 HGX GPU를 통해 집적도가 높은 폼팩터에서 페타플롭스(PetaFlops) 수준의 AI 컴퓨팅 성능을 제공한다. 슈퍼마이크로는 곧 수냉식 X14 8U/6U 슈퍼블레이드, 랙마운트 X14 하이퍼, 그리고 슈퍼마이크로 X14 빅트윈을 출시할 예정이다. 다양한 HPC 최적화 서버 플랫폼이 P 코어(Performance Core; 성능 코어)를 탑재한 콤팩트 멀티 노드 폼팩터 형태로 인텔 제온 6900을 지원한다.

슈퍼마이크로는 업계에서 가장 광범위한 수냉식 냉각 MGX 제품 포트폴리오를 지속적으로 출시하며 업계를 선도하고 있다. 최근에는 새로운 인텔 가우디 3 가속기 및 AMD MI300X 가속기와 함께 인텔의 최신 가속기 지원을 확정했다. 랙당 최대 120개의 노드를 제공하는 슈퍼마이크로 슈퍼블레이드를 사용하면 대규모 HPC 애플리케이션을 단 몇 개의 랙에서 실행할 수 있다. 슈퍼마이크로는 인텔 제온 6 프로세서를 통합한 슈퍼마이크로 X14 서버를 비롯해 다양한 제품군을 ISC 2024에서 선보였다.

한편, 슈퍼마이크로는 ISC 2024에서 HPC 및 AI 환경을 위해 특별히 설계된 폭넓은 솔루션을 선보이고 시연했다. 슈퍼마이크로의 새로운 4U 8-GPU 수냉식 냉각 서버는 엔비디아 HGX H100 및 H200 GPU를 탑재한 대표적인 제품군이다. 해당 제품을 비롯한 다양한 서버들이 출시되는 대로 엔비디아 B200 HGX GPU를 지원할 예정이다. 새로운 시스템은 고급 GPU를 탑재했으며, 고속 HBM3 메모리를 사용해 기존 시스템보다 더 많은 데이터를 GPU에 보다 가까이 가져와 AI 훈련 및 HPC 시뮬레이션을 가속화한다. 4U 수냉식 냉각 서버의 뛰어난 집적도로 인해 단일 랙이 (서버 8개 x GPU 8개 x 1979 Tflops FP16(희소성 포함)) 126 이상 페타플롭스를 제공한다. 슈퍼마이크로 SYS-421GE-TNHR2-LCC는 듀얼 4세대 또는 5세대 인텔 제온 프로세서를 사용할 수 있으며 AS -4125GS-TNHR2-LCC는 듀얼 4세대 AMD EPYC CPU와 함께 사용할 수 있다.

새로운 AS -8125GS-TNMR2 서버는 사용자에게 8개의 AMD 인스팅트 MI300X 가속기에 대한 액세스를 제공한다. 이 시스템에는 최대 128개 코어 및 256개 스레드와 최대 6TB 메모리를 갖춘 듀얼 AMD EPYC 9004 시리즈 프로세서도 포함됐다. 각 AMD 인스팅트 MI300X 가속기에는 GPU당 192GB의 HBM3 메모리가 포함됐으며, 모두 AMD 범용 베이스 보드(UBB 2.0)와 연결됐다. 또한 새로운 AS -2145GH-TNMR-LCC 및 AS -4145GH-TNMR APU 서버는 MI300A APU를 통한 HPC 워크로드의 가속화를 목표로 한다. 각 APU는 고성능 AMD CPU, GPU, 그리고 HBM3 메모리를 탑재했으며, 912개의 AMD CDNA 3 GPU 컴퓨팅 유닛, 96개의 'Zen 4' 코어 및 512GB의 통합 HBM3 메모리를 단일 시스템으로 제공한다.

또한, 슈퍼마이크로는 ISC 2024에서 인텔 가우디 3 AI 액셀러레이터를 탑재한 8U 서버를 소개했다. 이 신규 서버는 AI 훈련 및 추론을 위해 설계됐으며, 기존 이더넷 패브릭과 직접 연결될 수 있다. 모든 인텔 가우디 3 가속기에 24개의 200Gb 이더넷 포트가 통합돼 유연한 개방형 표준 네트워킹을 제공한다. 또한 128GB의 HBM2e 고속 메모리가 포함된다. 인텔 가우디 3 가속기는 단일 노드에서 수천 개의 노드까지 효율적으로 확장 및 추가될 수 있도록 설계됐다. 이로 인해 생성형 AI 모델의 까다로운 요구 사항의 충족이 가능하다. 대규모 HPC 및 AI 워크로드에 필수적인 슈퍼마이크로의 페타스케일 스토리지 시스템도 전시될 예정이다.

데이터센터 관리 소프트웨어용 슈퍼마이크로 슈퍼클라우드 컴포저를 시연했다. 이를 통해 모든 수냉식 냉각 서버의 상태를 비롯해 단일 콘솔에서 전체 데이터센터를 모니터링하고 관리할 수 있는 방법을 공유했다.

▲ 슈퍼마이크로 AI 및 HPC 서버