ML커먼스(MLCommons)는 업계 표준 추론(inference) 벤치마크 ‘MLPerf v4.0’ 결과를 발표했다. 인텔® AMX(Intel® Advanced Matrix Extensions)가 포함된 5세대 인텔® 제온®(Intel® Xeon®) 스케일러블 프로세서 및 인텔® 가우디® 2(Intel® Gaudi® 2) 가속기에 대한 벤치마크 결과는 인텔이 경쟁력을 갖춘, 폭넓은 제품 포트폴리오를 통해 “AI 에브리웨어(AI Everywhere)”를 실천하겠다는 의지를 보여준다. 인텔 가우디 2 AI 가속기는 생성형 AI(GenAI) 성능에 있어 엔비디아 H100 대비 벤치마크 결과를 공개하는 유일한 대안이며 가격 대비 성능 면에서 우수한 경쟁력을 가지고 있다. 또한 인텔은 MLPerf 결과를 공개하는 유일한 서버 CPU 공급업체이기도 하다. 인텔 5세대 제온의 벤치마킹 결과는 MLPerf 인퍼런스 v3.1(MLPerf Inference v3.1)에서 4세대 인텔 제온 프로세서의 결과와 비교하여 평균 1.42배 향상되었다.

인텔 DCAI 제품 관리 총괄 제인 볼(Zane Ball) 부사장은 “인텔은 가속기 및 CPU 제품 전반에 걸쳐 업계 표준 벤치마크 결과 AI 성능을 지속적으로 개선하고 있다”라며 “이번 결과는 인텔이 고객의 역동적이고 광범위한 AI 요구 사항을 충족하는 AI 솔루션을 제공하고 있음을 보여주고 있다. 인텔 가우디 및 제온 제품 모두 고객에게 즉시 제공가능한 옵션과 강력한 가격 대비 성능상의 이점을 제공한다”고 밝혔다.

기존 MLPerf 라운드의 학습 및 추론 성능에 기반해 인텔의 MLPerf 결과는 고객들이 AI 성능을 평가할 수 있는 업계 표준 벤치마크 결과를 제공한다.

인텔® 가우디® 소프트웨어 제품군은 널리 사용되는 LLM(대규모 언어 모델) 및 멀티모달(multimodal) 모델의 모델 적용 범위를 지속적으로 확대하고 있다. MLPerf 인퍼런스 v4.0의 경우 인텔은 최첨단 모델 스테이블 디퓨전 XL(Stable Diffusion XL) 및 Llama v2-70B에 대한 가우디 2 가속기 결과를 제출했다. 텍스트 생성 추론(Hugging Face Text Generation Inference)에 대한 높은 고객 요구로 가우디의 Llama 결과에서는 연속 일괄 처리 및 텐서 병렬 처리를 지원하는 TGI 툴킷을 사용하여 실제 LLM 확장의 효율성을 향상시켰다. Llama v2-70B의 경우 가우디 2는 각각 오프라인 및 초당 서버 토큰에 대해 8035.0 및 6287.5를 제공했다. 또한 스테이블 디퓨전 XL에서 가우디 2는 초당 오프라인 샘플 및 초당 서버 쿼리에 대해 각각 6.26 및 6.25를 제공했다. 이러한 결과에 기반해 인텔 가우디 2는 TCO(총소유비용)면에서 중요한 고려 사항인 경쟁력있는 가성비를 지속적으로 제공하고 있다.

하드웨어 및 소프트웨어 개선에 따라 인텔 5세대 제온 테스트 결과는 MLPerf 인퍼런스 v3.1에서 4세대 인텔 제온 프로세서 대비 기하 평균이 1.42배 향상되었다. 예를 들어 연속 일괄 처리를 포함한 소프트웨어 최적화를 갖춘 GPT-J의 경우 5세대 제온은 v3.1에 비해 약 1.8배의 성능 향상을 보였다. 마찬가지로 DLRMv2는 인텔 AMX를 활용하는 MergedEmbeddingBag 및 기타 최적화를 통해 약 1.8배의 성능 향상과 99.9의 정확도를 보였다.

인텔은 시스코(Cisco), 델(Dell), 콴타(Quanta), 슈퍼마이크로(Supermicro), 위윈(WiWynn)와 같은 OEM 파트너와의 협력을 통해 자체 MLPerf 제출을 제공한 데 대해 자부심을 가지고 있다. 또한 인텔은 2020년부터 4개 세대의 제온 제품에 대한 MLPerf 결과를 제출했으며 제온은 많은 가속기의 결과 제출시 사용된 호스트 CPU이기도 하다.

인텔 개발자 클라우드에서 AI 솔루션을 사용해 보는 방법: 5세대 제온 프로세서와 인텔 가우디 2 가속기는 인텔® 개발자 클라우드(Intel Developer Cloud)에서 사용해볼 수 있다. 이 환경에서 사용자는 소규모 및 대규모 학습(LLM 또는 GenAI)과 추론 생산 워크로드를 대규모로 실행하고 AI 컴퓨팅 리소스 등을 관리해볼 수 있다.

한편 인텔은 오는 인텔 비전 2024(Intel Vision 2024)에서 인텔 가우디 3 AI 가속기에 대한 업데이트 및 “AI 에브리웨어” 구현 전략에 대해 공유할 예정이다.