엔비디아(www.nvidia.com, CEO 젠슨 황)가 현지시간 지난 5월 8일부터 11일까지 나흘 간 미국 캘리포니아 산호세에서 개최된 엔비디아 GPU 테크놀로지 컨퍼런스(GPU Technology Conference, 이하 GTC)의 주요 성과를 발표했다.

7,000여명의 전세계 개발자 및 업계 전문가들이 모인 가운데 진행된 올해 GTC에는 150개 기업이 전시에 참여하고, 600여개 기술 세션이 진행되는 등 사상 최대 규모를 기록했다. 전 세계 상위 15대 기술 기업이 참가했으며, 세계 10대 자동차 제조사, 100여 개 이상의 인공지능 및 VR 분야 스타트업이 참여해 자리를 빛냈다.

이처럼 성공적으로 마무리된 GTC는 인공지능에 대해 의구심을 가지고 있던 사람들을 포함해 모든 사람들에게 인공지능 혁명의 놀라운 발전 속도를 보여주는 자리가 됐다. GTC 기간 동안 미디어, 엔터테인먼트, 제조, 의료, 운송 분야의 세계적인 기업들이 GPU 컴퓨팅에 기반한 자사의 놀라운 기술적 발전에 대해 공유했다.

이러한 성공적인 GTC 개최의 배경에는 강력한 주요 트렌드들 간 융합이 있었다. 컴퓨팅 파워의 발전은 ‘무어의 법칙’의 정체 현상을 타개하는 기반이 되었으며, 이를 통해 인공지능 역시 비약적인 발전을 할 수 있었다. 인공지능 개발자들은 경쟁적으로 새로운 프레임워크를 구축, 현 시대의 난제를 해결하는데 적극 나서고 있으며, 각자의 인공지능 소프트웨어를 강력한 클라우드 서비스에서 클라우드 말단에 위치한 다양한 기기에 이르기까지 모든 영역에서 구동시키길 원하고 있다.

인공지능 컴퓨팅의 시대는 곧 GPU 컴퓨팅의 시대

올해 GTC에서 엔비디아는 CUDA 발명 이후, 가장 위대한 세대 발전의 결정체라 할 수 있는 볼타(Volta)를 공개했다. 210억 개의 트랜지스터를 장착한 볼타는 엔비디아에 최적화된 12nm TSMC 공정을 기반으로 하며, 삼성의 최고속 HBM 메모리를 탑재하고 있다. 또한 새로운 숫자 형식 및 CUDA 명령을 통해 기본적인 딥 러닝 연산인 4x4 행렬 연산을 매우 빠른 속도로 수행할 수 있는 것이 특징이다.

각각의 볼타 GPU는 120 테라플롭에 이른다. 또한 엔비디아의 인공지능 슈퍼컴퓨터인 DGX-1은 8대의 테슬라 V100 GPU를 상호 연결해 1 페타플롭에 가까운 딥 러닝 성능을 낼 수 있다.

구글(Google) TPU
지난 주 구글은 자사의 I/O 컨퍼런스에서 45 테라플롭의 성능을 갖춘 TPU2 칩을 발표한 바 있다.

인공지능 컴퓨팅 분야에서 경쟁 관계에 있는 엔비디아와 구글, 두 기업이 긴밀한 협업을 통해 텐서플로우(TensorFlow) 성능 조정 및 엔비디아 CUDA GPU를 통한 구글 클라우드 가속화를 함께 추진하는 모습은 인상적이다. 두 기업 모두 인류 역사상 가장 위대한 기술인 인공지능을 보다 대중화하여 널리 보급시키기 위해 노력하고 있다.

무어의 법칙의 종말을 통한 폭발적 성장

데나드 스케일링(Dennard scaling)과 CPU 아키텍처 발전의 결합에 기반한 무어의 법칙이 10여 년 전부터 둔화되기 시작했음에도 불구하고, 인공지능 혁명은 도래했다. 트랜지스터의 크기와 전압을 줄임으로써 설계자가 전력밀도는 유지하는 동시에 트랜지스터의 밀도 및 속도를 개선할 수 있다는 데나드 스케일링은 이제 장치 물리학(device physics)에 의해 제한되고 있다.

CPU 설계자들은 명령어 수준 병렬성(ILP: instruction-level parallelism)만을 구현할 수 있을 뿐이며, 이 마저도 회로와 에너지는 여전히 증가하게 된다. 따라서 무어의 법칙 이후의 시대에서는 CPU 트랜지스터와 에너지가 대규모로 증가함에도 애플리케이션 성능 향상은 상대적으로 미약한 수준에 머물게 된다. 과거에는 연간 50%의 성능 개선을 이루었던 것에 비해, 최근의 성능 개선은 연간 10%에 불과하다.

엔비디아가 이끌어 온 가속 컴퓨팅 접근 방식은 알고리즘의 특정 영역을 대상으로 한다. CPU 오프로드(offload)를 위해 전문화된 프로세서를 추가하고, 산업별 개발자들이 참여해 엔비디아의 아키텍처용으로 최적화함으로써 자신들의 애플리케이션을 가속화한다. 엔비디아는 알고리즘, 솔버, 애플리케이션 등 전반적인 부문에서 모든 병목 현상을 제거함으로써 빛의 속도를 달성할 수 있도록 지원하고 있다.

이러한 이유로 볼타가 인공지능 작업 부하에서 놀라운 속도를 낼 수 있는 것이다. 볼타는 최고 테라플롭에서 현 세대 엔비디아 GPU 아키텍처인 파스칼(Pascal) 대비 5배 향상됐으며, 2년 전 출시된 맥스웰(Maxwell) 아키텍처 대비 15배 가량 개선돼, 무어의 법칙으로 예측할 수 있는 수준을 넘어서고 있다.

인공지능을 향한 접근 가속화

성능의 비약적인 발전은 모든 산업에서 혁신 기업들의 탄생을 가져왔으며, GPU 중심의 인공지능 서비스를 구축하고 있는 스타트업의 숫자는 지난 한 해 동안 4배 이상 증가해 1,300개에 이른다.

그 누구도 새로운 기회를 놓치고 싶어하지 않는다. 마크 안드레센(Marc Andreessen)은 소프트웨어가 세상을 먹어 치우고 있다고 말했으나, 이제는 인공지능이 소프트웨어를 먹어 치우고 있다고 표현 할 수 있을 것이다.

GitHub 오픈소스 소프트웨어 등록 사이트에서 선도적인 AI 프레임워크를 활용하고 있는 개발자들의 수는 지난 2년 사이 5천 명 미만에서 7만 5천 명 이상으로 증가했다.

딥 러닝은 모든 주요 기술 기업들에게 당면한 전략적 과제이다. 딥 러닝은 인프라에서 도구, 제품 생산 방식에 이르기까지 모든 영역에 빠르게 스며들고 있다. 엔비디아는 최상의 성능 구현을 위해 모든 프레임워크 개발업체들과 협력하고 있다. 각 프레임워크를 엔비디아의 GPU용으로 최적화함으로써, 하나의 모델을 트레이닝 하는데 필요한 수백 회의 반복 작업을 매번 수시간 내지 수일 가량 개선할 수 있다. Caffe2, Chainer, Microsoft Cognitive Toolkit, MXNet, PyTorch, TensorFlow의 모든 네트워크가 볼타 용으로 세심하게 최적화될 예정이다.

엔비디아는 개발자들이 어디서든 어떤 프레임워크를 통해서든 자신의 작업을 할 수 있는 환경을 창출하고자 한다. 내부적으로 데이터를 유지하고 싶은 기업을 위해 엔비디아는 강력한 신규 워크스테이션 및 서버를 GTC에서 소개했다.

2,470억 달러 규모의 공공 클라우드 서비스 시장은 가장 활기 넘치는 시장이라 할 수 있다. 지난 6개월 간, 알리바바, 아마존, 바이두, 페이스북, 구글, IBM, 마이크로소프트, 텐센트가 자사의 데이터센터에 엔비디아 GPU를 활용했다.

혁신 기업들이 이러한 클라우드 서비스로 무리없이 이동할 수 있도록 돕기 위해, 엔비디아는 GTC에서 엔비디아 GPU 클라우드 플랫폼을 발표했다. 엔비디아 GPU 클라우드 플랫폼에는 모든 프레임워크의 사전 구성 및 최적화된 스택이 등록되어 있다. 소프트웨어의 각 레이어와 모든 조합 구성이 미리 조정, 테스트 및 패키지로 구성되어 NVDocker 컨테이너에 수록되어 있다. 엔비디아는 앞으로 이를 꾸준히 보강 및 유지할 계획이다. 발견되는 모든 버그는 수정 작업을 진행 중이며, 무리 없이 가동되고 있다.

자동화 기기의 급속한 성장
미가공 데이터에서 특징을 잡아내는 딥 러닝의 능력에 기반해 자동화 기기의 급성장을 위한 제반 조건이 마련됐다. 바로 인공지능을 갖춘 사물 인터넷이다. 인공지능에 기반한 수십 억, 수조 억 개의 기기들이 생겨날 것으로 예측되고 있다.

GTC에서 엔비디아는 세계 10대 기업이자 세계에서 가장 존경받는 기업 중 하나인 토요타(Toyota)가 자사의 자율주행 차량을 위해 엔비디아를 선택했다고 발표했다.

엔비디아는 로봇 제작을 위한 가상 로봇인 아이작(Isaac)도 발표했다. 현재의 로봇은 일일이 프로그래밍 되어 오직 프로그램된 작업만을 정확하게 처리한다. 자율주행 차량을 해결하는데 필요한 컴퓨터 비전이라는 획기적인 기술을 나선형의 뉴럴 네트워크를 통해 확보했듯이, 증강 학습과 모방 학습이 로봇 기술을 해결하는데 필요한 획기적인 기술일지 모른다.

일단 트레이닝을 거친 로봇의 브레인은 모듈 형태의 엔비디아 인공지능 슈퍼컴퓨터인 젯슨(Jetson)으로 다운로드 된다. 로봇은 가상과 실제 세계 사이의 차이에 적응하게 된다. 새로운 로봇이 탄생하는 것이다. GTC에서 하키 및 골프 치는 방법을 학습한 아이작이 공개됐다.

엔비디아는 딥 러닝 액셀러레이터(Deep Learning Accelerator, DLA)를 오픈 소스로 제공하고 있다. 엔비디아는 인공지능 차량용 슈퍼칩인 자비에(Xavier superchip for AI cars)에 탑재된 전용 추론 TPU인 본 액셀러레이터를 통해 인공지능이 가능한 한 빠르게 도입되길 희망하고 있으며, 이를 통해 인공지능을 도입하려는 기업들이 별도로 추론용 TPU 구축에 투자할 필요가 없도록 지원하고 있다. 엔비디아는 세계적인 칩 디자이너들이 설계한 제품을 무료로 제공하고 있다.

우리 시대의 아인슈타인과 다빈치를 기다리며
지금까지 엔비디아 GPU 컴퓨팅이 우리 시대의 다빈치와 아인슈타인과 같은 개발자들을 위한 핵심 도구로 자리잡을 수 있었던 비결을 단적으로 보여주는 사례들을 소개했다. 개발자들에게 엔비디아는 타임 머신에 맞먹는 비약적인 기술적 발전을 제공하고 있다. 3D 그래픽에 대한 지칠 줄 모르는 기술적 수요와 게이밍 시장의 규모를 토대로, 엔비디아는 GPU를 컴퓨터의 뇌로 진화시키는데 성공했으며 이를 통해 컴퓨터 그래픽, 컴퓨터 비전, 인공지능이 만나는 흥미로운 혁신의 시대를 열어가고 있다.