영국의 반도체 설계(IP) 및 IoT 서비스 기업 Arm이 방대한 양의 IoT 데이터를 처리할 수 있는 ‘AI 엣지(AI Edge)’를 실현하기 위한 비전을 발표했다. Arm은 Armv8-A 아키텍처 업데이트에 bfloat16 데이터 포맷을 추가해 Arm 기반 CPU의 훈련 및 추론(Training and inferencing) 성능을 크게 향상시킬 계획이라고 밝혔으며, 내년에 출시될 네오버스 ‘제우스(Zeus)’ 플랫폼에도 bfloat16을 지원해 IoT 산업 내 선도적인 입지를 공고히 할 예정이다. 또한, Arm은 프로젝트 카시니(Project Cassini)를 공개하여 안전하고 효율적인 AI 엣지 활용 방식을 제시했다.

AI, 5G, IoT로 정의되는 컴퓨팅 기술의 제5의 물결(Fifth Wave of Computing)은 계속해서 놀라운 변화를 일으키고 새로운 데이터 소비 모델들의 등장을 이끌고 있다. 일례로, IoT는 아직 초기 단계에 있지만 작은 센서들로 구성된 글로벌 네트워크의 형태로부터 진화해 지능형 비디오 센서와 자율 기계를 아우르는 고성능 엔드포인트의 형태로 발전하고 있다.

IoT가 전세계적인 디지털 전환을 가속화하고 있는 가운데, 클라우드로 빠르게 업스트림 되는 방대한 양의 데이터는 오랜 기간 다운스트림 배포에 최적화되어 있던 네트워크 인프라에 균열을 가져오고 있다. 이에 따라 글로벌 인터넷 인프라 전반에 걸쳐 컴퓨팅을 분산하는 수요가 급격히 늘고 있고, Arm 네오버스(Neoverse) 컴퓨팅 솔루션에 대한 수요도 증가하고 있다. Arm 에코시스템은 이러한 과제에 분명히 대응해왔다. Arm IPG 전략 및 운영 부문 선임 부사장인 드류 헨리(Drew Henry는 "Arm이 구상했던 초기의 네오버스 기획을 지금의 모습으로 빠르게 발전시킨 지난 한 해의 성과가 매우 자랑스럽다"고 말했다.

클라우드에서 시작된 AI, 이제 제우스(Zeus)를 만나야 할 때...
드류 헨리 부사장은 지난 10월 8일부터 10일까지 미국 캘리포니아 산호세에서 개최된 Arm 테크콘 2019(Arm TechCon 2019) 행사의 기조 연설에서 Arm이 앞으로 나아갈 방향에 대해 설명했다. 드류 헨리 부사장은 차세대 인프라 기술의 초석 역할을 할 Arm의 기술에 대해 소개했으며, 특히 AI가 덜 중앙화 된 방식으로 운영되어야 하는 이유를 강조했다.

현재 대부분의 복잡하고 어려운 AI 작업들은 클라우드 상에서 진행된다. 대규모 데이터셋이 집중되고 특히 머신러닝 모델을 훈련시키는 경우에는 특정 작업을 위한 컴퓨팅이 필요하기 때문이다. 그러나 이러한 모델을 실제로 적용할 때, 결정이 이뤄져야 할 지점 근처에서 추론이 이뤄지면 클라우드 중심의 AI 모델은 제 역할을 하기 어려워진다. 모델 비교를 위해 데이터가 수천 마일 떨어진 데이터 센터까지 이동해야 하기 때문에 지연 시간이 길어질 뿐만 아니라, 데이터가 다시 돌아왔을 때 해당 결정이 여전히 유용한지 여부도 보장할 수 없기 때문이다. 시간이 매우 중요한 상황에서는 클라우드에서 엣지로 정보를 분산하는 것이 적합하다.

Arm과 Arm 에코시스템 파트너사들은 다양한 솔루션을 활용해 인터넷 전반의 모든 곳에서 AI를 유리하게 활용할 수 있다. 클라우드와 인프라를 위한 Arm 네오버스 플랫폼과 AI 가속 기술에서부터 엔드포인트의 모든 요구 사항을 충족하는 AI 기반 Arm CPU, NPU, GPU까지 광범위한 솔루션들이 이미 시장에 출시돼 있다.

Arm은 여기서 한 걸음 더 나아가, 다음 Armv8-A 아키텍처 업데이트에 bfloat16 데이터 포맷을 추가할 것이라고 최근 발표했다. 이를 통해 Arm 기반 CPU의 훈련 및 추론 성능을 크게 향상시킬 계획이다. 뿐만 아니라 Arm은 내년에 출시될 네오버스 ‘제우스(Zeus)’ 플랫폼에도 bfloat16을 지원할 예정이라고 밝히며 민첩한 대응을 예고했다.

엣지 컴퓨팅의 확장
엣지에 의사 결정 기능이 요구되면서, AI는 두 가지 역할을 동시에 하게 된다. 데이터에 저장된 정보를 기반으로 시의적절한 결정을 내리는 일 뿐만 아니라, 방대한 양의 데이터가 적절한 장소로 이동해야 하는 경우에는 AI가 데이터 흐름 관리부터 패킷 검사까지 모든 작업을 지원해야 한다. 이는 훈련과 추론의 문제로, 통상적인 컴퓨팅 시스템에서는 진행할 수 없다. 기존에는 인터넷 엣지에서 네트워크 브릿지의 역할을 해왔던 기술이 빠르게 지능형 컴퓨팅 플랫폼으로 진화해 이제는 'AI 엣지' 분야로 성장했다. 이는 2025년까지 총 유효시장(TAM) 300억 달러의 컴퓨팅 반도체 산업으로 성장할 것으로 예상된다.

엣지에서 AI 기술을 활용하는 것에는 많은 이점이 따른다. 클라우드로의 백홀(backhaul)을 크게 줄일 수 있고, 지연 시간을 단축할 수 있으며, 신뢰성과 효율성, 보안을 향상시킬 수 있다. 전 세계에 배치된 디바이스들이 빠르게 인사이트를 제공함에 따라 각 모델은 실시간으로 향상되어야 한다. 이러한 환경에서 AI 기술을 엣지에 활용하는 것은 필수적이다.

AI 엣지를 활성화하다: 프로젝트 카시니
AI 엣지를 활용하는 애플리케이션을 성공적으로 배치하기 위해서는 광범위한 전력 및 성능 요구 사항을 충족하는 다양한 솔루션을 제공해야 한다. 한 업체에게 적합한 솔루션이 다른 모든 업체에도 적합하지는 않을 것이다. AI 엣지는 AI 중심적으로 운영되어야 하며, 클라우드 네이티브인 동시에 데브옵스(devops, 개발과 운영이 협업하는) 방식으로 관리돼야 한다. 또한, 가상 기계 등의 기기를 통해 가상 현실화되어야 하며, 멀티테넌시(multitenancy)를 지원해야 한다. 무엇보다 중요한 것은 보안상 안전해야 한다는 점이다.

인프라 엣지를 형성하는 현재의 솔루션들은 매우 다양한 에코시스템에서 탄생하며, 에코시스템은 이러한 새로운 요구 사항을 충족하기 위해 빠르게 변화하고 있다. Arm은 이러한 AI 엣지 전환의 문제를 해결하기 위해 프로젝트 카시니를 발표했다. 프로젝트 카시니는 다양하고 안전한 엣지 에코시스템 전반에 걸쳐 클라우드 네이티브 경험을 제공하는 것에 초점을 맞춘 이니셔티브다.

프로젝트 카시니는 하드웨어 및 펌웨어 플랫폼 요구사항, 플랫폼 관리 소프트웨어, 보안 등 세 가지 영역을 주로 다루고 있다. 드류 헨리 부사장은 "프로젝트 카시니와 관련해서 특히 강조하고 싶은 부분은 Arm과 Arm 에코시스템 파트너사들이 협력해온 보안 부문"이라고 말했다. Arm은 2년 전 플랫폼 시큐리티 아키텍처(Platform Security Architecture, PSA)를 발표하고, 기업들이 제품 수준의 IoT 보안과 관련된 비용, 시간, 위험을 줄일 수 있는 공통적인 요구 사항에 대응할 보안 기능을 설계할 수 있도록 지원했다. 오늘날 프로젝트 카시니는 모든 기본적인 보안 요건을 표준화한다는 목표 하에 PSA를 인프라 엣지로 확장하여 모멘텀을 이어가고 있다.

발전하는 도전과제에 대한 대처
2035년까지 1조 개의 IoT 디바이스가 사용될 것으로 예상되면서, 새로운 규모의 인프라 및 아키텍처 관련 도전 과제가 제기될 것으로 보인다. 드류 헨리 부사장은 "앞서 언급했듯이, Arm의 기술력은 진화를 거듭해 새로운 도전 과제에 대처에 해야 한다. 엣지 컴퓨팅과 관련해서 Arm은 인프라 스택 내 모든 지점에서 지능적인 의사 결정이 이뤄질 수 있도록 하드웨어, 소프트웨어, 툴 개발에 집중적으로 투자할 것"이라고 말했다. 이어 "이는 클라우드에서 엣지, 그리고 엔드포인트 디바이스에 이르기까지 네트워크 전반에 걸쳐 프로세서 수준의 이기종 컴퓨팅을 사용해야 한다는 것"이라고 설명했다.