엔비디아(www.nvidia.co.kr, CEO 젠슨 황)는 미 우편국(USPS)이 우편업무 혁신을 위해 엔비디아 EGX 플랫폼 기반의 엣지(edge) AI 시스템을 구축했다고 밝혔다. 우편국은 이를 통해 1,000개 이상의 메일 처리기계에서 하루에 20테라바이트(TB) 규모의 이미지를 처리하고 있다.

2019년 USPS는 1억 개가 넘는 일일 우편물의 품목을 확인하고 추적해야 했다. USPS AI 설계자인 라이언 심슨(Ryan Simpson)은 내부에서 개발하고 있던 이미지 분석 시스템을 훨씬 더 광범위하게 확장하고자 했다. 그는 USPS 우편물 처리센터에 전략적으로 배치된 엣지 AI 서버를 통해 각 센터가 생성하는 수십억 개의 이미지를 분석할 수 있다고 판단했다.

데이터 사이언티스트, 엔비디아 설계자 6명 등을 포함한 작업자들이 3주 동안 딥 러닝 모델을 빠르게 설계했다. 이 작업을 통해 엔비디아 EGX 플랫폼으로 가동되고 있는 분산형 엣지 AI 시스템인 엣지 컴퓨팅 인프라 프로그램(ECIP)을 구축했다.

엣지 네트워크에 구현된 AI 플랫폼
ECIP는 마치 자동화된 눈처럼 작동하는 두 번째 애플리케이션을 구동하고 있으며, 이는 비즈니스 요구사항에 맞게 우편물을 추적하고 있다. USPS 시스템을 총괄하는 HPE의 매니저 토드 쉬멜(Todd Schimmel)은 “예전에는 8명에서 10명의 직원이 한 가지 우편물을 추적하는데 며칠이 소요됐지만, 이제 한두 명의 직원이 두 시간 정도 작업하면 완료할 수 있다”고 말했다.

컴퓨터 비전작업은 800개의 CPU가 있는 서버 네트워크로 작업시 2주가 소요됐다. HPE 아폴로(Apollo) 6500 서버에는 4개의 엔비디아 V100 텐서(Tensor) 코어 GPU가 장착되어 있는데, 이는 20분 안으로 작업 시간을 단축한다.

오늘날 각 엣지 서버는 1,000개가 넘는 매일 처리기계에서 하루에 20TB의 이미지를 처리한다. 엔비디아 오픈소스 소프트웨어인 트리톤 추론 서버(Triton Inference Server)는 필요한 상황에 맞게 195개의 엣지 시스템에 AI 모델을 제공한다.

엣지용 차세대 애플리케이션
USPS는 추가적으로 이미징 워크플로우를 간소화하기 위해 광학적문자판독(OCR)을 사용하는 애플리케이션이 필요했다. 쉬멜 매니저는 “과거에는 OCR을 위해서는 새로운 하드웨어와 소프트웨어를 구입해야 했으며, 퍼블릭 클라우드를 사용할 경우 클라우드에서 이미지를 가져와야 했다. 약 10억 개의 이미지를 다룰 경우, 대역폭과 비용이 많이 소요됐다”고 설명했다.

이제 OCR은 쿠버네티스(Kubernetes)에서 관리되고, 트리톤 추론 서버를 활용하는 ECIP 컨테이너의 딥러닝 모델로 처리될 것이다. 이와 같은 시스템을 통해 코로나19 팬데믹 초기 몇 주 동안 ECIP를 원활하게 구축할 수 있었다. 운영자들은 컨테이너를 통해 다른 시스템이 제공되고 있을 때 첫 번째 시스템을 실행하고, 전체 네트워크가 설치될 때 컨테이너를 업데이트했다.

USPS 엔지니어링 시설에 있는 엔비디아 DGX 서버에서 AI 알고리즘이 개발됐다. 쉬멜 매니저는 “구축과정이 매우 간소화됐다. 2019년 9월 계약을 체결하고, 2020년 2월 시스템 구축을 시작해 8월까지 하드웨어 부분을 완료했다. USPS는 이 과정에 매우 만족한다”고 설명했다.

ECIP의 트리톤 추론 서버는 서로 다른 버전의 GPU와 CPU를 통해 각각의 딥러닝 프레임워크를 지원하는 시스템을 위한 AI 모델의 전달을 자동화한다. 이는 거의 200대에 달하는 분산형 서버의 ECIP 네트워크와 같은 엣지 AI 시스템의 시간을 절약할 수 있다.

우편 항목을 확인하는 애플리케이션만 하더라도, 각각 특정 기능을 확인하는 6개 이상의 딥러닝 모델의 작업을 조정해야 한다. 더불어, 앞으로 더 많은 기능을 가능케 하는 추가적인 모델을 통해 앱이 더욱 개선될 전망이다.

엣지 AI 애플리케이션 파이프라인
지금까지 USPS는 엔터프라이즈 애널리틱스 부서에서 재무 및 마케팅 부서에 이르기까지 전반적으로 ECIP를 위한 약 30개의 애플리케이션에 대해 아이디어를 제시했다. 올해 해당 애플리케이션 중 몇 개를 설치하고 실행하게 되길 희망하고 있으며, 그 중 하나는 각 소포의 규격, 무게 및 목적지에 알맞은 우편 요금이 적용됐는지 자동으로 확인하는 애플리케이션이다. 다른 하나는 손상된 바코드를 해석하는 애플리케이션이며, 빠르면 올 여름에 온라인으로 이용할 수 있다.

쉬멜 매니저은 "이는 특정 소포가 어디에 있는지 알려주기 때문에 우리와 고객 모두에게 이익이 된다. 완벽한 해결책은 아니지만, 격차를 해소하고 우리의 역량을 향상시키는 데 도움이 될 것"이라고 말했다.

해당 작업을 통해 USPS는 디지털 발자국을 탐색하고 고객에게 이익이 되는 방식으로 데이터의 가치를 실현하고자 광범위하게 노력할 것이다. 쉬멜 매니저는 "USPS는 엣지 AI와 함께하는 여행을 지금 막 시작했다. 우리는 머신 러닝을 로보틱스, 데이터 및 이미지 처리의 새로운 분야에 적용할 다양한 방법을 매일 생각해낸다”고 말했다.