HPE(NYSE: HPE)가 한국을 포함해 전 세계 14개국 기업들의 AI 여정 현황을 짚어보는 설문조사 결과를 담은 ‘AI 이점 설계(Architect an AI Advantage)’ 보고서를 발표했다. 해당 조사 결과에 따르면, 설문조사에 참여한 전 세계 기업 내 IT 리더 중 절반에 못 미치는 44%만이 ‘자신의 기업이 인공지능(AI)의 이점을 실현할 준비가 됐다’고 응답했다. 이는 실제 AI 도입 과정과 지표가 유기적으로 연결되어 있지 않는 등 AI 전략 내 중대한 격차가 존재함을 보여주며, 결과적으로 파편적인 접근방식을 취하게 되어 실제 AI 도입 시 문제가 악화될 수 있음을 시사한다.

이번 설문조사는 전 세계 14개국 2,000명 이상의 IT 리더를 대상으로 진행되었으며, 보고서에 따르면 전 세계적으로 AI에 대한 투자가 증가하고 있지만 기업들은 낮은 데이터 성숙도, 네트워킹 및 컴퓨팅 프로비저닝의 결함 가능성, 주요 윤리 원칙 및 컴플라이언스 고려 사항 등 성공적인 AI 도입 결과에 영향을 미치는 핵심 영역을 간과하고 있는 것으로 나타났다. 또한 향후 투자수익률(ROI)에 부정적인 영향을 미칠 수 있는 전략과 이해도 간의 격차도 발견했다.

실비아 훅스(Sylvia Hooks) HPE 아루바 네트워크 부사장은 “AI가 빠르게 도입이 되고 있으며, 거의 모든 IT 리더들이 향후 12개월 동안 AI에 대한 투자를 늘릴 계획이다. 이번 조사 결과는 AI에 대한 높은 수요를 보여주면서도, 보다 포괄적인 접근 방식을 따르지 않으면 발전이 정체될 수 있는 점도 강조한다. 예를 들어, 사내 전략과 부서의 참여 방식이 일치하지 않는 경우, 기업은 중요한 전문 지식을 활용하고 효과적이고 효율적인 결정을 내리며 AI 로드맵이 비즈니스 전반에 일관되게 유익한 결과를 도출하는 데 어려움을 겪을 수 있다”고 말했다.

낮은 데이터 성숙도
비즈니스 성과에 영향을 미치는 강력한 AI 성능은 양질의 데이터 인풋에 달려 있다. 그러나 이번 조사에 따르면 기업이 데이터 관리를 성공적인 AI 활용을 위한 가장 중요한 요소 중 하나로 인식하고 있음에도 불구하고, 데이터 성숙도는 여전히 낮은 수준에 머물러 있는 것으로 나타났다. 단 7%의 조직만이 실시간 데이터 푸시/풀(data push/pull)을 실행해 혁신을 일으켜 외부 데이터를 수익화 할 수 있으며, 26%만이 데이터 거버넌스 모델을 수립해 고급 분석을 실행할 수 있는 것으로 나타났다.

더욱 우려되는 점은 응답자 10명 중 6명 미만이 ‘자신의 기업이 AI 모델을 위한 데이터 준비의 주요 단계인 액세스(59%), 저장(57%), 처리(55%), 복구(51%)를 모두 완벽하게 처리할 수 있다’고 답했다는 점이다. 이러한 결과는 AI 모델 생성 프로세스를 지연시킬 위험이 있을 뿐만 아니라, 모델이 부정확한 인사이트를 제공하고 부정적인 ROI를 초래할 가능성도 높다.

엔드-투-엔드 생애주기를 위한 프로비저닝
응답자들에게 엔드-투-엔드(end-to-end) AI 생애주기 전반에 필요한 컴퓨팅 및 네트워킹 수준에 대해 질문했을 때도 비슷한 격차가 나타났다. 조사 내 IT 리더의 93%는 사내 네트워크 인프라가 AI 트래픽을 지원하도록 설정되어 있다고 답했으며, 84%는 사내 시스템이 AI 생애주기 전반에서 필요한 특수 사항들을 지원할 수 있는 충분히 유연한 컴퓨팅 용량을 갖추고 있다고 답했다. 이러한 결과는 표면적으로 기업 시스템에 대한 신뢰도가 높은 것을 보여준다. 또한, 가트너(Gartner®)는 "2025년까지 텍스트 및 데이터 집약적인 작업의 70%를 생성형 AI가 다루게 할 것”으로 예상하며 이는 2023년의 10% 미만에서 크게 증가한 수치라고 설명했다.

그러나 IT 리더 중 절반 미만만이 학습, 튜닝, 추론을 포함한 다양한 AI 워크로드 요구사항을 완전히 이해하고 있다고 인정해, 이들이 AI 관련 요구사항을 얼마나 정확하게 프로비저닝할 수 있는지 심각한 의문이 제기된다.

비즈니스 간 연결성, 컴플라이언스 및 윤리 원칙의 중요성 간과
IT 리더의 1/4 이상(28%)이 기업의 전반적인 AI 접근 방식이 "파편화되어 있다"고 답하는 등, 기업들이 주요 비즈니스 영역을 유기적으로 연결하는 데 실패하고 있다. 이를 증명하듯, 1/3 이상(35%)의 기업이 각 기능에 대해 별도의 AI 전략을 수립하고 있으며, 32%는 아예 서로 다른 목표를 세우고 있다.

더욱 위험한 것은 소비자와 규제 기관 모두의 윤리 원칙 및 컴플라이언스 준수에 대한 관심이 높아지고 조사가 강화되고 있음에도 불구하고 해당 요소들이 완전히 간과되고 있다는 점이다. 조사에 따르면 IT 리더들은 법률 및 컴플라이언스(13%)와 윤리(11%)가 AI 성공에 가장 중요하지 않다고 생각하는 것으로 나타났다. 또한 기업 4곳 중 1곳(22%)은 비즈니스를 위한 AI 전략 논의에 법률팀을 전혀 참여시키지 않는 것으로 나타났다.

AI 미도입에 대한 우려와 과신으로 인한 비즈니스 리스크
기업이 AI에 대한 몰아치는 관심에 빠르게 대응할 때, 적절한 AI 윤리 및 컴플라이언스 규정이 지켜지지 않는다면 시장에서 경쟁 우위를 선점하고 브랜드 평판을 유지하기 위한 기업만의 데이터가 노출될 위험이 있다. 윤리 정책이 없는 기업은 적절한 컴플라이언스와 다양성 기준이 부족한 모델을 개발하게 되어 브랜드에 부정적인 영향을 미치고 매출 손실 또는 높은 벌금과 법적 분쟁을 초래할 위험이 있다.

AI 모델의 결과물은 데이터의 품질에 따라 제한되기 때문에 추가적인 리스크도 존재한다. 이는 데이터 성숙도 수준이 여전히 낮은 것으로 나타난 이번 설문조사 결과에서도 확인할 수 있다. 이러한 결과를 IT 리더의 절반이 AI 생애주기 전반에서 필요한 IT 인프라 조건에 대해 완전하게 이해하지 못했다고 인정한 지표와 결합하면, AI 환각 현상(Hallucination) 등과 같이 비효율적인 모델을 개발할 위험이 전반적으로 증가한다. 또한, AI 모델을 실행하는 데 필요한 전력 수요가 매우 높기 때문에 데이터센터의 탄소 배출량이 불필요하게 증가할 수 있다. 이러한 문제는 기업의 AI 자본 투자에 대한 ROI를 떨어뜨리고 전반적인 기업 브랜드에 부정적인 영향을 미칠 수 있다.

HPE 글로벌 HPC 및 AI 부문 부사장 겸 최고 기술책임자(CTO) 엥림 고(Eng Lim Goh) 박사는 “AI는 우리 시대의 가장 데이터 및 전력 집약적인 워크로드이며, 생성형 AI을 효과적으로 활용하려면 솔루션이 하이브리드 방식으로 설계되고 최신 AI 아키텍처로 구축되어야 한다. 온프레미스, 코로케이션 또는 퍼블릭 클라우드에서의 모델 트레이닝 및 튜닝부터 엣지에서의 추론에 이르기까지, 생성형 AI는 네트워크의 모든 디바이스에서 데이터를 인사이트로 전환할 수 있는 잠재력을 가지고 있다. 그러나 기업은 시장 내 AI 선두주자로 활약해서 얻는 장점과 AI 라이프사이클 전반의 격차를 완전히 이해하지 못할 위험 간의 균형을 신중하게 고려해야 하며, 그렇지 않으면 대규모 자본 투자가 결국 마이너스 ROI를 가져올 수 있다”고 말했다.