데이터브릭스(Databricks)가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 출시했다. DBRX는 모든 기업을 위해 맞춤형 고성능 LLM의 학습과 튜닝을 보편화한다. 조직은 DBRX를 통해 더 이상 소수의 폐쇄형 모델에 의존하지 않아도 된다. DBRX는 28일부터 바로 사용 가능하며, 전 세계 조직은 비용 효율적으로 자체 맞춤형 LLM을 구축, 교육 및 서비스할 수 있다.

▲ 알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창립자 겸 CEO는 “데이터브릭스는 데이터와 AI를 보편화하겠다는 사명 아래 모든 기업에 데이터 인텔리전스를 제공하여 그들이 보유 중인 데이터를 이해하고 이를 활용하여 자체적인 AI 시스템을 구축할 수 있도록 지원하고 있다. 이번 DBRX 출시는 이러한 노력의 결과물이다”라며 “새롭게 선보인 DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가하고, 대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로, 우리는 독점 모델을 오픈소스 모델로 대체하는 추세가 고객 기반 전반에 걸쳐 가속화될 것으로 기대하고 있다. 뿐만 아니라, DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이다. 이러한 점에서 DBRX는 오픈소스 LLM의 새로운 기준을 제시하며, 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공해 준다”고 말했다.

오픈소스 모델의 업계 벤치마크를 능가하는 DBRX
DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 Llama 2 70B 및 Mixtral-8x7B와 같은 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다.

▲ 그래프 1: DBRX는 언어 이해(MMLU), 프로그래밍(HumanEval) 및 수학(GSM8K) 벤치마크에서 기존 오픈소스 모델보다 뛰어난 성능을 제공한다.

또한, DBRX는 다음 벤치마크에서 GPT-3.5의 성능을 능가한다.

▲ 그래프 2: DBRX는 언어 이해(MMLU), 프로그래밍(HumanEval) 및 수학(GSM8K) 벤치마크에서 GPT 3.5보다 뛰어난 성능을 제공한다.

모델 평가와 성능 벤치마크에 대한 보다 자세한 정보, 그리고 DBRX가 SQL과 같은 내부 사용 사례에서 GPT-4 품질 대비 어떤 경쟁력을 제공하는지에 대한 자세한 정보는 모자이크 리서치 블로그에서 확인할 수 있다.

효율적인 오픈소스 LLM의 새로운 기준을 제시하는 DBRX
데이터브릭스는 효율성을 위해 메가블록스(MegaBlocks) 오픈소스 프로젝트에 기반한 전문가 혼합(MoE, mixture-of-experts) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM대비 최대 2배 높은 컴퓨팅 효율 등 최고의 성능을 갖추고 있다. 또한 DBRX는 주어진 시간에 360억 개의 매개변수만 사용한다. 하지만 모델 자체는 1,320억 개 파라미터이므로 속도(토큰/초) 대 성능(품질) 측면에서 두 마리 토끼를 모두 잡을 수 있다.

또한, DBRX는 모든 기업이 커스터마이징할 수 있는 투명한 생성형 AI로 오픈소스 모델의 새로운 기준을 제시한다. 최근 미국 VC 기업 안드레센 호로위츠가 발표한 조사 결과에 따르면 AI 리더의 약 60% 가 오픈소스 사용을 늘리거나 미세 조정된 오픈소스 모델이 폐쇄형 모델의 성능과 거의 일치할 경우, 오픈소스로 전환하는데 관심을 보이는 것으로 나타났다. 2024년 이후에는 상당수의 기업이 폐쇄형에서 오픈소스로 전환할 것으로 예상되며, 데이터브릭스는 DBRX가 이러한 추세를 더욱 가속화할 수 있을 것이라고 확신한다.

데이터 인텔리전스 플랫폼에서 엔터프라이즈급 기능 제공
DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합되어, 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다.

DBRX 사용 방법
DBRX는 깃허브(GitHub)와 허깅 페이스(Hugging Face)에서 연구 및 상업적 용도로 무료로 사용 가능하다. 기업은 이제 데이터브릭스 플랫폼에서 DBRX와 상호 작용하고, 검색 증강 생성(RAG) 시스템에서 긴 문장(context) 기능을 활용하며, 자체 고유 데이터에서 맞춤형 DBRX 모델을 구축할 수 있다. 또한, AWS와 구글 클라우드(Google Cloud)뿐만 아니라, 애저 데이터브릭스(Azure Databricks)를 통해 마이크로소프트 애저(Microsoft Azure)에서도 직접 사용할 수 있다.

DBRX에 대한 보다 자세한 정보는 모자이크 AI 리서치 블로그에서 확인할 수 있다. 한편, 데이터브릭스는 오는 4월 26일 한국시간 오전 12시에 DBRX 웨비나를 개최할 예정이다.

란 구안(Lan Guan) 액센츄어(Accenture) 최고 AI 책임자는 “액센츄어는 파운데이션 모델 커스터마이징 서비스를 통해 고객별 요구사항에 따라 오픈소스 모델을 맞춤화하는 고급 기술로 생성형 AI 솔루션 구현에 앞장서고 있다"며, "보다 정교한 오픈소스 모델은 기업의 모든 측면에서 고객을 위한 의미 있는 결과를 도출하도록 새로운 기회를 열어줄 수 있다"고 말했다.

더크 그로네벨트(Dirk Groeneveld) 앨런 인공지능 연구소(Allen Institute for Artificial Intelligence, AI2) 수석 소프트웨어 엔지니어는 "우리는 AI의 변곡점에 서 있으며, AI를 더 잘 이해하고 의미 있는 혁신을 추진할 수 있는 연구원, 엔지니어 및 기술자 커뮤니티의 역할이 요구되고 있다. 이에 AI2 팀은 개방형 모델을 개발해 생성형 AI를 발전시키는 데 전념하고 있다. DBRX와 같은 새로운 모델이 업계의 투명성, 접근성 및 협업 향상에 긍정적인 변화를 가져다줄 것이라고 기대한다"고 말했다.

재키 브로자머(Jackie Brosamer) 블록(Block) 데이터 및 ML 플랫폼 엔지니어링 총괄은 “블록은 생성형 AI 도구를 사용해 워크플로우 자동화함으로써 고객의 역량을 강화하고 블록 임직원의 투입 시간을 줄이고 있다”며, “향후 DBRX의 기능을 활용해 AI 지원 코드 생성 및 컨텍스트 기반 지식 검색 기능을 강화할 수 있기를 기대한다”고 말했다.

마이크 오루크(Mike O'Rourke) 나스닥(NASDAQ) AI 및 데이터 서비스 총괄은 "데이터브릭스는 나스닥의 가장 중요한 데이터 시스템 부문의 핵심 파트너로서 협력하고 있다. 데이터 관리와 AI 활용을 선도하는 기업인 만큼, 이번 DBRX 출시에 기대도 크다. 나스닥이 생성형 AI의 사용을 확대하는 가운데, DBRX의 강력한 모델 성능과 유리한 경제적 효과는 우리가 추구하는 혁신의 모습에도 부합한다"고 말했다.

폴 밴 더 부어(Paul Boor) 프로서스 그룹(Prosus Group) 데이터 과학 수석 디렉터는 "프로서스는 세계 최대 기술 투자사 중 하나로, 생성형 AI의 혁신적인 역량을 잘 인지하고 있다. DBRX는 보다 많은 기업이 안전하고 복제 가능하며 성능이 뛰어난 맞춤형 모델을 구축하도록 지원할 수 있는 잠재력을 갖추고 있기에, DBRX의 출시를 기대하고 있다"고 말했다.

미셸 카타스타(Michele Catasta) 리플릿(Replit) AI 부문 부사장은 "리플릿은 10억 명의 차세대 소프트웨어 개발자를 위해 코딩에 대한 접근을 대중화하겠다는 목표로 데이터브릭스의 모자이크 AI 팀과 긴밀히 협력해 맞춤형 LLM을 구축해 왔다. 강력한 DBRX 오픈소스 모델의 출시로 조직 자체 데이터에 맞춤화된 안전한 생성형 AI 모델의 채택이 가속화될 것으로 예상한다"고 말했다.

데이브 메닝거(Dave Menninger) ISG 산하의 벤타나 리서치 전무이사는 "우리 조사에 따르면 기업들은 AI 예산의 절반을 생성형 AI에 사용할 계획이라고 밝혔다”며 “그들이 직면한 3대 과제 중 하나는 데이터 보안과 개인정보 보호였다 데이터브릭스는 엔드 투 엔드 데이터 인텔리전스 플랫폼과 DBRX의 도입으로 기업이 잘 관리되고 안전하며 비즈니스 상황에 맞게 조정된 생성형 AI 애플리케이션을 구축하는 동시에, 그 과정에서 지적재산권의 제어와 소유권을 유지할 수 있도록 지원하고 있다”고 말했다.

첸광 주(Chenguang Zhu) 줌(Zoom) GenAI 사이언스 부문 총괄은 "줌은 LLM의 힘을 활용하여 줌 AI 컴패니언(Zoom AI Companion)과 같은 새로운 플랫폼을 구현해 왔다”며 “핵심 사용 사례에서 맞춤형 생성형 AI 모델의 교육 및 제공을 보다 신속하고 비용 효율적으로 실행하고, DBRX의 잠재력을 확인할 수 있기를 기대한다”고 말했다.