글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 18일 개최한 ‘스노우데이’에서 개발자, 데이터 엔지니어, 데이터 사이언티스트가 데이터 클라우드에서 직접 애플리케이션을 구축할 수 있도록 지원하는 기술을 발표했다. 앱 개발의 지형을 바꿀 이번 발표는 더 많은 사용자가 데이터를 활용할 수 있도록 하며, 스노우플레이크의 단일 플랫폼에서 생산성을 높이고 애플리케이션, 파이프라인, 머신러닝(ML) 모델을 개발할 수 있도록 한다.

스트림릿 인수로 데이터 클라우드에서 파이썬 기반 앱 개발 지원

지난해 3월 스노우플레이크는 데이터 앱 개발 플랫폼 스트림릿(Streamlit)을 인수하면서 수많은 데이터 사이언티스트와 개발자가 오픈소스 프레임워크로 파이썬 앱을 쉽게 구축할 수 있게 했다. 이로써 스노우플레이크는 개발자가 스노우플레이크 데이터 클라우드에서 데이터 및 ML 모델을 안전한 대화형 애플리케이션으로 구축할 수 있도록 스트림릿을 결합할 계획이다.

이를 통해 스트림릿의 편의성, 유연성과 스노우플레이크의 통제 데이터 접근, 확장성, 보안성을 모두 제공해 개발자들은 간편하게 웹앱을 구축 및 배포할 수 있게 됐다. 개발자는 안전한 스노우플레이크 플랫폼에서 자사 데이터를 사용해 파이썬 앱을 구축하고, 배포, 운영할 수 있게 된다. 이를 바탕으로 현업팀과 데이터를 원활하게 공유하며 ML 활용도를 높이게 된다.

스트림릿을 적용한 제트블루 항공(JetBlue Airways) 사이 라부루(Sai Ravuru) 데이터 사이언스 및 애널리틱스 부문 총괄은 “스트림릿은 제트블루 항공의 데이터 사이언스 및 ML에 양방향 엔진 역할을 수행하며 사업 영역별 담당자와 함께 앱을 구축해 효율적으로 협업할 수 있게 됐다”며 “스노우플레이크의 스트림릿 인수로 제트블루는 스노우플레이크 플랫폼에서 데이터와 ML으로부터 얻은 인사이트까지 모두 활용할 수 있게 된다. 이를 바탕으로 항공 결항 등 예기치 못한 상황에 피해를 줄일 수 있도록 강력한 앱을 통해 운항계획팀의 예측 가능성을 높이고, 더욱 안전하고 편리한 맞춤형 고객 서비스로 최상의 고객 경험을 제공할 것”이라고 말했다.

‘파이썬용 스노우파크’로 파이썬 생태계 확장

프로그래밍 언어 3위로 평가되고 있는 파이썬은 데이터 사이언티스트들에게는 가장 인기 있는 언어로, 스노우플레이크는 확장된 비즈니스 생태계를 통해 파이썬의 지원 범위를 모든 사용자로 확대하고 있다. 스노우플레이크는 ‘파이썬용 스노우파크’를 공개해 파이썬 및 풍부한 오픈 소스 라이브러리 생태계를 제공하고 있다. 현재 차터 커뮤니케이션(Charter Communications), 프랑스전력공사(EDF), 너드월릿(NerdWallet), 노던 트러스트(Northern Trust), 소포스(Sophos) 등 수백 여 개의 고객사가 적용했으며 ‘파이썬용 스노우파크’ 도입률은 6배 가량 증가했다.

새로운 개발자 프레임워크인 스노우파크를 통해 개발자는 자바, 스칼라, SQL, 파이썬 중 선호하는 프로그래밍 언어를 기본으로 지원하는 유연한 아키텍처를 제공받게 됐다. ‘파이썬용 스노우파크’는 광범위한 스노우파크 생태계에 포함되며, 여러 팀이 단일 플랫폼 상에서 뛰어난 보안성의 파이썬 샌드박스로 협업 및 앱 구축을 할 수 있도록 하고, 앱 구축 시 높은 확장성, 유연성, 보안 및 일관된 거버넌스를 제공한다. 이를 통해 개발자는 과거 프로젝트의 제품화의 걸림돌이던 데이터 보안 및 컴플라이언스 이슈를 해결한다. 뿐만 아니라, 스노우플레이크는 아마존웹서비스(AWS)를 통해 퍼블릭 프리뷰로 제공할 ‘스노우파크 전용 웨어하우스’를 통해 파이썬 개발자가 스노우플레이크 플랫폼에서 대규모 ML 트레이닝 및 메모리 집약적 운영을 직접 구동하도록 할 계획이다. 또한 ‘파이썬 워크시트’를 통해 애플리케이션, 데이터 파이프라인, ML 모델을 스노우플레이크 내에서 개발할 수 있도록 비공개 프리뷰를 출시할 계획이다

아나콘다(Anaconda), dbt랩스 등 몇몇 파트너들은 ‘파이썬용 스노우파크’ 도입을 가속화하고 개발자가 앱을 쉽게 구축할 수 있도록 하는 데 결정적인 역할을 해왔다. 아나콘다의 ‘파이썬용 스노우파크’는 수작업 처리 및 패키지 의존성 관리의 필요성을 없애 스노우플레이크 사용자가 아나콘다의 오픈소스 파이썬 라이브러리를 원활하게 접근할 수 있도록 한다. 또한 dbt 랩스의 ‘파이썬용 스노우파크’는 현대적인 분석을 위한 SQL과 파이썬의 기능을 결합해 고객이 데이터 분석가와 데이터 사이언티스트 간의 간극을 좁힐 수 있도록 지원한다.

노던 트러스트(Northern Trust) 윌리엄 우(William Wu) 퀀트 분석 책임자는 “‘파이썬용 스노우파크’를 통해 금융 엔지니어, 데이터 사이언티스트, 비즈니스 분석가가 다양한 데이터로 맞춤형 분석을 구현 및 제공하는 데 필요한 통합 데이터 사이언스 생태계를 구축할 수 있게 됐다”며 “현업 부서와 동일한 데이터로 협업할 수 있어 새로운 통찰을 발견하고 시각화 할 수 있으며, 동적 사실과 데이터를 기반으로 하는 고객의 투자 의사 결정을 더욱 효과적으로 지원할 수 있다”고 말했다.

스트리밍 파이프라인 간소화해 개발자 자동화 및 가시성 강화

스노우플레이크는 데이터 파이프라인을 구축하는 방식을 새롭게 해 단일 플랫폼에서 스트리밍 데이터를 기반으로 하는 작업을 수월하게 하고 사일로를 제거한다. 이를 위해 스노우플레이크는 핵심 소프트웨어 개발 원리를 활용하면서 복잡성을 제거하는데 필수 역량을 갖추고 있다. 사용자들은 비공개 프리뷰를 통해 제공되는 스키마 추론을 통해 데이터를 더 빠르게 작동시켜 생산성을 높이고, 모든 사용자에게 제공되는 서버리스 작업을 통해 파이프라인을 수월하게 실행할 수 있게 됐다. 이와 함께 개발자의 데이터 클라우드 상 앱 구축 역량을 강화하기 위해 개선된 툴을 공개한다.

- 동적 테이블(비공개 프리뷰): 과거 머티리얼라이즈드 테이블(Materialized Table)로 소개된 스노우플레이크는 코딩 효율 및 편의성을 위한 선언적 데이터 파이프라인 구축을 통해 점진적 프로세싱을 자동화함으로써 스트리밍 및 배치(batch)를 원활하게 한다. 이는 데이터 캡처 및 스냅샷 격리 등의 사용 사례를 간소화하며, 스노우플레이크에 기본 탑재되어 있어 모든 스노우플레이크 계정에 완벽한 보안과 통제 아래 공유될 수 있다.

- 가시성 및 사용자 경험 강화: 개발자 요구에 대한 충족 수준을 높이기 위해 스노우플레이크는 가시성 및 개발자 경험 요소에 투자하여 개발자는 알림(비공개 프리뷰), 로깅(비공개 프리뷰), 이벤트 추적(비공개 프리뷰), 작업 그래프 및 이력(퍼블릭 프리뷰) 등을 통해 향상된 생산성으로 데이터 파이프라인을 구축하고 테스트, 디버깅, 배포 및 모니터링할 수 있게 됐다.

스노우플레이크 토스텐 그랩스(Torsten Grabs) 제품관리부 총괄은 “스노우플레이크는 계속 앱을 개발하면서 개발자가 혁신을 가속화하는데 필요한 데이터 접근 및 툴을 안전한 단일 플랫폼에서 제공하고 있다”며 “스노우플레이크의 개선된 서비스는 개발자들이 확신을 가지고 강력한 애플리케이션과 파이프라인, 모델을 구축할 수 있는 역량을 지원하고, 복잡성을 없앤 만큼 데이터 클라우드를 기업 전반에 활용, 비즈니스 가치를 높이도록 한다”고 말했다.

너드월릿 사티시 발라크리시난(Sathish Balakrishnan) 데이터 엔지니어링 이사는 “스노우파크 파이썬 버전은 너드월릿 팀이 규제에 맞는 안전한 파이프라인을 스노우플레이크에서 구축, 배포할 수 있도록 하는 새로운 기회와 사용 사례를 제공했으며, 그 결과 고객들의 모든 금융 분야 업무에 필요한 도구를 보다 효율적으로 제공할 수 있게 됐다”며 “파이썬에 대한 스노우플레이크의 지속적인 투자로 너드월릿은 선호하는 프로그래밍 언어로 코딩이 가능한 유연성을 확보하고 최종 사용자를 위한 혁신 속도를 가속화할 수 있게 됐다”고 말했다.

소포스 콘스탄틴 벌린(Konstantin Berlin) 인공지능 총괄은 “소포스 임무는 가장 효과적으로 고객을 보호하는 것이며, 소포스는 스노우파크 파이썬 버전으로 더 나은 탐지 모델을 구축하고 있다”며 “모든 것은 파이썬을 중심으로 진행되기 때문에 스노우파크는 데이터 사이언티스트가 유지관리 및 추적이 가능한 단순한 코드를 사용할 수 있도록 하여 혁신 속도를 높였다”고 말했다.