NSP통신

(서울=NSP통신) 이복현 기자 = 데이터 레이크하우스(Lakehouse) 기업 데이터브릭스(Databricks)가 오늘(29일) 서울 그랜드인터컨티넨탈 서울 파르나스에서 기자간담회를 개최하며 올해 한국 시장에 대한 투자 확대에 나선다고 밝혔다.

국내에서 레이크하우스 도입이 증가하고 있는 가운데, 데이터브릭스는 기술 전문가, 영업, 서포트 엔지니어 등의 고객 지원 및 사업 확장을 위한 인력을 확충해 한국 비즈니스 성장을 가속하고 고객의 성공을 견인해 간다는 방침이다.

지난 해 데이터브릭스는 아태지역 전반에 걸쳐 전년 대비 90%의 비즈니스 성장과 80% 인력 확장을 이루었다.

데이터브릭스는 데이터 레이크하우스 기업이다. 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성 및 확장성을 데이터 웨어하우스의 데이터 관리 기능과 결합하여 모든 데이터에 대한 엔지니어링, 비즈니스 인텔리전스(BI) 및 AI와 ML(머신러닝)을 모두 지원하는 개방형 통합 데이터 플랫폼이다.

데이터브릭스는 배치 또는 스트리밍 형태로 수집되는 대량의 정형 및 비정형 데이터를 처리하기 위한 기존의 복잡한 아키텍처를 단순화시킨다.

또 오픈 소스 및 개방형 표준을 기반으로 구축돼 벤더에 종속되는 위험요소를 피하고 유연성을 확보할 수 있다. 더불어 데이터브릭스는 BI 애널리스트와 AI/ML을 다루는 데이터 사이언티스트들이 통합된 거버넌스 프레임워크에서 데이터 액세스를 관리할 수 있도록 지원할 뿐 아니라 데이터 엔지니어들이 통합된 환경을 통해 업무 효율을 향상시키도록 돕는다.

국내에서는 아모레퍼시픽, 무신사, 데브시스터즈, G마켓, 핀다, 이마트24 등 유수의 기업들이 레이크하우스 플랫폼을 통해 혁신과 비용 최적화를 이루고 있다.

실제 G마켓 등은 업체들은 “데이터브릭스 솔루션은 성능과 비용 효율성 측면에서 우수하고 총소유비용(TCO)을 낮춰주는 솔루션”이라는 평가를 내렸다.

장정욱 데이터브릭스 코리아 대표는 “한국의 비즈니스 리더들이 데이터와 AI가 가진 가치를 인식하고, 이를 활용해 비즈니스 혁신을 추진하고 있는 중요한 시점에 데이터브릭스의 한국 비즈니스를 이끌게 돼 영광이다. 2023년에는 더 많은 조직들이 데이터 사일로와 비효율성을 제거하고 데이터와 차세대 AI 기술이 지닌 잠재력을 최대한 발현할 수 있는 통합 데이터 플랫폼으로 전환하게 될 것”이라고 설명했다.

데이터브릭스 코리아는 오는 4월 25일 Data+AI World Tour 를 국내에서 개최한다. 이번 행사에는 G마켓, 이마트24, 데브시스터즈, 한화, 메조미디어, 잡코리아, 핀다, 위버스 컴퍼니, 무신사 등을 포함한 기업들이 연사로 나서 데이터 혁신의 여정을 공유할 예정이다.

한편 이 자리에서는 지난 주에 공개된 오픈소스 AI 모델 ‘돌리(Dolly)’에 대해서도 소개했다.

장경운 데이터브릭스 팀장은 돌리에 대해 “기존의 오픈소스 대형 언어모델(LLM)을 고품질 훈련 데이터로 한 대의 머신에서 단 3시간 학습시키는 것만으로 챗GPT와 유사한 명령어 추종 기능을 구현할 수 있음을 보여줬다”며 “이는 GPT-3의 매개변수가 1750억개 인데 반해 데이터브릭스의 돌리는 단 60억개에 불과하기 때문에 돌리의 코드를 오픈소스로 공개해 사용자들이 돌리를 데이터브릭스에서 어떻게 재현될 수 있는지 알 수 있을 것”이라고 밝혔다. 그러면서 “LLM의 보편화에 기여할 돌리는 극소수의 기업만이 구현 가능한 LLM이 아닌 모든 기업이 제품과 서비스의 개선을 위해 직접 맞춤화하고 사용할 수 있는 모델이 될 것”이라고 덧붙였다.