데이터스트림즈 천승태 소장, 데이터컨퍼런스서 “생성형 AI 기술과 데이터 패브릭 전략” 발표

[아이티데일리] 챗GPT를 위시로 생성형 인공지능(AI)이 빠르게 확산하고 있다. 기업들은 비즈니스의 새로운 활로를 모색하고자 생성형 AI 도입에 전사적인 노력을 기울이고 있다. 정부도 생성형 AI를 국내 산업계에서 활용할 수 있도록 지원사업을 펼치며 확산의 마중물 역할을 자처하고 있다. 학습된 데이터를 토대로 결과물을 생성하는 생성형 AI 모델을 도입하고 활용하기 위해서는 데이터 수집과 저장, 모델 학습을 하나의 프로세스로 체계화하는 등 데이터 전략이 필요하며 그에 따른 다양한 문제를 해결해야 한다.

본지(컴퓨터월드/IT DAILY)는 2024 데이터 컨퍼런스의 주제를 ‘생성형 AI와 빅 데이터 + α’로 설정하고, 국내 기업과 공공기관에게 생성형 AI를 적용하기 위해 필요한 데이터 수집, 저장, 학습 등 제반 과정부터 생성형 AI에 대한 심도 있는 인사이트를 제공할 수 있는 컨퍼런스를 개최했다. 데이터 컨퍼런스 현장으로 들어가 본다. 

데이터스트림즈 천승태 연구소장은 ‘생성형 AI 기술과 데이터 패브릭 전략’을 주제로 발표했다. 천 소장은 먼저 ‘데이터 패브릭’ 기술 동향을 소개했다. 천 소장에 따르면 현재 데이터 플랫폼은 기업들이 데이터를 분석하고자 구축하는 정보시스템의 발전 방향과 궤를 같이하고 있다. 비즈니스 시 생성되는 데이터를 수집하고 인사이트를 획득하며 의사결정에 도움을 받고자 정보시스템을 구축해 왔다. 관계형데이터베이스, 하둡, 데이터웨어하우스(DW), 데이터레이크(DL) 등으로 변화해 왔다. 이후 데이터를 하나로 통합하는 것이 어렵다는 점에서 논리적인 관리가 가능한 ‘데이터 패브릭’이 부상하고 있다.

데이터 패브릭은 가상화된 레이어를 두고 데이터를 논리적으로 통합해 분석 환경을 구축하는 것이다. 이를 위해 데이터 패브릭은 데이터 거버넌스와 데이터 가상화(페더레이션)으로 구분해 아키텍처를 설계해야 한다. 데이터 거버넌스의 핵심은 데이터에 대한 설명데이터인 메타데이터다. RDB의 테이블 칼럼이 어떤 의미인지, 칼럼 간의 관계는 무엇인지를 표기하는 설명데이터가 바로 메타데이터다. 비정형 데이터의 경우 동영상이 어떤 내용이고 장소는 어딘지 메타데이터로 관리한다.

다음은 데이터 가상화다. 데이터는 여러 스토리지나 시스템에 분산돼 있기 때문에 이를 논리적으로 통합·활용하는 가상화 기술이 필요하다. 데이터를 통합하는 것보다 가상화 형태로 ‘관리’하는 것에 초점이 맞춰졌다. 인프라의 경우 온프레미스와 클라우드 등 제약을 두지 않아야 한다.

데이터스트림즈 천승태 연구소장은 “데이터 패브릭은 정형, 반정형, 비정형 데이터를 물리적으로 통합하는 것이 아닌 논리적으로 관리하는 형태이기에 AWS, MS 애저, 구글 클라우드 등 인프라 제약 없이 데이터를 관리할 수 있다. 그렇기에 데이터 거버넌스 체계도 잘 정비해야 한다. 데이터 표준을 관리하는 메타데이터, 비즈니스 표준을 관리하는 비즈데이터, 기준 데이터, 데이터 계보, 데이터 품질관리 등이 여기에 포함된다”고 설명했다.

마지막으로 천승태 소장은 데이터스트림즈의 데이터 패브릭 솔루션을 소개했다. 데이터스트림즈는 ‘테라원(TeraONE)’이라는 빅데이터 패브릭 기능을 제공하는 차세대 빅데이터 플랫폼을 공급하고 있다. 세부적으로 △초고속 데이터 추출 및 소형 엔진인 ‘FACT/테라솔트(FACT/TeraSort)’ △데이터 통합(ETL) 솔루션 ‘테라스트림(TeraStream)’ △실시간 IoT 데이터 처리 솔루션 ‘테라스트림 BASS(TeraStream BASS)’ △실시간 변경 데이터 적재(CDC) 솔루션 ‘델타 스트림(DeltaStream)’ △개인화 기반 인공지능 분석환경 ‘테라원 IDEA(TeraONE IDEA)’ △데이터 가상화 솔루션 ‘테라원 슈퍼쿼리(TeraONE SuperQuery)’ 등 데이터 가상화 분야 솔루션을 공급하고 있다.

아울러 데이터 거버넌스를 위해 △AI 기반 데이터 카탈로그 솔루션 ‘이루다 내비게이터(IRUDA Navigator)’ △데이터 표준 및 메타데이터 관리인 ‘메타스트림(MetaStream)’ △비즈니스 메타데이터 관리 솔루션 ‘메타스트림 포 비즈데이터(MetaStream for BizData)’ △데이터 품질관리 솔루션 ‘퀄리티스트림(QualityStream)’ △데이터 흐름 관리 솔루션 ‘Q-트랙(Q-Track)’ △마스터데이터(기준정보) 관리 솔루션 ‘마스터스트림(MaterStream)’ 등을 제공하고 있다.

기사 보러 가기 -> [2024 데이터 컨퍼런스⑤] “생성형 AI 기술과 데이터 패브릭 전략” < 기획특집 < 기획특집 < 기사본문 - 아이티데일리 (itdaily.kr)