데이터 유출 걱정 없는 `프라이빗 LLM`, 기업 맞춤형 AI 도입 현실로

실시간
뉴스

e비즈*솔루션

데이터 유출 걱정 없는 '프라이빗 LLM', 기업 맞춤형 AI 도입 현실로

디지털데일리 발행일 2023-09-15 10:41:41

김보민 기자

URL복사

이홍돈 VM웨어 상무, 프라이빗 AI 도입 방법 및 효과 소개

이홍돈 VM웨어 상무 [ⓒ 디지털데일리]

[디지털데일리 김보민 기자] 지난해 챗GPT가 등장한 이후 생성형 인공지능(AI) 열풍이 계속되고 있다.

기업들은 업무에 AI를 도입하기를 원하면서도, 내부 기밀 데이터가 유출될 우려에 사용을 주저하고 있다. 기업 맞춤형 보안과 성능이 보장된 '프라이빗 거대언어모델(LLM)'이 떠오른 이유다.

VM웨어 탄주(Tanzu)팀을 이끄는 이홍돈 상무는 13일 <DD튜브> 플랫폼을 통해 '우리 회사에 딱 맞는 프라이빗 생성 AI 언어모델 구축'을 주제로 온라인 세미나를 진행했다. 이 상무는 "지금은 LLM을 도입하느냐 마느냐를 물을 때가 아니라, 어디에 어떻게 도입해 경쟁 우위를 달성할 것인가를 고민할 때"라고 말했다.

이 상무는 기업들이 AI 도입을 고려할 때 ▲보안 ▲지식 단절 ▲생성 답변의 충실성 ▲범용 언어 모델의 용도 ▲모델 운영과 통제권 등 다섯가지 측면에서 고민을 하고 있다고 밝혔다.

특히 내부 데이터가 외부로 유출될 우려가 크다고 설명했다.

이 상무는 오픈AI가 표방하고 있는 데이터 보안 예시를 들며 "프롬프트 인풋으로 넣은 데이터에 대해서는 30일 간 오픈AI가 데이터를 보관할 수 있도록 규정하고 있다"라며 "해킹을 당했을 때 기업이 사용했었던 데이터가 노출될 잠재적 위험이 있는 셈"이라고 말했다. 이어 "애플과 삼성 등 대기업의 경우 혹시 모를 정보 유출 우려로 사내에서 챗GPT를 이용하는 것을 금지했다"라고 말했다.

그러면서 프라이빗 LLM이 기업들의 고민을 해결해줄 수 있을 것으로 내다봤다.

프라이빗LLM은 오픈소스를 기반으로 한 도메인에 특화 모델을 뜻한다. 온프레미스 또는 멀티 클라우드 환경에 자체적으로 오픈소스 소규모 LLM을 기초 언어모델로 사용해, 최신 비공개 데이터를 추가로 학습하고 특정 목적에 맞는 언어모델로 파인튜닝할 수 있는 게 특징이다.

VM웨어는 기업들의 프라이빗 LLM 도입을 지원하고 있다. 각 기업에 특화된 워크플로를 설정하고, 내부 컨텍스트 문서를 입력해 AI 모델이 업무를 수행할 수 있도록 하는 방식이다. 모델 매개 변수를 맞춤형으로 설정해 환각 위험을 낮출 수도 있다.

이 상무는 "VM웨어에서 제공하는 프라이빗 LLM은 플랫폼, 툴, 인프라스트럭처, 방법론, 경험 측면으로 나눠 볼 수 있다"라며 "엔비디아·허깅페이스와 파트너십을 맺어 기업이 AI를 빠르게 접목할 수 있게 지원할 것"이라고 강조했다.

이어 "VM웨어 프라이빗 AI 파운데이션 위드 엔비디아의 경우에는 2024년에 정식으로 기업들에게 제공될 예정"이라며 "기업 내에 코딩 어시스턴트를 활용할 수 있도록 돕는 허깅페이스와의 협업(세이프코더)은 올해 4분기 공개될 것"이라고 말했다.

온프레미스 버전의 코파일럿인 세이프코더는 기업 내부에서 외부로 나가지 않고 코딩을 하는 툴이다. 80개 이상의 프로그래밍 언어에서 150억개 매개 변수로 학습한 모델을 기반으로 작동된다.

이 상무는 다른 AI 도입 방법으로 '탄주 랩스'를 소개했다. VM웨어는 기업들이 AI ML 기반의 스마트 애플리케이션 개발, 배포, 서비스를 운영하는 과정을 지원하고 있다.

그는 "아무리 좋은 모델이 있다고 하더라도 엔드 유저를 대상으로 서비스화되지 않고 데이터 사이언스 팀의 연구 용도로만 활용이 된다면, 기업 성과로 이어질 수 없다"라며 "VM웨어 탄주 랩스 조직을 사용자 중심의 디자인 등을 기반으로 검증된 방법론을 소개하고 있다"라고 말했다.