[일문일답] SKT표 텔코LLM, 韓 버전부터…"협력사 논의 후 글로벌로 확대"

실시간
뉴스

통신*방송

[일문일답] SKT표 텔코LLM, 韓 버전부터…"협력사 논의 후 글로벌로 확대"

디지털데일리 발행일 2024-04-30 15:21:43

채성오 기자

URL복사

정민영 SK텔레콤 AI 플랫폼 담당이 30일 열린 텔코LLM 간담회에서 취재진의 질문에 답변하고 있다. [ⓒ 디지털데일리]

[디지털데일리 채성오기자] SK텔레콤이 통신업에 특화된 '텔코LLM(통신사향 거대언어모델)' 3종을 통해 AI 시장 주도권 확보에 나선다. 오는 6월 공개를 목표로 개발중인 SKT표 텔코LLM은 ▲자체 AI 기반 에이닷엑스 LLM ▲오픈AI의 GPT 버전 LLM ▲앤트로픽의 클로드 버전 LLM으로 통신사 서비스 및 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 데이터를 선별해 학습시키는 형태로 개발중이다.

30일 공개된 SK텔레콤의 텔코LLM은 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 '멀티LLM' 전략을 구사한다. 이를 통해 기업고객이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처에 맞는 텔코LLM을 활용하는 방식이다.

에릭 데이비스 SK텔레콤 AI 테크 콜라보레이션 담당과 정민영 SK텔레콤 AI 플랫폼 담당은 이날 SKT타워에서 진행된 간담회를 통해 텔코LLM에 대한 전략과 비전을 공개했다. 다음은 SK텔레콤 관계자들과의 일문일답.

Q. 한국형 LLM을 별도 개발하는 것인지 아니면 글로벌 텔코LLM으로 파인튜닝(미세조정)하는 형태인지?

A. 에릭: SK텔레콤이 한국 기업이다보니 앤트로픽이나 오픈AI 같은 협력사들과 한국어 데이터 시스템을 구축, 파인튜닝하고 있다. 글로벌 텔코 AI 얼라이언스의 텔코LLM도 고도화하고 있는데 참가사들과 현재 논의중이라 한국형 LLM 먼저 출시 후 글로벌에 집중할 계획이다.

Q. 6월 출시라는 것은 어느 정도 기술이 완성됐다는 뜻으로 보이는데 현재 할루시네이션(환각률)은 어느 정도인 지?

A. 정민영: 저희는 내부적으로 평가 기준이 있는데 일정 수준을 이상 돼야 출시를 할 수 있다고 판단한다. 6월까지 시간이 좀 남아있는 만큼 해당 시기까지 넉넉히 기준을 달성할 거라고 예상하고 있다. 시간이 지날 수록 고객 요청과 사업 상황이 바뀌기 때문에 품질도 변화하는 만큼, 상용화 되려면 실 수요 부서의 평가 기준을 충족해야 하는 상황이다.

Q. 멀티 LLM을 사용하면 각각의 LLM별로 토큰 입출력 비용을 전부 내야할텐데, 단일 LLM을 사용하는 것이 비용적 측면에서 효율적인 것 아닌가?

A. 정민영: 멀티LLM을 사용할 때 각 LLM에 동일한 인풋을 넣고 아웃풋을 본 다음 평가해서 어떤 부분을 쓸 지 실시간으로 결정하는 방식도 있겠지만 저희는 실제 적용 사례를 만들 때 실 수요 부서의 평가과정을 거친다. 관련 평가를 거쳐 개발 및 평가 시스템 시기에 결정짓기 때문에 그런 방식으로 비용을 컨트롤한다고 말씀드릴 수 있겠다.

Q. 미국에 설립한 글로벌AI플랫폼코퍼레이션도 AI 관련 업무를 담당하고 있나?

A. 정민영: 제가 현재 글로벌AI플랫폼코퍼레이션의 최고기술책임자(CTO)도 겸직하고 있다. 해당 회사는 미국에서 '퍼스널 AI 어시스턴트'라는 서비스 같이 새로운 애플리케이션(앱)이나 서비스를 만들기 위해 별도 설립한 회사다. 한국에서는 주로 개발 인력을 채용해서 개발에 집중하기 위해 별도 지사를 세워둔 형태로 보시면 될 것 같다.

에릭 데이비스 SK텔레콤 AI 테크 콜라보레이션 담당(왼쪽)과 정민영 SK텔레콤 AI 플랫폼 담당이 취재진의 질의를 듣고 있다. [ⓒ 디지털데일리]

Q. SK텔레콤의 텔코LLM이 다른 LLM에 비해 속도와 비용 면에서 얼마나 더 효율적인가?

A. 에릭: 구체적으로 비교 수치를 이야기하는 것은 곤란하다. 다만, 기존 범용LLM보다 업무 관련 답변 정확도가 35% 정도 높다고 할 순 있겠다.

A. 정민영: 텔코LLM을 잘 만들어 놓으면 적은 입력을 줘도 더 좋은 답변을 얻을 수도 있고 또 훨씬 더 짧은 답변에 원하는 결과를 만들어낼 수도 있다. (해당 지점에서) 속도는 당연히 따라오는 효과라고 생각한다. 다만, 텔코LLM이 기존 모델 대비 무조건 몇 배 싸다거나 뛰어나다라고 말씀드리기에 (현 시점에선) 조금 어려운 지점이 있을 것 같다.

Q. 텔코LLM은 오픈AI(GPT 버전)가 핵심이라고 본다. SK텔레콤이 봤을 때 GPT 새 버전의 할루시네이션은 어느 정도 낮아졌다고 판단하나?

A. 에릭: GTP4가 3.5버전보다 좋지 않나. 응답 만족도가 높다고 본다.

A. 정민영: 첨언하자면 저희가 모델에 전적으로 모든 답변을 의존하는 건 앞으로도 불가능할 것이라고 본다. 왜냐하면 모델 학습 시점에 들어갔던 데이터와 실제로 쓰는 시점에 차이가 있기 때문이다. 물론 기술적으로 다양한 개선과 발전이 있을 것이라고 긍정적으로 예측하고 있지만 틀리면 안 되는 내용이 있을 경우가 실제 업무에서 상당히 많다. 이런 부분은 모델이 아무리 발전해도 RAG(검색증강생성) 등 시스템으로 보완해 가는 것이 필수적이라는 생각이다.

Q. B2B 사업 측면에서 사업성이나 수익성을 확보하기 쉽지 않을 것으로 보인다. 텔코LLM처럼 제조LLM, 금융LLM 등을 개발해 B2B 사업을 하는 것인지 아니면 그 틀을 만드는 것인지.

A. 정민영: 기술적인 관점에서 설명을 드리면 모든 도메인이나 애플리케이션에 파인튜닝이 필요할 것이라고 생각하진 않는다. 다만 최근 파인튜닝 비용도 굉장히 가파르게 떨어지고 있고, 데이터 품질이 좋을수록 파인튜닝이 잘 되기 때문에 데이터 구축 비용 등을 감안하면 저희는 텔코에서 그만한 효용을 얻을 것이라고 판단했다. B2B 사업은 SKT엔터프라이즈에서 하시니까 그쪽에서 여러가지 고민을 하실 것 같다. 다만 에이닷엑스LLM도 텔코LLM 전용 모델이 아니기 때문에 이를 활용해 할 수 있는 사업도 충분히 있을 것이라고 생각한다.

Q. 텔코LLM 개발 완료 시 일선 현장에 적용될 시점은 언제로 보고 있나?

A. 정민영: 테스크 단위의 AI 기술을 이용해 개발하는 것들이 이르면 6월 초 마무리 될 것으로 예상하는데, 사내 여러 가지 시스템에 적용하는 시점은 연내로 보고 있다. 실제로 저희가 평가 테스트 등을 거쳐 상용화 되는 적용 시점이 그 정도가 될 것으로 예상한다.