오픈AI에 구글, 메타, 알리바바… 최신 LLM 경쟁 치열하지만 ‘글쎄’

실시간
뉴스

솔루션

오픈AI에 구글, 메타, 알리바바… 최신 LLM 경쟁 치열하지만 ‘글쎄’

디지털데일리 발행일 2024-05-12 18:37:31

이종현 기자

URL복사

[디지털데일리 이종현기자] 오픈AI가 챗GPT를 선보인 이후 생성형 인공지능(AI) 서비스 구현을 위한 대규모언어모델(LLM) 경쟁이 한층 치열해졌다. 마이크로소프트(MS), 구글과 같은 전통 빅테크 기업들에 더해 앤스로픽, 미스트랄 등 스타트업도 대규모 투자금을 유치하며 경쟁에 나서는 중이다.

가장 눈길을 끄는 것은 선두주자인 오픈AI와 MS다. 오픈AI는 2022년 11월 LLM GPT-3.5를 기반으로 한 챗GPT를 선보인 이래 MS와 협력하며 시장을 주도하고 있다. 이미지 생성의 달리, 영상 생성의 소라 등 텍스트뿐만 아니라 다양한 유형의 데이터까지 아우르면서 각 분야에서 모두 최고 수준의 기술을 갖춘 것이 특징이다.

◆오픈AI 맹추격하는 구글‧메타‧알리바바… 주도권 다툼 한창

구글도 제미나이(Gemini)를 공개하며 오픈AI-MS 동맹을 맹추격 중이다. 다만 데모 영상에서 성능을 과장했다거나, 이미지 생성 서비스에서 인종차별적인 결과값을 내놓는 등 잦은 구설수에 올랐다. 지나치게 다양성을 인식하는 알고리즘 탓에 일반적인 명령도 거부하는 사례도 나타났는데, 이에 구글은 서비스 개시 후 얼마 지나지 않아 이미지 생성 서비스를 중단하기도 했다.

구글이 실기한 가운데 두각을 드러낸 것은 사회관계망서비스(SNS) 플랫폼 기업 메타다. 메타는 2023년 2월 라마(Llama)라는 모델을 출시하며 LLM 경쟁에 뛰어들었다. 특히 모델을 오픈소스로 공개함에 따라 전체 AI 시장에서 미치는 영향력을 오픈AI에 버금간다는 평가를 받곤 한다.

오픈소스 운영체제(OS)인 리눅스를 기반으로 우분투, 데비안 등으로 확장된 것처럼 라마를 이용한 모델들이 대거 등장했다. 지난 4월18일에는 한층 성능을 높인 ‘라마3’를 공개했는데, 성능 면에서 비약적인 발전을 이루면서 오픈AI의 GPT-4에도 버금갈 수 있다는 기대를 받고 있는 만큼 AI 업계에서 메타가 가진 영향력은 점차 커질 것으로 전망된다.

주요 LLM 기업 대부분은 미국에 기반을 뒀다. 제2의 오픈AI라고 평가받는 앤스로픽이나 테슬라의 창업자인 일론 머스크(Elon Musk)가 작년 설립한 xAI 등 국가대표급 기업들이 즐비하다. 물론 다른 국가 기업들이 손을 놓고 있지는 않다. 캐나다의 코히어, 프랑스의 미스트랄AI를 비롯하 중국의 빅테크 기업인 알리바바와 텐센트도 경쟁하는 중이다.

특히 알리바바의 경우 ‘퉁이첸원’, ‘큐원’ 등 LLM을 내세우며 기술 추격에 나서는 중이다. 지난 9일에는 퉁이첸원 2.5를 공식 출시했는데 알리바바는 해당 LLM이 오픈AI의 GPT-4 터보에 버금간다고 밝히기도 했다.

한국에서도 자체 LLM을 개발하는 기업들이 있다. 네이버, 솔트룩스, 코난테크놀로지 등이다. LLM의 성능을 용도에 맞게 보다 최적화하는 미세조정(파인튜닝) 및 답변 완성도를 높이기 위한 검색증강생성(RAG) 등도 업계에서 주목받고 있는 기술들이다.

◆현업에서는 최신 모델보다는 구형 모델 선호… ‘비용 최적화’ 이뤄져야

하지만 정보기술(IT) 업계 일각에서는 이와 같은 LLM 기술 경쟁이 피부에 와닿지 않는다는 지적도 제기된다. 계속해서 새로운 모델이 출시되고 있지만 정작 기업들은 최신 모델보다는 1~2년 전 발표된 모델을 채택하고 있는 것이 현실이다.

삼성SDS가 지난 4월 출시한 생성형 AI 서비스가 대표적인 예다. 삼성SDS는 자사 솔루션 전반에 적용할 수 있는 챗봇 브리티 코파일럿을 공개했는데, 해당 서비스는 오픈AI의 GPT-3.5와 삼성이 자체 개발한 가우디를 기반으로 작동한다. GPT-3.5는 2022년 11월 발표됐다. GPT-3.5 이후로 2023년 3월 GPT-4, 2024년 1월 GPT-4 터보 등이 공개된 것을 감안하면 다소 의아한 결정이다.

이에 대해 업계 관계자들은 입을 모아 “비용 문제 때문일 것”이라고 말한다. 최신 모델 활용에 필요한 비용이 워낙 큰 데다가 구형 모델도 필요로 하는 수준의 성능은 발휘할 수 있기에 굳이 최신 모델을 쓸 이유가 없다고 밝혔다. 실제 엔터프라이즈 영역에서는 여러 LLM을 선택할 수 있도록 하는 옵션을 제공 중인데 비용 문제로 구형 모델을 선택하는 비중이 훨씬 높다고도 부연했다.

일각에서는 LLM 만능론에 대한 비판적인 목소리도 나오는 중이다. LLM 파인튜닝에 주력하고 있는 투디지트 박석준 대표는 “LLM을 만들면 모든 사업에 다 적용할 수 있다는 주장은 사실이 아니다. 중요한 것은 사업에 필요한 최고 성능의 모델을 경량화 및 파인튜닝하는 기술을 보유했는지 여부”라고 주장했다.

그는 “LLM의 우수성은 얼마나 많은 AI 기업이 그 모델을 사용하는지를 보면 안다”면서 국내 LLM 개발 기업들을 직격했다. 실제 네이버의 하이퍼클로바X를 제외한 국산 LLM 대부분은 자체 사업에서만 활용될 뿐, 범용적으로 활용되지 않고 있음을 지적한 것이다.

박 대표는 “같은 LLM이라 할지라도 이를 어떻게 활용하느냐에 따라 점수가 달라진다. 종합격투기 대회인 UFC에서 태권도 선수가 유도 선수를, 복싱 선수가 레슬링 선수를 이길 수도 있지만 그렇다고 해서 어떤 종목이 더 강하다곤 하지 않는다. 경기의 결과는 해당 선수 개인의 기술력에 달렸다”면서 AI에 대한 모든 관심이 LLM에만 치우쳐서는 안 된다고 주장했다.

한편 투디지트는 파인튜닝한 LLM 레아(Rhea)를 통해 AI 오픈소스 플랫폼 허깅페이스의 LLM 벤치마크 리더보드서 49일째 1위를 차지하고 있다. 수시로 순위가 뒤바뀌는 가운데 이토록 긴 시간 동안 선두를 유지하는 것은 이례적이다. 해당 모델은 메타의 라마2 모델을 투디지트가 파인튜닝한 것으로, 총 341K 쌍의 데이터를 통해 파인튜닝했다.