생성형 AI 시장 뛰어든 퀄컴…“온디바이스 승부수”

실시간
뉴스

반도체

생성형 AI 시장 뛰어든 퀄컴…“온디바이스 승부수”

디지털데일리 발행일 2023-09-21 21:20:44

김도현 기자

URL복사

연내 100억개 파라미터 지원 예정

비네쉬 수쿠마 퀄컴 시니어 디렉터 겸 AI/ML 제품 관리 총괄 [사진=퀄컴]

[디지털데일리 김도현 기자] 챗GPT 열풍으로 생성형 인공지능(AI) 시장이 개화했다. 글로벌 반도체 설계(팹리스) 기업 퀄컴은 이러한 흐름에 합류하기 위해 ‘AI 스택’과 ‘헥사곤 프로세서’를 내세운다. 이를 통해 퀄컴은 클라우드가 아닌 엣지 단계에서도 생성형 AI를 구현하고자 한다.

21일 퀄컴은 서울 종로구 교보생명빌딩에서 ‘AI 미래는 온디바이스’라는 주제로 미디어 라운드테이블을 진행했다.

이날 비네쉬 수쿠마 퀄컴 시니어 디렉터 겸 AI/ML 제품 관리 총괄은 “앞으로 거대언어모델(LLM), 거대비전모델(LVM) 등 모든 생성형 AI를 클라우드로 충족할 수 없을 것”이라며 “(일부를) 엣지로 전환할 수 있는 인프라가 필요하다”고 말했다.

클라우드 기반 AI는 네트워크로 연결해 활용한다면 엣지 수준의 온디바이스 AI는 서버를 통해 구동하지 않아도 된다. 이에 개인정보 보호 차원에서도 유리한 점이 있다. 다만 온디바이스 AI는 기기 자체의 성능과 전력 관리 등이 해결 과제다.

퀄컴은 대안으로 ‘하이브리드 AI’를 제시했다. 클라우드와 온디바이스 AI를 병행하는 방식이다.

수쿠마 총괄은 “(생성형 AI를) 사용자와 잘 연결하기 위해 개인화 작업이 필요하다. 이를 위해 퀄컴은 AI 스택 등으로 인프라를 구축했고 AI에 특화된 헥사곤 프로세서를 내놓았다”면서도 “사용자의 요청이 왔는데 엣지 쪽에서 해결이 안 되면 이걸 클라우드 측에서 처리할 수 있도록 해야 한다”고 설명했다.

헥사곤 프로세서는 퀄컴이 만든 AI 가속기다. 과거 애플리케이션프로세서(AP)에 스칼라와 벡터, 텐서 가속기 등을 사용했으나 2020년부터 이들을 결합한 헥사곤 프로세서를 투입하고 있다. 퀄컴은 작년 11월 선보인 ‘스냅드래곤8 2세대’에 최신 헥사곤 프로세서를 탑재했고 이를 바탕으로 경쟁사 대비 벤치마크 점수에서 앞선 것으로 전해진다.

수쿠마 총괄은 “헥사곤 프로세서에 대해 지난 10년간 많은 투자가 이뤄졌다. 이제는 이미지 분류와 탐지, 재구성 등이 가능하다”며 “딥페이크 이미지 구성 시 중앙처리장치(CPU), 그래픽처리장치(GPU) 등보다 빠르고 전력 사용량이 3분의 1 수준”이라고 강조했다.

퀄컴은 엣지 영역을 확장해나갈 방침이다. 스마트폰을 비롯해 자동차, PC, 사물인터넷(IoT) 등이 대상이다.

아울러 회사는 올해 말까지 생성형 AI 서비스에 필요한 100억개 매개변수(파라미터)를 수용할 수 있는 제품을 내놓을 계획이다. 기존에는 60억개 파라미터 정도였다.