구글, 6세대 TPU로 脫엔비디아 최전선…“시장 영향력 이미 시작됐다”

실시간
뉴스

e비즈*솔루션

구글, 6세대 TPU로 脫엔비디아 최전선…“시장 영향력 이미 시작됐다”

디지털데일리 발행일 2025-01-16 14:25:00

권하영 기자

URL복사

구글클라우드의 모한 피치카 그룹프로덕트 매니저가 16일 온라인으로 진행된 한국 기자 대상 트릴리움 교육 세션에서 발표하고 있는 모습 [ⓒ 화면캡쳐]

[디지털데일리 권하영기자] 인공지능(AI) 혁신을 뒷받침할 AI 반도체(칩) 경쟁이 뜨거워지고 있다. 지금까지 고성능 그래픽처리장치(GPU)로 이 시장을 주도해온 엔비디아가 최근 고비용과 공급부족 문제로 시장의 탈(脫)엔비디아 움직임에 직면하면서다.

이 틈새를 파고드는 것 중 하나가 구글의 텐서처리장치(TPU)다. AI 신경망의 막대한 연산 요구를 처리하도록 설계된 AI 칩으로, 2015년 구글 내부에서 추론용으로 사용했던 1세대에서 출발해 지난해 말 출시된 6세대 제품인 ‘트릴리움’에 이르렀다.

구글클라우드의 모한 피치카 그룹프로덕트 매니저는 16일 온라인으로 진행된 한국 기자 대상 트릴리움 교육 세션에서 “트릴리움은 현존 가장 강력한 TPU로, 칩당 최대 컴퓨팅 성능이 4.7배 향상돼 점점 복잡해지는 AI 문제를 해결할 수 있다”고 강조했다.

아직은 전세계 AI 칩 시장에서 엔비디아 지배력이 분명하지만, “구글 TPU 수요가 엔비디아의 점유율을 빼앗을 만큼 빠르게 성장하고 있다”(시장조사기관 옴디아)는 분석이 나올 정도로 TPU 역시 시장 영향력을 조금씩 키워나가고 있는 것으로 보인다.

실제로 피치카 매니저는 구글 TPU가 AI 칩 시장 점유율에 유의미한 영향력을 미칠 시점을 묻는 질문에 “고객 환경에서나 시장 차원에서나 의미 있는 임팩트를 이미 끼치고 있다”며 “TPU는 출발 자체가 신경망에 최적화돼 설계됐기 때문에 대규모 거대언어모델(LLM)과 생성형 AI 관련 모델에 아주 적합하다”고 차별점을 자신했다.

그러면서 “구글은 리서치 조직과 구글클라우드플랫폼(GCP) 조직이 하나의 큰 체계 내 포함돼 있고, 구글이 최전선에서 진행하는 혁신적인 연구 내용이 궁극적으로 구글의 클라우드 서비스 고객들에 전달될 수 있다“며 “TPU를 비롯한 하드웨어 인프라뿐만 아니라 소프트웨어까지 합해져 제공된다는 게 우리의 특별한 장점”이라고 부연했다.

트릴리움은 구글의 최신 AI 모델인 ‘제미나이 2.0’의 학습에 활용되고 있으며, 지난해 12월부터 전세계 고객에 정식으로 제공되고 있다. 제미나이처럼 수십억개 파라미터를 사용하는 고밀도(dense) LLM을 학습시키기 위해서는 방대한 연산 능력과 공동 설계된 소프트웨어 최적화가 필요한데, 트릴리움은 이전 세대보다 라마(Llama-2-70b) 및 GPT(gpt3-175b) 같은 고밀도 LLM을 최대 4배 더 빠르게 훈련할 수 있다.

또한 구글의 AI 하이퍼컴퓨터(Hypercomputer)를 기반으로 칩당 최대 컴퓨팅 성능이 4.7배 향상됐으며, 고대역폭메모리(HBM) 용량은 2배 증가하고, 에너지효율성도 67% 개선됐다는 설명이다.

다만 엔비디아 AI 칩과의 직접적인 비교는 하지 않았다. 피치카 매니저는 “우리는 TPU에 대한 모든 비교를 이전 세대와만 하고 있다”며 “(타 AI 칩과의 비교는) 서드파티 벤치마크를 통해 할 수는 있겠지만, 그런 테스트 결과 역시 칩 자체도 다르고 아키텍처도 다르기 때문에 결과를 유의해서 봐야 한다”고 말했다.

그럼에도 구글은 TPU를 통해 고객사례를 빠르게 확보해나가고 있다. 피치카 매니저는 “대기업부터 생성형 AI 유니콘 기업의 90%에 이르기까지 우리 고객들은 구글 클라우드 서비스를 통해 TPU와 AI 하이퍼컴퓨터 아키텍처를 활용하고 있다”며 “예를 들어 제약회사 바이엘은 신약 개발 가속화에, 딥제노믹스는 난치질환 치료방법을 찾기 위한 고유 파운데이션모델 활성화에 각각 TPU를 사용 중”이라고 밝혔다. 또한 앤스로픽, AI21랩, 미드저니 등도 LLM 훈련에 TPU를 쓴다고 전했다.

국내에서도 시장을 확대하고 있다. 대표적으로 카카오는 지난해 10월 공개한 통합 AI 브랜드 ‘카나나(Kanana)’의 LLM 학습에 구글 TPU를 도입했다. 70B(700억개 파라미터) 급의 LLM을 학습시키기 위해 오픈 모델과 TPU 트릴리움을 통해 고수준의 한국어 대응이 가능한 모델을 빠르게 확보할 수 있었다는 전언이다.

피치카 매니저는 “한국 고객들은 LLM 학습용으로 트릴리움을 많이 사용하고 있으며, 그 다음으로 동영상 분석과 이미지 카테고리화 등 이미지와 비디오 프로세싱에 중요한 역할을 하고 있다”며 “이 밖에 자연어 처리와 개인화 추천 시스템에서도 아주 잘 활용되고 있다”고 첨언했다.

실제 구글 TPU 수요에 힘입어 이를 담당하는 구글 클라우드 서비스인 GCP 사업도 빠르게 성장하고 있다. 지난해 3분기 GCP 사업부 매출은 전년동기 대비 35% 증가한 114억달러(약 16조7000억원)로, 구글 모회사인 알파벳 전체 매출(883억달러)의 약 13% 수준에 이르렀다. 같은 기간 GCP 사업부의 영업이익은 전년동기보다 627% 급증한 19억3800만달러(약 2조8000억원)를 기록했다.