[오픈테크넷2022] ‘AI 민주화’ 기여하는 래블업 ‘백엔드.AI’는 무엇?

실시간
뉴스

인터넷

[오픈테크넷2022] ‘AI 민주화’ 기여하는 래블업 ‘백엔드.AI’는 무엇?

디지털데일리 발행일 2022-09-22 08:10:11

이안나

URL복사

[디지털데일리 이안나 기자] 인공지능(AI)과 딥러닝·머신러닝은 대중에 익숙한 용어가 됐지만 실제 모델을 개발할 때 어려움은 점점 커지고 있다. 딥러닝 모델 규모가 커지고 그래픽처리장치(GPU) 등 수명이 짧아지면서 모든 설정들이 복잡하게 얽혔기 때문이다. 래블업은 AI를 어디에서나, 누구나 사용할 수 있도록 다양한 버전 오픈소스를 제공하고 있다.

20일 정보통신산업진흥원(NIPA)과 디지털데일리가 공동 주관으로 개최한 ‘오픈 테크넷 서밋 2022’ 버추얼 컨퍼런스에서 신정규 래블업 대표<사진>는 ‘오픈소스 백엔드닷에이아이(백엔드.AI) 플랫폼을 활용한 AI트랜스포메이션’ 주제로 발표를 진행했다. 신 대표는 “엄청난 복잡도를 갖는 AI 개발 시스템, AI서비스 시스템 문제를 해결하기 위해 ‘백엔드.AI’를 만들게 됐다”고 전했다.

초거대 딥러닝 모델 시대에 접어들면서 AI모델 크기는 매년 10배씩 성장하고 있다. 그와 반대로 GPU 수명 주기는 2년 정도로 줄었고 그 위에서 돌아가는 소프트웨어 주기는 90일 정도로 더 짧아졌다. 즉 딥러닝 모델 개발에 있어 파이프라인 별로 이질적인 연산자원이 요구되고 입출력(I/O) 가속 기능 설정이 복잡하게 된다. 소프트웨어 호환성도 지속 고려해야한다.

높은 복잡도를 가진 AI 시스템 문제를 해결하기 위해 탄생한 것이 백엔드.AI다. 백엔드.AI는 머신러닝 모델 개발 본질에만 집중하도록 AI 훈련 및 서비스 플랫폼에 필요한 관련 기술을 하나의 프레임워크로 제공하는 통합 솔루션 및 플랫폼이다. 래블업은 백엔드.AI는 초기부터 오픈소스로 개발했다. 이를 기반으로 한 기업용(엔터프라이즈) 버전은 현재 약 50여개 이상 회사 및 기관, 학교에서 사용하고 있다.

백엔드.AI는 수백대 노드를 사용해 큰 머신러닝 모델을 훈련을 하거나 모델 설계 과정을 컴퓨터에게 일임해서 진행할 수 있다. 즉각적이고 자동화된 분산 컴퓨팅 환경이 가능한 것이다. 또는 GPU를 잘게 쪼개 분할 가상화 기반으로 많은 서비스를 동시에 돌리는 서비스도 할 수 있다.

래블업 신정규 대표는 “7년 전 알파버전을 들고 파이썬 컨퍼런스에서 발표했는데, 당시 구성원 3명은 빠른 기술 발전과 시스템·학계 속도 차이를 어떻게 메울 수 있을지 고민하다 답을 ‘자동화’에서 찾았다”고 설명했다. 지식이 전달되는 과정을 클라우드·AI 기술을 동원해 매끄럽게 만들어 자동화하자고 생각해 플랫폼을 만들기 시작한 게 백엔드.AI 시발점이다.

발표 후 백엔드.AI 정식 버전을 공개하기까지 2년 반, 엔터프라이즈 버전을 만들어 판매하기까지 4년이 소요됐다. 이 과정에서 GPU를 가상화하는 기술을 세계 최초로 개발하고, 여러 노드를 동시 동원해 모델 훈련을 가속화하는 분산 훈련 기능도 처음 공개했다. 올해는 사람들마다 서로 다른 환경에서 사용할 수 있도록 커스텀 컨테이너 이미지 빌더 기능 등을 시작했다.

백엔드.AI 대표 기술은 GPU 가상화(Fractional GPU)다. 이는 고성능 GPU 하나를 가상화해 수십여개 GPU로 나눠 여러개 AI 훈련을 동시에 할 수 있는 기술로, 래블업이 2017~2018년 사이 자체 개발한 기술이다. 하나의 GPU 램(RAM)을 컨테이너별로 0.1GPU, 0.2GPU, 2.7GPU 등으로 나눠서 제공할 수 있다. 쿠다(CUDA)8 버전부터 11버전까지 다른 GPU에도 범용적으로 적용 가능해 분할에 제한이 없다.

AI 개발 전용 GPU의 경우 대당 수천만원까지 대당 수천만원까지 호가하는데, 이를 여러개로 쪼개 사용할 경우 기업·기관 등은 하드웨어 도입 비용을 크게 줄일 수 있다. 실제 한 대학에선 금융권 실무자 MBA 수강생 및 연구자들을 위해 GPU 서버팜을 구축했는데, 초기 2대 서버 16개 GPU로 80명 이상 수강생들이 동시에 실습하기도 했다.

신 대표는 “(GPU 가상화는) CUDA MIG(Multi-Instance GPU)나 멀티프로세스서비스(MPS) 같은 유사 기술들이 있지만 이런 기술들과 독립적으로 만들어진 것이며, 보안의 불안한 부분을 모두 해결하고 있는 솔루션이다”라고 강조했다.

모두를 위한 AI를 위해 래블업은 클라우드를 적용한 백엔드.AI도 시범 운영하고 있다. 플랫폼 설치조차 어려움을 겪는 사람들이 대상이다. 퍼스널 클라우드(베타)는 관리 부담 없이 바로 시작할 수 있고, 오픈소스로 구축할 수 있는 백엔드.AI와 동일한 형태를 클라우드에서 이용할 수 있다. 알파 테스트 단계인 팀클라우드를 통해선 누구나 자신만의 ‘AI팀’을 구성할 수 있다. 이중 ‘월드 콘솔’은 자신의 PC를 연결해 클라우드에 사용할 수 있는 기능이다.

신 대표는 “래블업은 기업용 AI 개발 플랫폼으로, 백엔드.AI 핵심은 전부 다 오픈소스로 공개하고 있다”며 “기업 단위에서 대규모 모델을 만들 때는 초거대 AI모델을 빌드하고 개발하는 엔터프라이즈용을 사용할 수 있고, 작은 규모 모델을 만들 때 오픈소스 버전으로 간단히 만들도록 돕고 있다”고 했다. 이어 “누구든지 쉽게 접근할 수 있고 누구든지 어려움 없이 활용할 수 있는 AI를 보급하는 것이 저희의 개발 목표이자 회사를 운영하는 이유”라고 덧붙였다.