프렌들리AI, 생성형 AI 모델 활용 지원하는 ‘서버리스 엔드포인트’ 출시

실시간
뉴스

솔루션

프렌들리AI, 생성형 AI 모델 활용 지원하는 ‘서버리스 엔드포인트’ 출시

디지털데일리 발행일 2024-01-04 11:26:42

이종현 기자

URL복사

[디지털데일리 이종현기자] 생성형 인공지능(AI)에 대한 수요가 급증하는 가운데 이를 보다 쉽게 활용하도록 지원하는 서비스가 출시됐다.

4일 AI 스타트업 프렌들리AI는 연구자, 개발자, 엔지니어, 데이터 과학자 등이 인프라 관리에 대한 고민 없이 생성형 AI를 사용할 수 있도록 하는 ‘서버리스 엔드포인트’ 서비스를 출시했다고 밝혔다. 많은 수의 인력과 시간을 투입해야 했던 복잡한 인프라 설치 및 운영 과정과 모델 서빙의 그래픽처리장치(GPU) 최적화 등의 문제를 해결했다는 설명이다.

프렌들리AI는 해당 서비스를 통해 누구나 쉽게 낮은 비용과 빠른 속도로 라마2(Llama 2), 스테이블 디퓨전(Stable Diffusion), 코드 라마(CodeLlama), 미스트랄(Mistral) 등 오픈소스 생성형 AI 모델을 자사 서비스에 통합할 수 있다고 전했다. 이는 챗봇, 코드 추천, 문서 요약, 썸네일 생성 등의 다양한 분야에서 활용이 가능하다.

또 ‘프렌들리AI 엔진’을 통해 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간 내에 응답을 생성하도록 지원한다는 점도 강조했다. 해당 엔진은 기존 솔루션에 비해 서빙이 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다.

프렌들리AI에서는 사용자들이 직접 만들거나 튜닝한 생성 AI 모델이나 공유가 필요 없는 전용 GPU 자원을 쓰고 싶은 사용자들을 위해 클라우드 GPU를 선택해 직접 인스턴스를 활용할 수 있는 ‘프렌들리AI 전용 엔드포인트’와 사설 자원에서 직접 수행하는 도커(Docker) 이미지 형태로 제공되는 ‘프렌들리AI 컨테이너’도 제공하고 있다.

프렌들리AI 전병곤 대표는 “생성형 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다고 생각한다. 프렌들리AI 엔진이 장착된 프렌들리AI 서버리스 엔드포인트는 AI 업계에 게임 체인처가 될 것으로 기대하고 있으며, 해당 서비스를 통해 생성 AI를 누구나 쉽게 쓸 수 있도록 지속적으로 노력해 나갈 것”이라고 말했다.