트웰브랩스, 영상 AI ‘페가수스‧마렝고’ 업데이트 공개

실시간
뉴스

솔루션

트웰브랩스, 영상 AI ‘페가수스‧마렝고’ 업데이트 공개

디지털데일리 발행일 2024-03-14 11:03:38

이종현 기자

URL복사

[디지털데일리 이종현기자] 영상 인공지능(AI) 기업 트웰브랩스는 자사 AI 모델의 신규 업데이트를 출시했다.

트웰브랩스는 AI 영상 언어 생성 모델 ‘페가수스’와 멀티모달 영상 이해 모델 ‘마렝고 2.6’을 업데이트했다고 14일 밝혔다.

페가수스는 AI 영상언어 생성 모델로, 작년 11월 정식 공개됐다. 영상에 대한 요약, 하이라이트 생성 등 영상 기반 텍스트 생성 기능 등을 선보인 바 있다. 이번 업데이트로 영상에 관해 궁금한 점들을 질문하면 답을 해주는 영상 질의응답 성능이 향상됐다.

기존 모델은 홈페이지 내 대기자 명단 등록을 통해서만 사용 가능했던 반면 이번 업데이트부터는 일반 대중에게 공개돼 누구나 페가수스 모델에 접근 및 활용 가능하다. 유료 버전의 경우 대량의 영상 활용이 필요한 기업 및 개발자들에게 제공된다.

마렝고는 영상뿐 아니라 이미지, 음성까지 아우르는 멀티모달 기반 모델이다. 트웰브랩스가 자체 진행한 내부 테스트 결과 최근 구글이 공개한 ‘비디오프리즘(VideoPrism)’ 모델보다도 높은 성능을 기록했다. 기존 모델에 비해 행동이나 방향성 등을 인지하는 모션 이해 인지 기능이 강화됐다.

비공개 베타 버전에서는 음성 및 이미지 이해 성능이 강화돼 텍스트 투 오디오(Text-to-Audio), 오디오 투 비디오(Audio-to-Video), 텍스트 투 이미지(Text-to-Image), 이미지 투 비디오(Image-to-Video) 작업 수행이 가능해졌다.

트웰브랩스 이재성 대표는 “트웰브랩스의 모델은 영상 이해에 특화돼 오픈AI의 소라, 구글 제미나이가 제공하는 영상 생성과는 차이가 있다”며 “페가수스 및 마렝고 모델은 영상 언어 모델들로는 수행 불가한 세밀한 수준의 작업까지 지원하는 만큼 영상 이해 기술을 핵심 산업들에 최적화하여 본격적인 확산을 추진하겠다”고 말했다.