[AI WAVE 2024] IBM 왓슨x “AI 경량화 모델로 거버넌스까지 대비”

실시간
뉴스

소프트웨어

[AI WAVE 2024] IBM 왓슨x “AI 경량화 모델로 거버넌스까지 대비”

디지털데일리 발행일 2024-05-09 14:30:00

이안나 기자

URL복사

5월9일 서울 중구 롯데호텔 서울에서 <디지털데일리>가 산업별 AI 혁신과 도전과제를 주제로 개최한 ‘AI 웨이브 2024’ 콘퍼런스. ‘기업을 위한 생성형 AI 운영 및 거버넌스 플랫폼, 왓슨X’를 발표 중인 한국IBM 김지관 상무.

[디지털데일리 이안나기자] 110년 이상 업력을 가진 IBM이 이젠 하이브리드 클라우드와 인공지능(AI)에 집중하고 있다. 특히 생성형AI 포트폴리오를 확장해 기업들이 생산성을 높일 수 있는 방안을 연구하고 있다. 대표적 서비스가 바로 ‘왓슨x’다.

한국IBM 김지관 상무는 9일 롯데호텔서울에서 <디지털데일리> 주최로 열린 ‘AI WAVE 2024’ 콘퍼런스에 참여해 ‘기업을 위한 생성형AI 운영 및 거버넌스 플랫폼, 왓슨x’를 주제로 발표했다.

최근 IBM은 마스터스 골프대회 앱과 홈페이지에 왓슨x로 구축한 생성형AI 기술을 통해 ‘홀인사이트’ 서비스 등을 제공했다. 홀 인사이트는 생성형AI 기술을 토대로 코스 내 각 홀에 대한 데이터 기반 분석과 예측을 제공한다. 영상 하이라이트를 추출하고 영어·스페인어로 나래이션을 자동 생성한다.

마스터스가 골프 팬들에 완전히 새로운 경험을 제공한 것처럼, 기업 역시 고객들에 경험의 가치를 극대화하고 생산성을 극대화하는 과제를 안고 있다. 이제 AI를 통해 대규모 인력 투입 없이도 이런 과제를 해결할 수 있는 가능성을 IBM이 제시한 셈이다.

AI가 제대로 작동하기 위해선 메타정보를 수집해 정형화된 패턴 데이터로 변환을 하고, 이를 초거대언어모델(LLM) 혹은 거대 파운데이션 모델에서 튜닝을 해야 한다. 특히 기업들이 쌓아온 자체 데이터를 활용해야 맥락에 맞는 답이 나온다. 기업들은 자체 데이터를 생성형AI와 연동하길 원하면서도 클라우드로의 데이터 유출, 비용에 대한 우려가 공존한다.

IBM은 이런 문제 해결을 위해 ‘멀티모델’을 강조했다. 김지관 상무는 “IBM은 모든 기업에 대규모 모델이 꼭 필요할까 의문을 가졌고 똘똘한 작은 모델을 엮어서 해당 부서 업무에 맞게 만드는 것이 효율적이라고 봤다”며 “클라우드도 가능하고 온프레미스 형태로 기업 내 프라이빗 클라우드로 구축하는 것도 가능하다”고 설명했다 .

IBM은 AI 시대 중요 키워드로 ‘거버넌스’도 꼽았다. 미국에선 그래픽처리장치(GPU)나 AI 관련한 기술을 사용할 때 각 기업들이 보고를 해야한다는 행정명령을 내렸고, 국내에선 AI 규제법이 국회 계류 중이다. 전 세계적 AI 규제 움직임에 기업들은 미리 대응해야 할 필요성이 생겼다. AI 모델을 접하는 챗봇 방식인 ‘어시스턴트’ 역시 앞으로 더욱 다양해질 전망이다.

IBM이 AI 시대 주요 키워드를 고려해 반영한 것이 바로 ‘왓슨x’다. AI 관련 복잡한 업무 및 워크로드를 마이크로 서비스 단위로 배포, 관리 하기 위해 밑단엔 레드햇 오픈시프트를 적용했다. 데이터 부분은 기업 데이터 페브릭을 지원하는 플랫폼을 사용했다.

IBM이 차별점으로 내세우는 부분은 그 위에 얹은 AI·데이터 플랫폼 레이어 ‘왓슨x.ai’다. 왓슨x.ai는 AI모델을 실험, 튜닝, 배포 및 운영하는 통합 AI 관리·개발 스튜디오다. 현업 부서들까지 편리하게 테스트를 하고 추가 튜닝작업을 할 수 있다.

김 상무는 “신뢰성 높은 모델을 만들기 위해선 프롬프트 엔지니어링이라는 과정을 통해 맞는 답이 나오는지 계속 테스트하는 과정이 필요하다”며 “이 테스트를 일부 엔지니어팀만 해선 비즈니스 성과를 확인하는 데 한계가 있기 때문에, 현업에서도 질문을 던지고 원하는 답이 나오는지 품질 관리를 해야한다”고 말했다.

IBM 자체 모델뿐 아니라 메타 라마3 등 오픈소스 기반 다양한 모델들도 올라와 있다. 한국어 모델 역시 라마2 기반으로 튜닝 된 모델들을 이용할 수 있고, 6월이면 이미지·텍스트를 함께 처리하는 멀티모달 모델 ‘스태빌리티.ai’도 이용 가능하게 된다.

왓슨x.거버넌스도 플랫폼에서 이용할 수 있다. 식품 포장지 뒷면에 붙은 영양 라벨처럼 이 모듈을 통해 AI 명세를 정리할 수 있다. AI 모델이 개발·테스트하고 배포하는 과정에서 어떤 프롬프트 엔지니어링이 이뤄졌는지, 데이터 형태 구조는 어떤지 등을 스냅샷으로 남긴다. 이런 기능들은 AI 기술 투명성 제 1원칙으로, AI 규제에 대비하기 위한 시작점이다.

김 상무는 “IBM은 기업 비즈니스에 특화한 경량화 모델을 주로 제공하면서 고객들이 트렌드이 늦지 않게 오픈소스를 바로바로 차용해서 함께 검토할 수 있는 장을 제공하고 있다”고 말했다.