서울시, 자체 AI 모델 구축 중…“나만의 비서로 만드는 고민 필요”

실시간
뉴스

소프트웨어

서울시, 자체 AI 모델 구축 중…“나만의 비서로 만드는 고민 필요”

디지털데일리 발행일 2024-08-22 15:26:06

이안나 기자

URL복사

“오픈소스 ‘라마’로 비용효율성 높이고 RAG로 환각현상 해소”

[디지털데일리 이안나기자] 인공지능(AI) 시대가 도래하면서 서울시가 오픈소스를 활용해 자체 AI 모델을 구축하고 있다. 내부 업무 효율은 물론 대국민서비스를 편리하게 제공하기 위해 보안과 정확성을 높인 방식을 채택했다.

22일 영림원소프트랩은 서울 광화문에 위치한 한국마이크로소프트 사무실에서 ‘비영리기관의 디지털전환을 위한 지식공유 세미나’를 진행했다. 이날 세미나엔 120여명 비영리기관 관련 종사자들이 참석해 관심을 보였다.

기조연설로 나선 이상용 서울특별시 디지털 수석은 AI시대 도래에 따른 서울시 대응과 과제에 대해 발표했다. 오픈AI와 구글, 마이크로소프트, 애플 등 주요 기업들 AI 기술 발전 현황을 소개하며 음성인식과 이미지 생성, 자연어 처리 등 다양한 분야에서 AI가 급속도로 발전하고 있다는 점을 설명했다.

이 수석은 “AI를 에이전트, 즉 나만의 비서처럼 사용할 수 있는지가 핵심”이라며 “사람들이 모두 이를 활용하기 위해선 보안이 중요하고 온디바이스AI가 등장하고 있는 이유”라고 설명했다. 최근엔 사용자에 맞춰 특화된 답변을 하는 커스텀 GPT가 대두되고 있다.

중요한 건 비영리 기관에서 어떻게 AI를 활용할 것인지, 조직문화에 자연스럽게 녹일지를 고려해야 한다는 점이다. 가령 복지사와 관련된 업무에선 AI가 어르신을 인식해 사람처럼 대화해주는 역할로 활용할 수 있다. 이는 서울시에서도 준비하고 있는 과정이다.

이 수석에 따르면 서울시가 AI를 활용할 수 있는 업무를 뽑았을 때 70%는 ‘생성’보다 ‘판별’에 초점이 맞춰져 있었다. 속도위반 자동차 번호판을 인식하는 게 대표적이다. 생성에 쓰기 위해서 서울시는 지하철에서 언어로 대답하기, 번역, 고립위험가구 분석 등을 진행 중이다.

기업들 AI 도입에 대해서는 자체 AI 모델 구축 중요성을 언급했다. 서울시 역시 보안을 이유로 AI 모델을 자체적으로 구축하고 있다.

단 이때 고려해야할 건 비용과 보안 문제다. AI가 정확한 답을 제공하기 위해선 많은 데이터들을 입력해야 하는데, 기업 및 공공기관들은 외부로 데이터가 유통되는 클라우드 방식을 우려하기도 한다. 따라서 외부 AI 서비스를 그대로 가져와 사용하기보다, 기업 내부 데이터베이스(DB)와 AI를 결합한 검색증강생성(RAG) 모델이 효과적일 것이라고 제안했다.

이 수석은 “작은 소형 모델, 소형 CPU로 돌아가는 AI모델들이 나오기 때문에 앞으로는 기업 내 AI를 구축하는 방향이 될 것”이라며 “이를 빨리 도입해서 업무에 어떻게 활용할 것인지 찾아내는 것이 가장 중요한 과제”라고 강조했다.

서울시는 효율적인 모델을 구축하기 위해 오픈소스인 ‘라마’를 활용했다. 그는 “자체 AI 모델이 기본적인 업무 프로세스를 분석해주고 있다”며 “여기에 법 번역 등 기능들을 1차로 가져가고, 대국민 시민서비스를 하기 위해서도 개발하고 있다”고 덧붙였다.

대국민 서비스를 제공할 때 AI가 잘못된 답을 제공하는 ‘환각 현상’을 없애기 위해서도 노력 중이다. 서울시가 갖고 있는 지식을 데이터베이스(DB)화해 학습시키고, AI가 답변을 할 땐 질문 맥락을 읽고 DB에 한정된 답변을 주는 RAG 방식을 채택했다.

AI 시대에 대비하기 위해 이 수석은 기반 구축, 혁신적 서비스 발굴, 조직문화 변화가 필요하다고 강조했다. 특히 조직 내 있는 사람들이 고민해서 AI모델을 만들어갈 수 있어야 하고, 생각도 바뀌어야 한다는 지적이다. 이 수석은 “AI가 사람을 대체하지는 않지만, AI를 사용하는 사람이 AI를 사용하지 않는 사람을 대체할 것”이라며 개인과 조직 모두 AI 활용 능력을 키워야 한다고 주장했다.