[AI 한쿡] 딥시크도 믿고 쓸 수 있어야... 한국형 `LLM 신뢰성 평가 체계` 확보 본격화

실시간
뉴스

일반

[AI 한쿡] 딥시크도 믿고 쓸 수 있어야... 한국형 'LLM 신뢰성 평가 체계' 확보 본격화

디지털데일리 발행일 2025-02-04 16:33:48

이건한 기자

URL복사

[디지털데일리 이건한 기자] 매일, 매주 전해지는 한국 인공지능(AI) 기업들의 소식을 핵심 내용과 의미만 간추려 깔끔하게 요리(Cook)해드립니다. 2월 4일 AI 한쿡은 한국형 LLM 신뢰성 평가 체계 기틀 마련에 기여한 크라우드웍스의 소식 외 5건입니다.

■ 주요 소식

크라우드웍스 'AI 안전성 평가' 경쟁력 확보... LLM 신뢰성 검증 표준화 '신호탄'

크라우드웍스는 국내 유일의 정보통신 단체표준 제정기관인 한국정보통신기술협회(TTA)가 주관한 '생성형 AI 신뢰성 평가의 실용적 접근 방안 연구사업'을 완료했다고 밝혔다. 국내 기업이 개발한 3개 LLM(대형언어모델)을 대상으로 진행된 이번 평가에서 크라우드웍스는 모델별로 두드러진 잠재적 위험 요소를 파악 및 공격 시나리오를 설계하는 방식으로 과제를 수행했다. 취약점 파악에 필요한 적대적 프롬프트 생성 및 테스트 수행 시험(레드팀) 전문가는 자사가 보유한 60만명의 데이터 전문가 풀에서 선발했다는 설명이다.

그 결과 폭력, 불법, 불합리, 비사실, 오도, 비윤리 등의 AI 위험도 평가 기준이 수립됐다. 또한 각 모델별 취약점을 다각도로 검증한 개선사항도 도출됐다. 크라우드웍스는 이번 사업으로 확보된 AI 신뢰성 평가 전문성을 바탕으로 기업용 AI 리스크를 줄이기 위한 AI 신뢰성 평가 사업을 더욱 고도화해 나갈 계획이다.

의미: 생성형 AI 전성시대를 맞이해 각 산업 내 LLM 접목 시도는 증가하고 있지만 '환각'으로 상징되는 LLM의 신뢰성 문제는 그동안 관련 산업의 주요 걸림돌로 지적돼 왔다. 특히 신뢰성 검증이 중요한 기업 환경에서 신뢰성 평가에 대한 수요가 커지고 있었지만 정책적으로 표준화된 평가 프레임워크가 없는 것도 한계로 지목됐던 부분이다. 본 과제는 아직 연구사업 수준이지만 국내에서도 표준화된 LLM 신뢰성 평가 체계를 확보하기 위한 공적 노력이 본격화됐다는 점에서 의미를 찾을 수 있다. 또한 딥시크 R1과 같은 화제성 높은 외산 LLM이 과도한 개인정보 수집 및 해킹 공격에 취약하다는 지적도 잇따르고 있다. 이에 따라 국내 자체 역량으로 구축한 고품질 LLM 신뢰성 평가 도구의 중요성은 더욱 높아질 전망이다.

■ 짧은 뉴스

바이브컴퍼니 "AI 프로파일링 기법으로 SNS 사용자 분석"

AI·빅데이터 기업 바이브컴퍼니가 멀티모달 AI와 GPT를 결합한 'GPT 프로파일링' 기술을 공개했다. 프로파일링은 특정 대상의 데이터를 분석해 이후 행동을 예측하는 기법으로 타깃 광고나 개인화 추천 알고리즘에 주로 쓰인다. 바이브컴퍼니의 GPT 프로파일링은 다양한 구조의 데이터 분석이 가능한 멀티모달 AI 기술을 기반으로 '인스타그램', '틱톡' 등 글로벌 소셜 플랫폼을 활용하는 소비자 대상의 조사, 브랜드 페르소나 분석, 마케팅 성과 측정, 인플루언서 추천 등 다양한 서비스에 적용될 예정이다. 회사는 이를 통한 글로벌 리서치 시장 공략에도 힘을 싣겠단 방침이다.

딥브레인AI 추모 서비스 '리메모리' 정식 상표권 획득

딥브레인AI의 AI 추모 서비스 '리메모리(Re;memory)'가 정식 상표권을 획득했다. 리메모리는 고인이 된 가족의 얼굴과 목소리, 표정 등을 사실 그대로 구현하는 AI 추모 서비스다. 사진 한장과 10초 분량의 음성 데이터만 있어도 생성할 수 있다. AI를 활용한 신개념 추모 문화를 제시했다는 평가를 받으며 2023년 미국 CES에서는 가상·증강현실 부문 혁신상을 수상한 바 있다. 딥브레인AI는 리메모리 대중화 및 새로운 추모 문화 확산을 위해 전국의 추모관, 상조회사들과 협력을 추진하며 고인 추모 서비스 사업을 확장해 나갈 계획이다.

AI 오케스트레이션 전략 동참하는 '셀바스AI'

음성인식AI 전문기업 셀바스AI가 'AI 오케스트레이션' 전략 강화 방침을 밝혔다. 여러 AI 모델을 마치 오케스트라처럼 조화롭게 운영하는 기술을 말하며, 단일 AI 모델 시스템의 한계를 극복하면서 효율성과 생산성, 비용 절감 효과를 극대화하기 위한 전략이다. 최근 카카오도 이 같은 전략 추진 방향을 밝히고 실제로 오픈AI와 협업에 나서는 등 최근 국내 AI 기업들의 실리주의 전략 채택은 하나의 '트렌드'로 자리매김 하고 있는 상황이다. 셀바스AI 또한 자체 개발한 언어모델이 있지만 빅테크와 경쟁하기 보단 이들과 최적으로 연계해 저비용 및 고효율 AI 활용성 확보를 지향하겠단 계획이다.

뷰노 흉부 엑스레이 판독 AI '식약처 혁신의료기기' 승인

의료AI 전문기업 뷰노의 AI 기반 흉부 엑스레이 판독 및 소견 검출 의료기기 '뷰노메드 체스트 엑스레이'가 식약처의 혁신의료기기 통합심사 및 평가 승인을 받았다. 이로써 본 제품을 활용한 의료기술은 향후 비급여 적용이 가능해져 의료 현장에서 더욱 빠르게 확산될 수 있는 기반이 마련됐다. 또한 앞으로 3~5년간 비급여 또는 선별급여 형태로 수가 청구가 가능해진다. 뷰노는 추후 보건복지부 고시 내용에 따라 체스트 엑스레이의 국내 영업 및 마케팅 활동을 적극 확대할 예정이다.

슈퍼브에이아이 20년 경력 비즈니스 전문가 '김진회' 영입

비전AI 플랫폼 기업 슈퍼브에이아이가 20년 이상의 경력을 보유한 비즈니스 전문가 김진회 CBO(최고비즈니스책임자)를 신규 영입했다고 밝혔다. 삼성SDS를 시작으로 글로벌 CDN 기업 씨디네트웍스 중국법인 CFO 및 법인장 등을 역임한 김 CBO는 글로벌 B2B 시장에서의 풍부한 경험을 토대로 신규 시장 개척을 주도하게 된다. 슈퍼브에이아이는 최근 제조, 모빌리티, 물리보안, 관제 등 핵신 산업군에 집중하는 사업 전략을 추진 중이며 상반기 중 실시간 영상 데이터 분석 및 시각화 인사이트를 제공하는 상품도 신규 출시할 예정이다.