셀렉트스타, 국내 최초 `AI 신뢰성 검증 자동화 솔루션` 출시

실시간
뉴스

일반

셀렉트스타, 국내 최초 'AI 신뢰성 검증 자동화 솔루션' 출시

디지털데일리 발행일 2025-02-20 11:04:45

이건한 기자

URL복사

[디지털데일리 이건한 기자] 셀렉트스타가 국내 최초로 생성형 AI 서비스 '신뢰성 검증 자동화 솔루션'을 출시했다고 20일 밝혔다. 다투모 이밸(DATUMO Eval)로 명명된 본 서비스는 AI 서비스 운영 중 발생할 가능한 오류와 위험성을 사전에 식별 및 대응할 수 있도록 지원하는 AI 신뢰성 검증 프로세스 자동화 솔루션이다.

주요 기능은 ▲기업의 AI 서비스 유형과 사용 목적에 따른 평가 기준 설정 ▲도메인 및 서비스에 부합한 맞춤형 평가용 질문 자동 생성 ▲AI 서비스의 답변 자동 평가 및 결과 분석 ▲AI 서비스의 취약점을 이끌어내는 레드티밍 기능 등이 있다.

특히 다투모 이밸은 100만개 이상의 AI 신뢰성 평가용 질문을 자동 생성할 수 있다. 이로써 AI 모델이 마주할 다양한 사용자 발화 패턴을 사전에 포괄적으로 평가할 수 있다. 또한 자동 생성된 질문은 기업의 평가 목적과 요구사항, 난이도, 실제 고객 데이터와의 유사성 등 다양한 요소를 반영한다. AI 전문가의 수작업으로 이뤄지던 이 과정이 자동화되면서 인건비와 시간 절감도 가능해졌다.

다투모 이밸은 AI 서비스가 기업이 설정한 기준을 벗어나거나 유해한 정보를 생성하는지 여부도 자동 평가한다. AI와 사용자 간의 상호 작용을 수치화하여 이를 객관적으로 분석한다. 평가 과정에는 다양한 메트릭을 제공해 여러 AI 모델의 성능을 비교, 약점을 빠르게 파악해 개선 방향을 도출할 수 있다. 평가가 완료된 후에는 모델이 특정 상황이나 맥락에서 문제를 일으키는 원인을 체계적으로 분석할 수 있어 보다 신속하고 체계적인 AI 서비스 운영을 지원한다.

셀렉트스타는 앞서 신한은행 등 다수의 기업을 대상으로 진행한 신뢰성 검증 컨설팅 경험과 국내 최초∙최대 규모의 '생성형 AI 레드팀 챌린지' 운영 경험을 보유하고 있다. 관련 노하우를 바탕으로 생성형 AI 신뢰성 검증 자동화 솔루션 개발에 성공하며 다투모 이밸은 이미 금융권을 포함한 여러 기업에서의 도입이 확정된 상태다. 셀렉트스타는 최근 세계적으로 수요가 높아진 평가 데이터 생성 자동화 기술을 앞세워 글로벌 시장에서도 경쟁력을 확보해 나갈 계획이다.

김세엽 셀렉트스타 대표는 "AI의 상용화에서 가장 중요한 것은 신뢰성이다. 다투모 이밸로 기업들이 AI 서비스를 더욱 정확하고 안전하게 운영할 수 있도록 돕겠다"며 "셀렉트스타도 국내외 AI 신뢰성 검증 시장에서 영향력을 확대해 나갈 것"이라고 말했다.