딥페이크 범죄 파장…업계, 방지책 마련 속도 “AI에는 AI로”

실시간
뉴스

e비즈*솔루션

딥페이크 범죄 파장…업계, 방지책 마련 속도 “AI에는 AI로”

디지털데일리 발행일 2024-08-30 13:32:28

오병훈 기자

URL복사

[사진 및 영상 자동 모자이크 서비스 ‘블러미’ 화면 ⓒ자라소프트]

[디지털데일리 오병훈기자] 인공지능(AI) 기술을 활용해 나체 합성 사진을 유포하는 ‘딥페이크 성범죄’ 파장이 확대되는 상황 속, AI 관련 업계의 딥페이크 제작·유포 방지 기술에도 관심이 쏠리고 있다.

30일 관련 업계에 따르면 딥브레인·샌즈랩·자라소프트 등 AI 서비스를 운영하는 기업들이 딥페이크 범죄에 대응하기 위한 방지 기술 개발에 속도를 내고 있다.

경찰청에 따르면, AI를 활용한 허위 영상물 제작 관련 범죄가 최근 4년간 급증하고 있다. 구체적으로 살펴보면 ▲2021년 156건 ▲2023년 180건 ▲2024년 상반기 297건을 기록할 정도로 증가세가 가파르다. 특히, 지인 등 얼굴을 합성한 ‘딥페이크 음란물’을 유포하는 성범죄가 학교·단체·군 등 광범위하게 확산하면서 사회적으로 큰 파장이 일고 있다.

업계에서는 사태를 예의주시하며, 회사가 보유 중인 관련 기술을 한시적으로 무료로 이용할 수 있도록 조치하거나, 새로운 방지 기술 개발에 착수하는 등 대응책 마련을 위해 분주히 움직이는 모습이다.

업계 관계자는 “대부분 국내 AI 기업에서는 유럽연합 등에서 발표하는 글로벌 AI 윤리 강령을 기반으로 사내 윤리 정책을 만들어 운영 중”이라며 “기업 AI 기술이 범죄에 악용되는 일이 없도록 사전 차단에도 힘을 쓰는 한편, 최근 딥페이크 범죄에 대응하기 위한 기술 개발에도 속도가 붙는 분위기”라고 전했다.

[ⓒ경찰청]

◆‘딥페이크 탐지 솔루션’ 무료 지원 나선 딥브레인AI

국내 생성형 인공지능(AI) 전문 기업 딥브레인AI은 딥페이크 진위여부를 판별할 수 있는 ‘딥페이크 탐지 솔루션’을 딥페이크 탐지가 필요한 기업과 관공서 및 교육기관 등을 대상으로 1개월간 무료 지원에 나섰다.

딥브레인AI의 딥페이크 탐지 솔루션은 딥페이크로 의심되는 영상을 시스템에 업로드하면 즉각 진위여부를 판별해 결과를 제공하는 소프트웨어(SW)다. 최근에는 한국지능정보사회진흥원(NIA)과 딥페이크 데이터 구축 사업을 통해 기존 학습을 진행한 520만 건 이외에도 2000시간에 달하는 200만건의 데이터 학습을 추가로 진행했다. 고품질 데이터 셋을 구성해 데이터 질적 완성도도 끌어올렸다.

딥페이크 탐지 솔루션은 ▲영상 및 이미지 탐지를 지원하는 종합탐지와 ▲음성탐지 2가지로 구성돼 있다. 결과는 진짜영상(Real)과 가짜영상(Fake)으로 구분되며, 변조율과 합성유형 등의 데이터도 함께 제공한다. ▲페이스 스왑(Face-Swap) ▲립싱크 합성(Lip Sync) ▲생성형 비디오(Generative Video) 등 다양한 유형을 탐지하며, 탐지 시간은 약 5~10분가량 소요된다.

◆AI 역기능 차단 중점 플랫폼 개발 샌즈랩

사이버 위협 인텔리전스(CTI) 전문 기업 샌즈랩은 AI 역기능 전반을 방지하는 체감형 플랫폼 개발에 착수했다. 딥페이크 성범죄 뿐 아니라 가짜 뉴스, 저작권 침해 등 AI 발달 이면에 자리한 범죄를 사전 차단하는 것이 핵심이다.

샌즈랩은 과학기술정보통신부와 정보통신기획평가원(IITP)이 발주한 100억원 규모 ‘정보보호 핵심 원천기술 개발사업’을 지난 4월 수주해 본격적인 개발에 들어간 상황이다. 해당 사업 목표는 딥페이크, 보이스피싱, 음성 합성 등 AI 역기능 방지 기술과 구축형(온프레미스) 기반 소형거대언어모델(sLLM) 개발이다.

AI 모델을 개발하기 위한 필수 요건인 데이터셋을 페타바이트(Petabyte) 규모로 자체 보유하고 있어 특정 분야를 식별하는 AI 모델이 필요한 수집 및 전처리된 데이터를 학습시켜 탐지 및 대응 통합 시스템으로서 활용할 수 있다는 것이 샌즈랩 설명이다.

◆“아이들 얼굴 보호”…AI 모자이크 처리 기능 주목

AI 스타트업 자라소프트에서는 딥페이크 성범죄 피해 방지를 위한 AI 모자이크 서비스를 지난달 출시해 운영 중이다. 자라소프트 ‘블러미’는 AI 기반 영상 모자이크 서비스로, 누구든 사진이나 영상 속 얼굴을 쉽게 모자이크 처리할 수 있다.

별도 프로그램 설치 없이 웹사이트에 접속해 사진, 영상을 올리면 몇 초 만에 자동으로 모자이크 처리가 가능하다. 또, 수백 명이 동시에 움직이는 영상도 단 몇초 내 웹상에서 블러 처리하고, 수백 장 사진도 한꺼번에 자동 처리되는 기능을 구현했다.

현재 95개국 사용자가 블러미를 이용해 45만개 이상의 파일을 모자이크 처리했으며, 딥페이크 사태 이후 개인정보 관련 기술들이 관심을 받으면서 문의가 폭증하고 있다는 것이 자라소프트 측 설명이다. 현재 블러미 이용자 상당수는 국내외 어린이집, 유치원, 학교, 학원과 같은 어린이 교육기관으로 나타났으며, 여기에는 ‘데스티니 레스큐’와 같은 국제 아동 성착취 구호기구도 포함됐다.