“유튜브·틱톡 속 딥페이크 범죄물 찾아낸다”...딥브레인AI, 자동탐지 기능 공개

실시간
뉴스

e비즈*솔루션

“유튜브·틱톡 속 딥페이크 범죄물 찾아낸다”...딥브레인AI, 자동탐지 기능 공개

디지털데일리 발행일 2024-11-05 17:17:15

오병훈 기자

URL복사

5일 장세영 딥브레인AI 대표가 삼성 코엑스 컨퍼런스룸에서 개최된 ‘생성형 AI 포럼 2024’에서 인사말을 하고 있다.

[디지털데일리 오병훈기자] 인공지능(AI) 딥페이크 기술을 악용한 범죄가 증가함에 따라 대응책 마련 필요성이 높아지고 있는 가운데, AI 휴먼 전문 기업 딥브레인AI가 딥페이크 탐지 솔루션에 자동탐지 기능을 추가하면서 ‘딥페이크 범죄 전문 보안관’을 자처했다.

5일 장세영 딥브레인AI 대표는 삼성 코엑스 컨퍼런스룸에서 개최된 ‘생성형 AI 포럼 2024’에서 딥브레인AI 딥페이크 탐지 솔루션 ‘AI 디텍터(AI Detector)’에 새롭게 추가된 자동탐지 기능을 공개했다. 기존에는 솔루션 이용자가 직접 콘텐츠를 올려 조작 여부를 확인해야 했다면, 이제는 온라인에서 실시간으로 딥페이크 조작 영상을 찾아내고 분석할 수 있게 됐다.

딥브레인AI는 폭넓은 온라인 웹크롤링 방식 탐지를 자동탐지 기능의 강점으로 내세웠다. 크롤링 대상은 유튜브와 틱톡, 엑스(구 트위터) 등 대표적인 소셜미디어 플랫폼이 포함됐다. 탐지 대상은 지속적으로 늘릴 수 있기 때문에 향후 탐지 범위를 지속 확대할 계획이다.

자동탐지는 총 4단계에 걸쳐 작업이 진행된다. 1단계로 특정 키워드 사진 정보를 등록하면 2단계로 소셜미디어 채널 및 모니터링을 진행한다. 이후 3단계로 데이터 수집 및 탐지를 실시, 마지막으로 결과 보고 및 데이터 제공으로 이어지게된다.

장 대표는 “유재석 얼굴이 합성된 투자사기 영상이 확산된 사건이 있었는데, 이런 경우 ‘유재석’이라는 키워드를 솔루션 자동탐지 키워드로 넣으면 온라인 상에 게시된 조작 콘텐츠를 탐지해 알려준다”며 “현재 탐지 대상 채널이 틱톡이나 유튜브로 정해져 있으며, 추가 확장 중”이라고 설명했다.

이어 “자동으로 크롤링하는 시스템이 포함돼 있어 지금 이 순간도 관련 데이터를 계속 수집하고 있다”며 “어떤 데이터를 학습시키고 그 데이터 질에 따라서 딥페이크 탐지율이 달라지는데, 딥브레인AI는 다년간 축적된 양질의 데이터셋을 보유하고 있다”고 강조했다.

딥페이크 범죄는 이전부터 AI 시장에 대한 대표적인 우려 사항으로 지적됐다. 누구나 쉽게 접근할 수 있으며, 온라인을 타고 빠르게 퍼질 수 있기 때문에 누구나 딥페이크 범죄 표적이 될 수 있다. 특히 최근에는 청소년들을 중심으로 딥페이크 음란물 제작이 유행처럼 번지면서 사회적으로 큰 파장을 불러일으키기도 했다.

사회적으로 논란이 커지면서 정부부처는 물론, 입법기관에서도 대대적인 딥페이크 범죄 차단을 위한 대안책을 마련하기 시작했다. 경찰청에서는 딥페이크 범죄 집중단속 계획을 밝혔으며, 법원에서도 최근 일명 ‘서울대 딥페이크’ 주범에 대해 징역 10년을 선고하는 등 양형 수위를 높이고 있는 추세다.

장 대표는 “딥브레인AI는 딥페이크 탐지 관련해 4~5년 전부터 연구를 지속하며 양질 데이터를 쌓아왔다”며 “현재 경찰 및 국과수 여러 정부 기관과 딥페이크 범죄 차단 및 예방 협업을 진행 중”이라고 강조했다.

딥브레인AI 딥페이크 탐지 솔루션 ‘AI 디텍터(AI Detector)’ 시연 현장

이날 행사장 입구에는 자동탐지 기능을 직접 체험해볼 수 있는 부스도 마련됐다. 자동탐지 솔루션에 ‘트럼프’ ‘테일러스위프트’ 등 키워드를 입력하니, 최근 화제가 됐던 “테일러 스위프트가 트럼프를 지지했다”는 가짜 영상 콘텐츠가 탐지됐다. 탐지 화면에는 해당 콘텐츠 출처 링크도 포함돼 실제 유포 내용을 곧바로 확인 가능하다. 통계 리포트 기능도 포함돼 있어서 주·월간 단위로 몇 건 영상이 유포됐는지, 어떤 채널에서 몇건 영상이 돌아다니고 있는지 등 정보를 대시보드 형태로 확인할 수 있었다.

이정수 딥브레인AI 이사는 “2차 피해를 방지하고자 노출 부분 블러 처리 등 기능도 포함돼 있다”며 “윤리적인 부분은 지속적인 피드백을 통해 보완할 예정”이라고 설명했다.

이날 행사에는 딥브레인AI와 금융권, 교육 등 분야 협업 사례도 소개됐다. 권오경 신한은행 셀장은 신한은행 AI은행원에 대해 소개했다. 신한은행은 최근 AI 기술이 접목된 무인 AI 창구를 마련한 바 있다. 이곳에서 방문객은 입출금은 물론 계좌 개설 및 여타 은행 업무를 진행할 수 있다.

해당 기기 화면에 등장하는 AI은행원은 딥브레인과 협업을 통해 제작됐다. AI 은행원은 이용자 목소리를 인식하고 직접 답변할 수 있어 자연어를 통한 소통이 가능하도록 제작됐다.

권 셀장은 “은행 내 스마일 우수직원을 선발해 이들을 기반으로 AI은행원을 제작하게 됐다”며 “온오프라인 간 이질감 없는 것이 딥브레인AI 기술 장점이다. 이를 통해 고객이 은행 영업시간 상관없이 업무를 처리할 수 있도록 했다”고 말했다.

김태경 KB손해보험 대리는 KB손해보험에서 도입한 AI명함과 AI아나운서 적용 사례를 발표했다. KB손해보험 임직원들은 딥브레인과 협업해 제작한 AI명함을 보유할 수 있게 됐다. 해당 명함을 클릭하면 명함 주인 얼굴을 기반으로 제작된 AI 휴먼이 인사를 건낸다. AI 아나운서는 KB손해보험 사내 보험설계사 등에게 제공되는 교육 콘텐츠에 투입됐다.

김 대리는 “처음에는 AI휴먼프로젝트가 부자연스럽거나 유치해 보이는 것은 아닐까 걱정했지만, 보험설계사 분들 연령대가 40대 50대인 경우가 많아 모두 이를 신기해하고 재밌어 하더라”며 “현재 사내 영업 현장 뿐 아니라 자회사까지 활용처가 확장되고 있다”고 전했다.