서울시가 디지털 성범죄물 잡아내는 법…“AI가 탐지부터 삭제까지 척척”

실시간
뉴스

e비즈*솔루션

서울시가 디지털 성범죄물 잡아내는 법…“AI가 탐지부터 삭제까지 척척”

디지털데일리 발행일 2024-10-12 07:00:00

오병훈 기자

URL복사

11일 김준철 서울연구원 연구위원이 ‘2024 서울 빅데이터 포럼’에서 ‘AI 디지털 성범죄 감시체계 구축전략’을 주제로 발표 중이다.[ⓒ행사 중계 화면 캡처]

[디지털데일리 오병훈 기자] “인공지능(AI)이 아동청소년 성별과 나이를 예측하고, 책, 교복, 책가방 등 아동청소년 대상 디지털 성범죄물에 자주 등장하는 배경을 인식해 성범죄물 여부를 판별합니다.”

11일 김준철 서울연구원 연구위원은 ‘2024 서울 빅데이터 포럼’에서 ‘AI 디지털 성범죄 감시체계 구축전략’을 주제로 AI를 활용한 디지털 성범죄 탐지 시스템을 소개하며 이같이 설명했다.

최근 딥페이크 기술을 이용한 성범죄가 사회에 충격을 안긴 가운데, 앞서 발생했던 ‘조주빈 N번방 사건’ 등을 포함한 디지털 성범죄 전방위에 대한 적극적인 대응책 마련이 시급하다는 목소리가 커지고 있다. 이에 서울시에서는 인공지능(AI) 기술을 활용한 성범죄물 탐지 및 삭제 체계를 마련해 24시간 모니터링 시스템을 운영 중이다.

서울시는 이 시스템을 구축하기 위해 서울연구원, 서울시 양성평등담당관, 안심지원센터 등 3개 기관을 중심으로 태스크포스(TF)팀을 구성해 3년 이상 협업을 진행했다.

김 연구원은 “디지털 성범죄물 피해 수치가 굉장히 가파르게 증가하는 상황이었으며, 이에 대응하기 위해 AI와 빅데이터 기반으로 신속하게 성범죄물을 삭제하는 방법을 구상하게 됐다”며 “각종 데이터를 학습한 AI 모델이 성범죄물 피해를 정확하고 빠르게 찾아낼 수 있는 것이 핵심이었다”라고 설명했다.

AI 디지털 성범죄물 탐지 시스템은 크게 4단계로 구성됐다. 첫 번째 단계는 피해 영상물을 검색하는 단계다. 피해자 또는 상담사가 키워드나 영상을 시스템에 입력하면 AI가 웹크롤링을 통해 데이터를 수집하고, 수집된 영상 중 피해 영상물로 의심되는 영상을 선별한다.

두 번째 단계는 AI가 피해 영상물 유사도를 분석해 우선순위를 정하는 단계다. 세 번째 단계는 AI가 피해 영상물 오디오와 텍스트를 분석해 피해 영상물 여부를 판단하는 단계이다. 마지막 단계는 AI가 피해 영상물을 삭제하는 단계로, 삭제 전에 담당 직원이 최종적으로 확인하는 과정을 거친다.

김 연구원은 “특히 아동과 청소년 대상 성범죄물이 굉장히 급속하게 빠르게 퍼지고 있는데, 얼굴이나 안면인식 기술을 활용해서 나이를 예측하고 이를 기반으로 아동 청소년 대상 성범죄물임을 판단할 수 있도록 만들었다”며 “기존 방식은 ‘이미지의 해시 기법’이라 해서 격자 형태로 키값들을 제작해 놓고 원본 영상을 찾는 것에 집중했다면, 새로 개발한 AI는 가공되거나 편집된 영상도 찾을 수 있다”고 설명했다.

영상 전체를 채증하는 과정에서 채증한 영상 안에 있는 데이터나 정보들을 뽑을 때는 광학문자인식(OCR) 기법을 활용할 수 있는 방안에 대한 연구도 진행했다. 또, 비디오 같은 경우는 음성 데이터가 굉장히 중요한데 음성에 대한 배경소리와 대화 내용까지 스피치 투 텍스트(STT) 기법으로 분석해서 유사도 검증에 활용하고 있다.

그는 “이전에는 직접 수작업으로 모니터링하는 과정을 거쳐야 했기 때문에 하나하나 직접 삭제하기 위해 8시간씩 걸리기도 했다”며 “AI가 대체하면서 24시간을 효율적으로 감시할 수 있게 됐다”고 강조했다.

담당 직원 업무 환경 자체도 크게 개선됐다는 것이 김 연구원 설명이다. 직접 성범죄물을 찾아내는 모니터링 업무 담당 직원들은 업무 특성상 성범죄물을 볼 수밖에 없는데 그 과정에서 트라우마를 호소하기도 했다는 것이다. AI 시스템 도입 이후로는 직접 육안으로 판단하는 부분을 굉장히 줄여 해결할 수 있었다는 것이다.

마지막으로 그는 “연구에 필요한 데이터를 AI가 학습하기 위해서는 피해자들이 동의를 구해야 하는 부분도 있었다”며 “기술 자체도 중요했지만 피해자들이 용기를 내준 것이 결정적으로 도움이 됐다”고 전했다.