인공지능(AI) 기반 허위 영상물 제작 앱이 페이스북 등 SNS 광고를 통해 확산하면서 ‘딥페이크 성범죄’에 노출되는 청소년이 급증하고 있다. 특정 인물의 사진과 노골적인 성행위 영상을 자연스럽게 합성할 수 있는 이들 AI 앱은 SNS 광고 링크만 누르면 공식 앱 마켓을 거치지 않고 곧바로 설치할 수 있다. 그만큼 차단 및 적발이 쉽지 않아 중·고등학생 사이에서 암암리에 퍼지고 있다는 게 경찰 측 설명이다.
 ◇‘교내 학폭’으로 번진 학우 간 딥페이크



페이스북 광고를 통해 앱 마켓 우회 방식으로 설치한 바다신게임 한 인공지능(AI) 합성 앱. 


12일 경찰청에 따르면 올해(1~10월) 딥페이크 성범죄로 검거된 10대 피의자는 770명으로 전년 대비 40.5% 증가했다. 연령대별로는 10대 피의자가 올해 검거된 전체 피의자(1287명)의 59.8%로 가장 많았다. 다른 연령대로는 20대 409명(31.8 바다이야기꽁머니 %), 30대 83명(6.5%), 40대 15명(1.1%), 50대 이상 10명(0.8%) 등으로 10~20대가 전체의 90% 이상을 차지했다.
딥페이크 제작·유포가 청소년층을 중심으로 급속히 확산하면서 대규모 검거도 잇따르고 있다. 중학생 A군(15)은 지난해 11월부터 올해 4월까지 텔레그램에서 연예인 나체 합성물(허위 영상물)을 공유 바다이야기게임다운로드 하는 단체 대화방 3개를 운영한 혐의로 구속됐다. A군이 AI 자동화 프로그램으로 제작해 유포한 허위 영상물은 590개에 달했다. A군과 함께 허위 영상물 3429개를 제작·유포한 피의자 23명도 검거됐다.
딥페이크가 학교 폭력으로 비화하는 사례도 늘고 있다. 이효원 서울시의원(국민의힘)이 서울교육청으로부터 받은 자료에 따르면 올해 1~1 손오공릴게임예시 0월 딥페이크 관련 학교폭력대책심의위원회(학폭위) 심의 건수는 1분기 5건에서 2분기 6건, 3분기 14건으로 꾸준한 증가세를 보였다.
한 중학교에서는 남학생이 같은 반 여학생의 얼굴을 나체사진에 합성해 단체 대화방에 유포한 사건도 발생했다. 해당 학생은 합성사진을 장당 5000원에 판매하는 과정에서 담임 교사에게 적발돼 십대여성인권센터에 손오공릴게임 신고됐다. 서울교육청 관계자는 “한 학생이 친구의 휴대폰을 보다가 동급생 얼굴을 딥페이크로 합성해 저장해 둔 사실을 발견하고 신고해 학폭위에 회부되기도 했다”며 “교실 안에서 딥페이크 학폭이 점차 일상화되는 추세”라고 했다.
 ◇AI 합성앱 이용료 한 달 2만3000원



조악하던 딥페이크 앱이 시간이 갈수록 정교해지면서 경찰과 교육당국도 대응에 어려움을 겪고 있다. 과거에는 소셜미디어에서 “돈을 내면 지인의 나체 합성물을 만들어주겠다”는 식의 ‘제작 의뢰형 범죄’가 주를 이뤘지만 최근에는 유료 AI 앱을 개인이 손쉽게 내려받아 직접 사용하는 방식으로 범죄 양상이 바뀌고 있다.
페이스북 등 소셜미디어의 성별·연령 타깃형 광고 역시 딥페이크 성범죄 확산을 부추기고 있다는 지적이다. 10~20대 이용자를 겨냥한 맞춤형 광고 노출을 활용해 일부 AI 합성 앱 개발자가 공식 앱(클린 버전)과 별도로 불법 기능을 담은 ‘사이드로딩’ 앱(다크 버전)을 제작해 퍼뜨리고 있기 때문이다. 사이드로딩은 공식 앱 마켓이 아니라 제3의 경로를 통해 불법 앱을 설치하는 방식을 말한다. 페이스북 광고를 통해 설치한 AI 합성 앱인 B앱, W앱 등은 1주일 9500원, 한 달 2만3000원, 1년 5만5000원 등을 요구한다. 이용자는 30초 만에 수분 분량의 딥페이크 음란물을 무제한 생성할 수 있다.
김명주 인공지능안전연구소장(서울여대 정보보호학과 교수)은 “최근 AI 앱이 10대의 새로운 유혹거리로 부상하고 있다”며 “청소년의 앱 인증을 강화하고 관련 SNS 광고 노출을 차단하는 등 정책적 노력이 필요하다”고 주장했다.
류병화/김영리 기자 hwahwa@hankyung.com 기자 admin@119sh.info