서울시, 전국 최초 AI 안면인식으로 아동‧청소년 성착취물 검출해 선제적 삭제
May 30, 2024
Global Korean Post
– AI 안면인식으로 성별‧나이 예측, 교복‧인형 등 사물과 언어도 인식해 아동‧청소년 판별
– 육안 판독시 2시간 걸렸던 검출속도 1분30초 내외로 단축, 정확도 300%↑
– AI로기존의2배이상인30만건검색‧삭제기대…중국‧러시아등해외유포영상물도삭제
– ‘서울 디지털 성범죄 안심지원센터’ 개관 2년 간 아동‧청소년 피해지원 7배 이상 증가
서울시가 디지털 성범죄 예방과 피해자 지원을 위해 지난해 3월 전국 최초로 AI(인공지능) 기술을 도입한 데 이어, 아동.청소년 성착취물
을 특정할 수 있는 AI 감시 기술을 전국 최초로 개발‧도입해 24시간 자동 추적‧감시에 나선다.
’23년도 3월부터 서울연구원이 핵심기술 연구개발에 착수, 서울 디지털 성범죄 안심지원센터와 함께 다수의 아동‧청소년 피해 영상물을 분석하여 올해 5월 프로그램 개발을 완료했다.
서울연구원은 지난해 전국 최초로 AI 기술 도입을 통한 디지털 성범죄 자동 추적·감시 알고리즘을 개발했으며, 서울시에서 수행하는 24시간 불법 영상물 감시 및 신속 삭제를 위한 전반적인 기술지원을 수행하고 있다.
서울시는 아동‧청소년들은 디지털 성범죄 피해를 입더라도 부모님에게 말하지 못해 신고가 이뤄지지 않아 피해 영상물이나 사진이 유포‧재유포되는 경우가 많아 이번 기술 개발에 나섰다고 취지를 밝혔다. 아동‧청소년의 경우 관련 법에 따라 당사자나 부모의 신고 없이도 피해 영상물 삭제가 가능한 만큼, AI를 통해 아동‧청소년 성착취물을 빠르게 찾아내고 삭제해 피해에 신속 대응한다는 계획이다.
‘서울 디지털 성범죄 안심지원센터(서울여성가족재단 운영)’의 피해 요청 현황을 살펴보면 아동‧청소년 피해자 스스로 신고한 경우는 12명(7.8%)밖에 되지 않으며, 부모님에게 피해 사실이 노출되거나 수사‧사법기관 등의 신고로 이뤄지는 경우가 대부분이다.
실제로 센터의 삭제지원 사례를 살펴보면 센터에 삭제를 요청하여 삭제지원한 건수는 425건으로 센터 삭제지원관이 피해자의 신고 없이 삭제한 ‘선제적 삭제지원’ 2,720건의 15.6% 정도이다. 즉, 대부분의 아동‧청소년 디지털 성범죄 피해 영상물은 신고가 이뤄지지 못하고 유포‧재유포 되는 경우가 많다.
본인이 삭제를 요청해야 삭제지원이 가능한 성인과 달리, 아동‧청소년은 「아동·청소년의 성보호에 관한 법률」 등에 따라 당사자나 부모님의 신고 없이도 즉시 삭제가 가능하다.
이번에 개발한 ‘아동‧청소년 디지털 성범죄 AI 감시 시스템’은 AI 딥러닝 기반 안면인식 기술로 성인과 잘 구분되지 않는 아동‧청소년의 성별과 나이를 판별할 수 있는 시스템이다.
특히 주목할 만한 점은 영상물에 ‘얼굴’이 나오지 않더라도 아동‧청소년 피해 영상물 여부를 찾아낼 수 있다는 점이다. AI가 피해 영상물에 자주 등장하는 책, 교복, 인형 등 주변 사물은 물론, 이미지 속 텍스트, 청소년들이 주로 사용하는 언어까지 함께 인식해서 최종적으로 피해 영상물 여부를 판별하게 된다.
또한, 키워드 입력부터 영상물 검출까지 90초밖에 걸리지 않기 때문에 기존에 삭제지원관이 관련 키워드로 피해 영상물을 검색해서 수작업으로 찾아낼 때(2시간)와 비교하면 검출 속도가 1/80로 크게 개선되고, 정확도도 300% 이상 향상된다. 이렇게 되면 지난해 수작업으로 이뤄진 모니터링 건수(15만 건)의 2배인 30만 건까지 모니터링이 가능해지고, AI 학습 데이터가 축적될수록 정확도와 속도는 더욱 향상될 것으로 기대된다.
AI가 사회관계망서비스(SNS) 빅데이터 분석을 통해 아동‧청소년 성범죄물 관련 신조어를 자동으로 생성할 수 있게 돼 영상물 검출에 사용되는 키워드도 다양해진다. 예컨대 기존에는 삭제지원관이 ‘딥페(딥페이크의 약자)’로 검색을 했다면 AI를 통해 ‘뒵페’ ‘뒷페’ 등 신조어 자동생성이 가능해지는 것. 이를 통해 기존에는 30개 키워드로 검색했다면 이제는 3.3배인 100 개의 키워드를 생성해 보다 많은 피해 영상물을 찾아낼 수 있게 된다.
아울러, 시는 기존에 미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산되는 점에 착안해 국가 기반을 넓혀 검색 영역을 확장했다. 이에 AI를 통해 국내와 미국뿐 아니라 중국, 러시아 등의 국가에 유포된 피해 영상물 검색도 가능해진다고 밝혔다.
