[연구] 우사이먼성일 교수 연구실, Tariq Shahroz, 이상엽 박사과정 연구원 WWW 2021 국제 학술대회 논문 게재 확정
- 소프트웨어융합대학
- 조회수1485
- 2021-01-25
[데이터 기반 인공지능 보안 연구실(DASH LAB) Tariq Shahroz, 이상엽 박사과정 연구원 WWW 2021 국제 학술대회 논문 게재 확정
지도교수: 우사이먼성일]
DASH 연구실 소프트웨어학과Tariq Shahroz(박사과정연구원: 제1저자)와 이상엽(박사과정연구원: 제2저자), 우사이먼성일(교신저자)의 “One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework” 논문이 웹 및 데이터 마이닝 분야의 최우수국제 학술대회(BK IF=4)인 WWW (The Web Conference) 2021에 최종 논문 게재가 승인되었고 4월에 발표될 예정입니다. 본 연구에서는 사회적으로 큰 이슈가 되고 있는 딥페이크 가짜 동영상을 효율적으로 탐지할 수 있는 딥러닝 기반 알고리즘(Convoluional LSTM, Transfer Learning, Domain Adaptation)을 제안합니다. 특정인물을 다른 사람의 얼굴에 대입시켜 가짜 영상을 만드는 딥페이크 생성 기법은 날이 갈수록 다양해지고 있으며, 이에 대한 대응책이 필요한 상황입니다. 기존의 딥페이크 탐지 기법들은 다양한 생성기법을 한 번에 탐지하지 못하며, 각각의 생성 기법을 탐지하기 위해 방대한 양의 데이터와 학습 시간이 필요합니다. 이 경우 새로운 딥페이크 생성 기법이 발생한다면, 기존의 탐지 기법들은 탐지에 실패할 것입니다. 또한, 동영상을 프레임으로 나누어 각 프레임별 딥페이크 탐지를 진행하기 때문에, 동영상이 가진 시간적 특성을 전혀 고려하지 않습니다. 본 연구에서는 이를 해결하고 알려지지 않은 딥페이크에 더 잘 대처하기 위해, CLRNet(Convolutional LSTM-based Residual Network)을 개발하여 여러 딥페이크 생성 기법을 탐지하는 동시에 동영상의 시간적 특성을 모두 활용할 수 있는 딥러닝 탐지 알고리즘을 소개합니다. 제안된 모델은 비교 모델 대비 효과적인 성능 향상을 이뤘으며, 실제 온라인에서 유출 되어있는 영상을 통해 그 성능을 검증하였습니다.
[논문] “One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework”, The Web Conference 2021 (WWW 2021) Deep learning-based video manipulation methods have become widely accessible to the masses. With little to no effort, people can quickly learn how to generate deepfake (DF) videos. In particular, females have been occasional victims of deepfake, which are widely spread on the Web. While deep learning-based detection methods have been proposed to identify specific types of DFs, their performance suffers for other types of deepfake methods, including real-world deepfakes, on which they are not sufficiently trained. In other words, most of the proposed deep learning-based detection methods lack transferability and generalizability. Beyond detecting a single type of DF from benchmark deepfake datasets, we focus on developing a generalized approach to detect multiple types of DFs, including deepfakes from unknown generation methods such as DeepFake-in-the-Wild (DFW) videos. To better cope with unknown and unseen deepfakes, we introduce a Convolutional LSTM-based Residual Network (CLRNet), which adopts a unique model training strategy and explores spatial as well as the temporal information in a deepfakes. Through extensive experiments, we show that existing defense methods are not ready for real-world deployment. Whereas our defense method (CLRNet) achieves far better generalization when detecting various benchmark deepfake methods (97.57% on average). Furthermore, we evaluate our approach with a high-quality DeepFake-in-the-Wild dataset, collected from the Internet containing numerous videos and having more than 150,000 frames. Our CLRNet model demonstrated that it generalizes well against high-quality DFW videos by achieving 93.86% detection accuracy, outperforming existing state-of-the-art defense methods by a considerable margin.
|
|||