[연구] 우사이먼성일 교수 연구실(DASH Lab), Tariq Shahroz 박사과정 연구원,김민하 석사과정 연구원 ACMMM 2021 논문 게재 승인
- 소프트웨어융합대학
- 조회수1353
- 2021-07-16
DASH 연구실 소프트웨어학과 김민하(석사과정연구원)와 Tariq Shahroz(박사과정연구원), 우사이먼성일(교신저자)의 “CoReD: Generalizing Fake Media Detection with Continual Representation using Distillation” 논문이 멀티미디어 분야에서 세계 최고 수준의 학술대회인 ACMMM (ACM Multimedia, BK IF=4) 2021년에 최종 논문 개재가 승인되었고 2021년 10월 중국 청두에서 발표될 예정입니다.
본 연구에서는 최근 사회적으로 큰 이슈로 대두되고 있는 딥페이크 동영상을 탐지하는 방법을 제안하며, 이는 이전 딥페이크 생성기법 뿐만 아니라 새로운 생성기법에서도 효율적으로 탐지 가능한 딥러닝 기반 알고리즘(Continual Learning, Knowledge Distillation, Representation Learning)을 기반으로 구성되었습니다.
최근에 딥페이크나 합성 얼굴 이미지 같은 가짜 미디어를 높은 정확도로 감지할 수 있는 방법들이 등장하고 있는 반면에, 새로운 딥페이크 생성기법들 또한 다양해지고 있습니다. 이에 따라 다양한 딥페이크 생성기법들을 탐지 가능한 대응책이 필요한 상황입니다. 하지만 기존의 딥페이크 탐지 기법들은 각 생성기법마다 대량의 학습 데이터셋이 요구되며, 이는 현실적으로 제약이 많으며 학습시간도 매우 오래 소요됩니다.
이러한 문제를 해결하기 위해서 각 생성 방법에 대한 일반적인 탐지를 위해 전이학습을 진행하며, 전이학습 방법은 모델의 지식 망각(Knowledge Forgetting)을 방지하기 위해서 이전 학습에 사용된 데이터셋의 일부가 필요합니다. 하지만 이전 학습 데이터셋을 소지하고 있는 것은 보안 측면에서 문제가 되고 영구적으로 보존하는 것은 현실적으로 어려움이 존재합니다. 따라서, 본 연구에선 소스 생성기법 없이도 기존 딥페이크 생성기법의 탐지 성능은 유지함과 동시에 새로운 딥페이크 생성기법의 탐지 성능을 향상시키기 위해서, 지식증류기법과 표현학습기법 기반의 연속학습(Continual Learning) 알고리즘 CoReD(Continual Representation using Distillation)를 개발하였습니다. 본 논문에선 세 번의 연속학습 결과를 각 태스크 별로 나누어 소스 생성기법과 타겟 생성기법에 대한 탐지 성능을 비교하였습니다.
그 결과, CoReD 알고리즘을 적용했을 때 비교 모델들과 비교하여 소스 생성기법에서 탐지 성능을 최대한 유지하면서, 타겟 생성기법에 대해서는 효과적인 성능 향상을 보여주었습니다.