발전기금
-
- [일반] ‘3인 3색, SW와 AI로 미래를 설계하다’ 박준우, 김동완, 김상호 학우
- ‘3인 3색, SW와 AI로 미래를 설계하다’ 박준우, 김동완, 김상호 학우
-
- 작성일 2025-10-23
- 조회수 68
-
- [연구] 구형준 교수 (SecAI 연구실), ACM Conference on Computer and Communications Security (CCS’25), Distinguished Paper Award 수상
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu/)에서 Shakhzod 학생 (석사과정)과 전미진 학생 (석사과정)이 연구한 "A Decade-long Landscape of Advanced Persistent Threats: Longitudinal Analysis and Global Trends" 논문이 보안 분야 최우수학회인 ACM Conference on Computer and Communications Security (CCS’25) 학회에서 Distinguished Paper Award를 수상했다. (316편 중 30편 (~9.4%)에 수여함). 해당 논문은 지난 10년 간 (2014–2023) 수집된 총 1,509건의 개별 APT 기술 보고서 (24,215페이지)를 분석하여 603개의 고유한 APT 그룹을 식별하고, 이를 통해 APT 공격의 전반적 양상과 글로벌 트렌드를 거시적 관점에서 분석한다. 이를 위해 기술 보고서를 중심으로 한 세 가지 소스와 위협 행위자 중심의 또 다른 세 가지 소스를 포함한 신뢰할 수 있는 6개 출처와 177개의 관련 뉴스 기사를 활용하였으며, 대용량 문서 처리를 위해 규칙 기반 정보 검색 기법과 대형 언어 모델(LLM) 기반 검색 기법을 결합한 하이브리드 기법을 적용했다. 그 결과, APT 캠페인의 10년간 진화 과정, 사이버 위협 인텔리전스 기록 현황, APT의 공통적 특성, 그리고 정치적 사건, 국제 분쟁, 글로벌 팬데믹 등 외부 요인이 APT 활동에 미치는 영향 등을 종합적으로 분석할 수 있었다. 특히 10년 동안 총 154개국이 APT의 영향을 받았으며, 초기 침입 벡터로는 주로 악성 문서와 스피어 피싱이 사용되었고 2016년 이후 제로데이(zero-day) 취약점 활용이 감소하는 추세를 보였다. 또한, APT의 글로벌 동향을 직관적으로 이해할 수 있도록 APT 지도와 위협 행위자들과 표적 국가들 간의 관계를 보여주는 흐름도를 통해 시각화 자료도 제공한다.
-
- 작성일 2025-10-23
- 조회수 987
-
- [일반] 삼성학술정보관 3차원 공간데이터, 국제표준화기구 MPEG 공식 평가 영상으로 채택
- 삼성학술정보관 3차원 공간데이터, 국제표준화기구 MPEG 공식 평가 영상으로 채택
-
- 작성일 2025-10-15
- 조회수 158
-
- [연구] [구형준 교수] SecAI 연구실, Annual Computer Security Applications Conference 2025 (ACSAC ’25) 논문 게재 승인
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu) 김민석 학생 (석사과정)의 "Rescuing the Unpoisoned: Efficient Defense against Knowledge Corruption Attacks on RAG Systems" 논문이 보안분야 우수학회인 Annual Computer Security Applications Conference (ACSAC) (ACSAC ’25)에 게재 승인되어 2025년 12월에 발표할 예정입니다. 검색증강생성 (Retrieval-Augmented Generation, RAG) 기술은 대규모 언어 모델의 한계인 환각 현상과 최신 정보 부족 문제를 해결하기 위해 외부 지식베이스를 활용하는 기술로 주목받고 있습니다. 하지만 최근 연구들은 악의적인 공격자가 위키피디아와 같은 공개 지식 소스에 오염된 정보를 주입하여 RAG 시스템이 잘못된 답변을 생성하도록 유도할 수 있음을 보여주었습니다. 기존 방어 기법들은 효과적이지만 각 문서를 개별 검증하거나 별도 모델 학습이 필요해 상당한 계산 비용이 발생하는 한계가 있었습니다. 본 연구에서는 추가적인 언어 모델 추론이나 모델 재학습 없이도 악성 콘텐츠를 효과적으로 탐지하는 RAGDefender를 제안합니다. 핵심 기술은 검색된 문서들 간의 의미적 유사도와 TF-IDF 기반 어휘 패턴을 활용한 2단계 필터링 메커니즘으로, 첫 번째 단계에서는 계층적 클러스터링(single-hop QA) 또는 집중도 분석(multi-hop QA)을 통해 잠재적 악성 문서 수를 추정하고, 두 번째 단계에서는 코사인 유사도 기반 쌍별 순위화와 빈도 점수를 계산하여 악성 문서를 정밀 식별합니다. NQ, HotpotQA, MS MARCO 데이터셋에서 3가지 공격 기법과 6가지 언어 모델(LLaMA, Vicuna, GPT-4o, Gemini)을 대상으로 실험한 결과, 악성 문서가 정상 문서보다 4배 많은 상황에서도 공격 성공률을 0.89에서 0.02로 감소시키며 답변 정확도는 0.21에서 0.73으로 향상시켰습니다. 특히 기존 기법 대비 12.36배 빠른 처리 속도를 달성하면서도 GPU 메모리를 전혀 사용하지 않아, 다양한 RAG 프레임워크와 여러 검색 모델에 즉시 통합 가능한 실용적 방어 솔루션임을 입증했습니다. Abstract: Large language models (LLMs) are reshaping numerous facets of our daily lives, leading to widespread adoption as web-based services. Despite their versatility, LLMs face notable challenges, such as generating hallucinated content and lacking access to up-to-date information. Lately, to address such limitations, Retrieval-Augmented Generation (RAG) has emerged as a promising direction by generating responses grounded in external knowledge sources. A typical RAG system consists of i) a retriever that probes a group of relevant passages from a knowledge base and ii) a generator that formulates a response based on the retrieved content. However, as with other AI systems, recent studies demonstrate the vulnerability of RAG, such as knowledge corruption attacks by injecting misleading information. In response, several defense strategies have been proposed, including having LLMs inspect the retrieved passages individually or fine-tuning robust retrievers. While effective, such approaches often come with substantial computational costs. In this work, we introduce RAGDEFENDER, a resource-efficient defense mechanism against knowledge corruption (i.e., by data poisoning) attacks in practical RAG deployments. RAGDEFENDER operates during the post-retrieval phase, leveraging lightweight machine learning techniques to detect and filter out adversarial content without requiring additional model training or inference. Our empirical evaluations show that RAGDEFENDER consistently outperforms existing state-of-the-art defenses across multiple models and adversarial scenarios: e.g., RAGDEFENDER reduces the attack success rate (ASR) against the Gemini model from 0.89 to as low as 0.02, compared to 0.69 for RobustRAG and 0.24 for Discern-and-Answer when adversarial passages outnumber legitimate ones by a factor of four (4x).
-
- 작성일 2025-10-14
- 조회수 520
-
- [연구] 우사이먼성일 교수 연구실 (DASH연구실), NeurIPS 2025 논문 2편 게재 승인
- DASH연구실 (지도교수: 우사이먼성일)의 논문이 인공지능 분야 우수학회인 NeurIPS2025 (The Thirty-Ninth Annual Conference on Neural Information Processing Systems)에 2편 논문이 게재 승인(Accept) 되었습니다. 논문은 25년 12월 샌디에고 컨벤션 센터에서 발표될 예정입니다. 1. 논문 “Through the Lens: Benchmarking Deepfake Detectors Against Moiré-Induced Distortions”은 소프트웨어학과 Razaib Tariq(소프트웨어학과 박사과정, 공동 제1저자), 인공지능학과 허민지(인공지능학과 석사졸업생, 공동 제1저자), Shahroz Tariq(CSIRO, Data61) 연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Datasets and Benchmarks Track) 본 연구에서는 스마트폰으로 디지털 화면을 촬영할때 발생하는 모아레(Moiré) 아티팩트가 딥페이크 탐지 성능을 저하한다는 문제를 다룹니다. 이를 위해 모아레패턴이 포함된 동영상에 대해 최신 딥페이크 탐지 모델들을 체계적으로 평가하였습니다. Celeb-DF, DFD, DFDC, UADFV, FF++에서 총 12,832개(35.64시간 분량)의 영상을 수집하고, 다양한 디스플레이 스크린, 스마트폰 기종, 조명유무, 카메라 각도 등 실제 사용 조건을 폭넓게 반영하였습니다. 또한 모아레 패턴의 영향을 정밀하게 분석하기 위해, 자체 구축한 DeepMoiréFake(DMF) 데이터셋과 두 가지 합성 모아레 생성 기법을 활용해 추가 실험을 수행했습니다. 실험 결과, 15개의 탐지 모델 전반에서 모아레 아티팩트로 인해 성능이 최대 25.4%까지 저하되었고, 합성 모아레 역시 정확도를 21.4% 감소시켰습니다. 더욱이 완화 방안으로 사용되는 디모아레(모아레 제거) 기법은 오히려 문제를 악화시켜 정확도를 최대 16%까지 낮추는 것으로 나타났습니다. 이러한 결과는 압축, 샤프닝, 블러링 등 다른 현실적 변동 요인과 함께 모아레 왜곡에 견고한 탐지 모델의 필요성을 강조합니다. 본 연구는 DMF 데이터셋을 제시함으로써, 통제된 실험 환경과 실제 딥페이크 탐지 환경 사이의 격차 해소를 위한 벤치마크를 제공합니다. Deepfake detection remains a pressing challenge, particularly in real-world settings where smartphone-captured media from digital screens often introduces Moiré artifacts that can distort detection outcomes. This study systematically evaluates state-of-the-art (SOTA) deepfake detectors on Moiré-affected videos—an issue that has received little attention. We collected a dataset of 12,832 videos, spanning 35.64 hours, from Celeb-DF, DFD, DFDC, UADFV, and FF++ datasets, capturing footage under diverse real-world conditions, including varying screens, smartphones, lighting setups, and camera angles. To further examine the influence of Moiré patterns on deepfake detection, we conducted additional experiments using our DeepMoiréFake, referred to as (DMF) dataset, and two synthetic Moiré generation techniques. Across 15 top-performing detectors, our results show that Moiré artifacts degrade performance by as much as 25.4%, while synthetically generated Moiré patterns lead to a 21.4% drop in accuracy. Surprisingly, demoiréing methods, intended as a mitigation approach, instead worsened the problem, reducing accuracy by up to 16%. These findings underscore the urgent need for detection models that can robustly handle Moiré distortions alongside other real-world challenges, such as compression, sharpening, and blurring. By introducing the DMF dataset, we aim to drive future research toward closing the gap between controlled experiments and practical deepfake detection. 2. 논문 “RUAGO: Effective and Practical Retain-Free Unlearning via Adversarial Attack and OOD Generator”은 소프트웨어학과 이상용(소프트웨어학과 박사과정, 제1저자), 인공지능학과 정상준(인공지능학과 석사과정, 제2저자)연구원이 저자로 참여했습니다. (교신저자: 우사이먼성일 교수) (Main Track) 본 연구에서는 머신 언러닝 분야에서 보존 데이터(retain data)에 접근할 수 없는 환경에서 모델이 특정 데이터를 효과적으로 잊도록 하는 문제를 다루었습니다. 일반적으로 언러닝 과정에서는 잊어야 할 데이터(forget data)를 제거하면서 나머지 데이터의 성능을 유지해야 하지만, 보존 데이터에 접근하지 못할 경우 모델의 성능 저하가 심각하게 발생합니다. 이를 해결하기 위해서 RUAGO(Retain-free Unlearning via Adversarial attack and Generative model using OOD traning)라는 새로운 프레임워크를 제안합니다. RUAGO는 세 가지 핵심 요소를 통해 안정적이고 효과적인 언러닝을 달성합니다. 첫째, Adversarial Probability Module (APM)을 통해 forget data에 대해 단일 클래스(one-hot) 레이블 대신 soft label 기반 adversarial 확률을 사용하여 과도한 언러닝을 방지합니다. 둘째, Out-of-Distribution (OOD) 데이터로 학습된 생성 모델을 활용하여 보존 데이터 없이도 원본 모델의 지식을 보존합니다. 이때 생성된 합성 데이터는 모델의 내부 표현에 근접하도록 모델 인버전(model inversion) 과정을 거쳐 정제됩니다. 셋째, Sample Difficulty Scheduler를 도입하여 쉬운 샘플에서 어려운 샘플로 점진적으로 학습하는 Curriculum Learning 기반 지식 증류 전략을 적용했습니다. 이를 통해 학습 초기의 안정성과 후반의 일반화 성능을 동시에 확보하였습니다. CIFAR-10, CIFAR-100, TinyImageNet, VGGFace2 등의 다양한 데이터셋을 대상으로 실험한 결과, RUAGO는 기존 retain-free 방법들을 크게 능가하며, 보존 데이터를 사용하는 최신 방법들과도 동등하거나 더 우수한 성능을 달성했습니다. 특히 Membership Inference Attack (MIA) 평가에서도 재학습 모델과 유사한 수준의 개인정보 보호 효과를 보여, 정확도와 프라이버시를 동시에 만족하는 효과적인 언러닝 방법임을 입증했습니다. This paper addresses the problem of enabling a model to effectively forget specific data in scenarios where access to the retain data is unavailable in the field of machine unlearning. In general, the unlearning process aims to remove the forget set while maintaining the performance of the retain set. However, when the retain data is inaccessible, the model often suffers from severe performance degradation. To address this challenge, we propose a novel framework called RUAGO (Retain-free Unlearning via Adversarial attack and Generative model using OOD training). RUAGO achieves stable and effective unlearning through three key components. First, the Adversarial Probability Module (APM) mitigates over-unlearning by replacing one-hot labels with soft-label-based adversarial probabilities for the forget data. Second, a generator trained on Out-of-Distribution (OOD) data is employed to preserve the original model’s knowledge without requiring access to the retain data. The synthetic samples generated from the OOD data are further refined through a model inversion process to better align with the internal representations of the model. Third, the Sample Difficulty Scheduler introduces a Curriculum Learning-based knowledge distillation strategy that gradually transitions from easy to hard samples, ensuring both early-stage stability and improved generalization in later training stages. Extensive experiments on diverse datasets on CIFAR-10, CIFAR-100, TinyImageNet, and VGGFace demonstrate that RUAGO significantly outperforms existing retain-free approaches and achieves performance comparable to or better than state-of-the-art retain-based methods. Moreover, evaluation under the Membership Inference Attack (MIA) shows that RUAGO provides a privacy protection level similar to that of retrained model, demonstrating its effectiveness in achieving both high accuracy and strong privacy preservation simultaneously. Feel free to contact us at: https://dash-lab.github.io/ swoo@g.skku.edu
-
- 작성일 2025-10-13
- 조회수 547
-
-
- [연구] 우홍욱 교수 연구실 (CSI연구실), NeurIPS 2025 논문 3편 게재 승인
- CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 NeurIPS2025 (The Thirty-Ninth Annual Conference on Neural Information Processing Systems)에 3편 (Spotlight 2편 포함) 논문이 게재 승인(Accept) 되었습니다. 논문은 25년 12월 샌디에고 샌디에고 컨벤션 센터에서 발표될 예정입니다. 1. 논문 “Policy Compatible Skill Incremental Learning via Lazy Learning Interface”은 소프트웨어학과 이대희(석박통합과정), 곽태윤(학사과정), 최원제(박사과정) 연구원이 저자로 참여했습니다. (Spotlight ; top 3.2%) 본 연구에서는 로봇과 인공지능 에이전트가 새로운 스킬을 학습하면서도 기존 정책과의 호환성을 유지하는 스킬 증분 학습(Skill Incremental Learning; SIL) 문제를 다루었습니다. 특히 진화하는 스킬 레퍼토리(evolving skill repertoire) 속에서도 기존 정책의 재학습 없이 신규 스킬을 활용할 수 있도록 하여, 장기적·지속적 학습의 안정성과 효율성을 동시에 달성하는 것을 목표로 합니다. SIL-C는 Lazy Learning(지연 학습) 기반 인터페이스를 통해 고수준 정책이 제시한 하위 과업(subtask)을 적절한 스킬과 동적으로 연결하는 방식을 제안합니다. 이 과정에서 스킬 검증(skill validation)과 스킬 후킹(skill hooking) 메커니즘을 활용하여 기존 정책과 새롭게 학습된 스킬 간 불일치를 최소화합니다. Franka Kitchen과 Meta-World 등 다양한 시뮬레이션 환경 실험 결과, SIL-C는 기존 방법 대비 Backward(과거 정책이 새로운 스킬을 활용) 및 Forward(새로운 스킬이 미래 정책에 활용) 호환성을 모두 확보했습니다. 특히 제한된 시연(few-shot) 상황에서도 성능을 최대 두 배 가까이 향상시켜, 지속적 학습 환경에서도 효율적이고 강건한 정책 실행이 가능함을 입증했습니다. 2. 논문 “Towards Reliable Code-as-Policies: A Neuro-Symbolic Framework for Embodied Task Planning” 은 소프트웨어학과 안상현 (석사과정), 최원제 (박사과정), 이준용 (학사과정), 인공지능학과 박진우 (석사과정) 연구원이 저자로 참여했습니다. (Spotlight ; top 3.2%) 본 연구에서는 로봇이 부분관찰 환경에서도 신뢰성 있는 정책 코드를 생성할 수 있도록 하는 신경-심볼릭(Neuro-symbolic) 프레임워크 NeSyRo를 제안했습니다. 기존 Code-as-Policies(CaP) 방식의 환경적합성(grounding) 문제를 해결하여, 동적 환경에서도 안정적 정책 실행을 가능하게 하는 것이 목표입니다. NeSyRo는 verification과 validation단계를 재귀적으로 결합해 코드의 논리적 타당성과 환경 실행 가능성을 모두 확보합니다. 또한 Neuro-Symbolic Confidence (NeSyConf)를 통해 스킬의 실행 가능성을 평가하고, 낮을 경우 재귀적으로 안전한 탐색(Safe Probe)을 생성하여 누락된 관찰을 보완합니다. RLBench 및 실제 로봇 실험 결과, NeSyRo는 기존 방법 대비 성공률 46.2% 향상, 실행 가능성 86.8% 이상을 달성했습니다. 또한 장기 과제에서도 기존 접근법이 10% 이하에 머무는 반면 52.5% 성공률을 기록하며, 비가역적 실패를 크게 줄였습니다. 특히 잠긴 서랍이나 어두운 방과 같은 불완전 관찰 상황에서도 안전 탐색으로 관찰을 보완하고 정책 코드를 보정하여, 강건하고 신뢰성 있는 장기 로봇 계획을 입증했습니다. 3. 논문 “NeSyPr: Neurosymbolic Proceduralization For Efficient Embodied Reasoning” 은 소프트웨어학과 최원제 (박사과정), 김주영 (석사과정) 연구원이 저자로 참여했습니다. 본 연구는 언어모델 기반의 에이전트가 외부 심볼릭 도구 없이도 구조적이고 적응적인 추론을 수행할 수 있도록 하는 NeSyPr (Neurosymbolic Proceduralization) 프레임워크를 제안합니다. 이 연구는 인간의 지식 절차화(proceduralization) 과정을 모방하여, 심볼릭 도구가 산출한 행동 계획을 언어모델이 활용할 수 있는 절차적 기억으로 변환함으로써 외부 도구 없이도 효율적인 추론을 가능하게 합니다. 학습 단계에서는 심볼릭 도구의 지식을 절차 메모리로 변환 및 축적하고, 실행 단계에서는 이를 뉴럴 네트워크 기반의 언어 모델과 통합하여 빠르고 일반화된 추론을 수행합니다. 실행 중, 환경에서의 성공과 실패 경험을 지속적으로 절차 기억에 축적하고 이를 비교·대조함으로써, 에이전트가 올바른 절차를 강화하고 잘못된 절차는 억제하여 새로운 상황에도 유연하게 적응합니다. NeSyPr은 PDDLGym, VirtualHome, ALFWorld 세 가지 벤치마크에서 평가되었으며, 기존 대규모 추론 모델과 비교했을 때는 훨씬 작은 언어모델로도 더 높은 성공률과 짧은 지연 시간을 달성했고, 심볼릭 플래너와 비교했을 때는 새로운 환경 변화에 훨씬 더 잘 적응하는 성능을 보여주었습니다. CSI 연구실은 Embodied Agent, Reinforcement Learning, Self-Learning 기술을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 연구 등을 수행하고 있습니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://csiagentgroup.com
-
- 작성일 2025-10-01
- 조회수 829
-
- 2025 SKKU Teaching Award 수상자 선정
- 2025 SKKU Teaching Award 수상자 선정 - 9월 24일(수), 제627주년 건학기념식에서 시상식 진행 교무처는 2025 SKKU Teaching Award 수상자로 19명의 교원을 선정하였다. 시상식은 9월 24일(수), 제627주년 건학기념식에서 거행되었다. (사진 첫째줄 왼쪽부터) △레이하트만(학부대학) △남궁주현(법학전문대학원) △전희정(행정학과) △이경재(통계학과) △김준성(경제학과) △최희익(경영학과) △김지만(화학과) △정재훈(생명과학과) △박준은(전자전기공학부) △김유성(소프트웨어학과) △이창준(글로벌융합학부) △김수찬(화학공학부) △노진아(교육학과) △이경성(연기예술학과) △황한솔(응용AI융합학부) △박이진(동아시아학술원) △이전오(학부대학) △하나(유학.동양학과) △차현주(문헌정보학과) 등 총 19명의 교원이 SKKU Teaching Award 수상의 영예를 안게 되었다. SKKU Teaching Award 제도는 우리 대학 교육의 질적 향상을 선도한 교·강사를 선정하여 포상하는 영예로운 상으로, 2011년 최초 시행 이후 지난해까지 총 134명을 선정한 바 있다. 특히나 이번 Teaching Award는 우리 대학이 지향하는 자기주도적 글로벌 융합 인재 양성을 위한 교육 혁신에 이바지한 교·강사을 선발하는 데 중점을 두었으며, 학문단위의 벽을 낮추고, 새로운 수업 모델을 적극 도입하며, 학부생의 연구효능감을 키우는 교과 운영에서 두드러지는 성과를 보인 교·강사를 선정하였다. 이번 Teaching Award 시상으로, 교육 역량이 뛰어난 교·강사에게 자긍심과 명예를 부여하고, 학부교육의 질적 성장을 견인할 수 있는 롤모델이 제시될 수 있기를 기대한다.
-
- 작성일 2025-09-26
- 조회수 521
-
-
- [연구] 우사이먼성일 교수 연구실 (DASH Lab): CIKM (Full: 3편/Short: 3편), ACMMM (3편), ICCV (3편) 등의 학회에 총 12편 논문 게재 승인, 2 Workshops, & 1 Tutor
- 우사이먼성일 교수 연구실 (DASH Lab)의 딥페이크 탐지/생성, 머신 언러닝, 객체인식, 이상 탐지, 워터마킹등의 연구를 CIKM (Full: 3편/Short: 3편), ACMMM (3편), ICCV (3편) 데이터마이닝/멀티미디어/비전 BK 우수 학회에 총 12편을 게재 예정. 또한, ACM AsiaCCS (WDC)와 ACM CCS (3D-Sec)에 딥페이크관련 국제 워크숍 개최와, 2025 ICIP에서 딥페이크 탐지관련 Tutorial을 진행. 논문1. “FakeChain: Exposing Shallow Cues in Multi-Step Deepfake Detection”은 인공지능학과 허민지(석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track (Full) 본 논문은 딥페이크 탐지 모델이 단일 조작 방식만을 학습했을 경우, 여러 단계의 변조를 순차적으로 거친 다단계(manipulation steps) 딥페이크에 얼마나 취약한지를 분석하고자 합니다. 기존 연구들은 보통 하나의 조작 방식(예: FaceSwap, GAN, Diffusion 등)만을 단독으로 고려했지만, 실제 환경에서는 다양한 생성 방식이 결합된 복합 조작이 등장하고 있습니다. 이 문제를 해결하기 위해, 본 연구는 서로 다른 딥페이크 생성 기법(FaceSwap, GAN 기반 생성, Diffusion 기반 생성 등)을 단계적으로 적용한 1단계, 2단계, 3단계 딥페이크 이미지로 구성된 대규모 벤치마크 데이터셋인 FakeChain을 제안합니다. 총 다섯 가지 기법을 활용하여 생성된 이 데이터셋을 통해, 조작 단계의 깊이, 생성 방식 조합, 이미지 품질 변화가 탐지 성능에 미치는 영향을 체계적으로 분석하였습니다. 실험 결과, 탐지 성능은 마지막 조작 단계에 크게 의존하며, 학습에 사용된 조작 방식과 다를 경우 F1-score가 최대 58.83%까지 하락하는 것을 확인했습니다. 이는 기존 탐지기가 누적된 조작 흔적보다는 최종 조작의 특징에만 의존하고 있음을 의미하며, 일반화 성능의 한계를 드러냅니다.이러한 결과는 복합 조작 이력을 고려하는 탐지 모델의 필요성과, 실제 환경의 복잡성을 반영한 벤치마크 데이터셋(FakeChain)의 중요성을 강조합니다. This paper investigates how deepfake detection models trained only on a single type of manipulation perform when faced with multi-step deepfakes, which have undergone multiple sequential transformations. While previous studies have typically focused on individual manipulation methods such as FaceSwap, GAN-based generation, or Diffusion, real-world scenarios increasingly involve composite manipulations that apply multiple techniques in sequence. To address this challenge, we introduce FakeChain, a large-scale benchmark dataset that includes 1-step, 2-step, and 3-step manipulated face images. These images are generated by sequentially applying different deepfake creation methods, including FaceSwap, GAN-based generation, and Diffusion-based refinement. By using five state-of-the-art generators, this dataset enables a systematic analysis of how manipulation depth, generator combinations, and image quality affect detection performance. Experimental results show that detection models strongly depend on the final manipulation stage. When the final manipulation type differs from the one seen during training, the F1-score drops by up to 58.83 percent. This indicates that existing detectors rely mainly on artifacts introduced in the last step, rather than capturing the cumulative traces of earlier manipulations, which limits their generalization ability. These findings underscore the need for detection models that consider the full manipulation history and highlight the importance of benchmark datasets like FakeChain, which reflect the growing complexity of synthetic media in real-world environments. 논문2. “Seeing Through the Blur: Unlocking Defocus Maps for Deepfake Detection”은 소프트웨어학과 전민선(소프트웨어학과 석사졸업생)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track (Full) 생성형 AI의 발달로 합성 이미지가 실제와 구분하기 어려울 만큼 정교해지면서 미디어 신뢰성에 대한 우려가 커지고 있습니다. 이 논문은 이에 대한 새로운 해법으로, 카메라 촬영 과정에서 자연스럽게 발생하는 디포커스 블러(Defocus Blur)에 주목했습니다. 이를 물리적으로 신뢰할 수 있는 단서로 활용해 딥페이크를 탐지하는 방식을 제안합니다. 합성 이미지는 현실의 심도(Depth of Field) 기반 블러 패턴을 제대로 재현하지 못하는 경우가 많습니다. 본 연구는 이러한 차이를 활용해 입력 이미지지에서 Defocus Blur Map을 생성하고 이를 분류기에 적용했습니다. Defocus 모듈은 확장 가능한 구조로 설계되어 다양한 탐지 모델과 쉽게 결합할 수 있으며, feature-level과 model-level을 아우르는 폭넓은 실험을 통해 신뢰성과 해석 가능성을 검증했습니다. 실험 결과, 제안된 방법은 FaceForensics++ 데이터셋에서 AUC 0.998을 달성하며 기존 최첨단 기법을 능가했습니다. 단순한 구조로도 높은 정확도와 해석력을 확보한 이 접근법은 범용성과 확장성을 갖춘 차세대 미디어 포렌식 기술로써 합성 이미지로 인한 신뢰성 위협에 대응할 새로운 가능성을 제시했습니다. With the rapid advancement of generative AI, synthetic images have become nearly indistinguishable from real ones, raising serious concerns about media integrity. This paper introduces a novel solution by focusing on defocus blur, a natural optical phenomenon that occurs during camera capture. By leveraging this physically grounded cue, the method provides a new approach to deepfake detection. Synthetic images often fail to reproduce realistic depth-of-field blur patterns. Building on this observation, the proposed framework generates a defocus blur map from the input image and applies it to standard classifiers. Designed as a modular and extensible component, the defocus module can be easily integrated into various detection systems. The authors conducted comprehensive experiments across both feature-level and model-level analyses, validating the reliability and interpretability of defocus-based detection. Experiments showed that the method achieved an AUC of 0.998 on the FaceForensics++ dataset, surpassing prior state-of-the-art approaches. Despite its simplicity, the framework delivers both high accuracy and interpretability, highlighting its scalability and potential as a next-generation media forensic technology against the growing threat of synthetic content. 논문3. 이 연구는 현대케피코와의 공동연구로 진행되었습니다. “Anomaly Detection for Advanced Driver Assistance System with NCDE-based Normalizing Flow”은 소프트웨어학과 이강준(박사과정), 인공지능학과 김민하(석사졸업생), 전영호(현대케피코 연구원)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Applied Research track, Full paper (Long) 본 논문은 전기차의 첨단 운전자 보조 시스템(ADAS)에 적용되는 적응형 크루즈 컨트롤(ACC)의 성능을 개선하기 위한 새로운 이상 패턴 탐지 방법론인 GDFlow(Graph Neural Controlled Differential Equation Normalizing Flow)를 제안합니다. 기존의 ADAS는 개발 과정에서 수집된 주행 데이터가 제한적이어서 운전자의 다양한 주행 습관을 모두 반영하지 못하고, 이로 인해 급작스럽거나 지연된 제동이 발생하는 문제가 있었습니다. 또한, 기존에 사용되던 클러스터링 기반의 이상 탐지 알고리즘은 특정 조건에 민감하여 복잡한 실제 주행 환경에 적용하기 어려웠습니다. 이러한 한계를 극복하기 위해 GDFlow는 신경 제어 미분 방정식(NCDE, Neural Controlled Differential Equations)과 정규화 흐름(Normalizing Flow) 기술을 결합하여 정상적인 주행 패턴의 분포를 학습합니다. 이 모델은 차량 센서 데이터의 시공간적 정보를 동시에 포착하여 연속적인 주행 패턴의 변화를 정밀하게 모델링할 수 있습니다. 이를 통해 정상 분포에서 벗어나는 이상(anomalous) 제동 패턴을 효과적으로 식별합니다. 또한, 본 연구는 분위수 기반 최대 가능도(quantile-based maximum likelihood)라는 목적 함수를 도입했습니다. 이 기법은 정상 데이터와 이상 데이터의 경계에 있는 모호한 데이터까지 명확하게 구분할 수 있도록 모델의 학습 능력을 향상시킵니다. 본 연구는 현대 아이오닉 5와 GV80 EV에서 직접 수집한 실제 주행 데이터와 공개된 벤치마크 데이터셋을 통해 GDFlow의 성능을 검증했습니다. 실험 결과, GDFlow는 9개의 최신 이상 탐지 모델들보다 뛰어난 성능을 보였으며, 특히 서로 다른 차종이나 다른 운전자의 데이터에 대해서도 높은 일반화 성능을 입증했습니다. This paper proposes GDFlow (Graph Neural Controlled Differential Equation Normalizing Flow), a novel anomaly detection methodology designed to improve the performance of Adaptive Cruise Control (ACC) in Advanced Driver Assistance Systems (ADAS) for electric vehicles. Existing ADAS faces challenges because the limited and non-diverse driving data collected during development fails to capture a wide range of driver habits, leading to problems such as late or aggressive braking. Furthermore, conventional clustering-based anomaly detection algorithms are often sensitive to specific conditions, making their application in complex, real-world driving environments difficult. To overcome these limitations, GDFlow combines Neural Controlled Differential Equations (NCDE) and Normalizing Flow to learn the distribution of normal driving patterns. The model captures spatio-temporal information from vehicle sensor data, allowing it to accurately model continuous changes in driving patterns. This enables the effective identification of anomalous braking patterns that deviate from the learned normal distribution. Additionally, the study introduces a quantile-based maximum likelihood objective function. This technique enhances the model’s learning capability to clearly distinguish between normal and anomalous data, especially for ambiguous data points at the margin of the distribution. The performance of GDFlow was validated using real-world driving data collected from the Hyundai IONIQ 5 and GV80 EV, as well as on public benchmark datasets. Experimental results demonstrate that GDFlow achieves state-of-the-art performance, outperforming nine baseline models, and shows strong generalization capabilities across different vehicle types and drivers. 논문4. “MU-OT: Effective and Unified Machine Unlearning with Optimal Transport for Feature Realignment” 은 인공지능학과 정상준 학생이 제1 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) CIKM 2025, Research track, Short paper 이 논문은 머신 언러닝 문제를 다루며, 특정 데이터(Forget Set)의 영향을 제거하면서도 나머지 데이터(Retain Set)에 대한 성능을 유지할 수 있는 새로운 방법인 MU-OT를 제안합니다. MU-OT는 클래스 단위(class-wise) 및 인스턴스 단위(instance-wise) 언러닝을 모두 지원하는 통합적 프레임워크입니다. 본 연구는 머신 언러닝을 특징 분포 정렬(feature distribution alignment) 문제로 재정의하고, 이를 위해 Optimal Transport(OT) 기반의 프레임워크 MU-OT를 도입합니다. Forget Set의 특징 분포를 Retain Set 분포와 정렬시켜 기존의 구조적으로 응집된 패턴을 해체하여 Retain Set 분포에 통합되도록 합니다. 추가적으로, Class-aware 비용함수를 추가하여 동일 클래스 내부 정렬은 억제하고, 클래스 간 정렬을 유도함으로써 언러닝 효과를 강화합니다. 실험 결과, MU-OT는 기존 방법들보다 효과적으로 Forget Set의 영향을 제거하면서도 Retain Set에 대한 높은 정확도를 유지함을 확인했습니다. 결론적으로 MU-OT는 클래스 단위와 인스턴스 단위 언러닝을 모두 지원하는 효율적이고 효과적인 통합적 프레임워크임을 입증합니다. This paper addresses the problem of machine unlearning and proposes a novel method, MU-OT, which effectively removes the influence of specific data (forget Set) while preserving the performance on the remaining data (retain Set). In particular, MU-OT serves as a unified framework that supports both class-wise and instance-wise unlearning. We redefine machine unlearning as a feature distribution alignment problem and introduce an Optimal Transport (OT)-based framework to achieve this. MU-OT aligns the feature distribution of the Forget Set with that of the Retain Set, dispersing the structured patterns originally formed by the Forget Set. In addition, a class-aware cost function is incorporated to discourage intra-class alignment and encourage inter-class alignment, thereby strengthening the unlearning effect. Experimental results demonstrate that MU-OT outperforms existing methods by effectively eliminating the influence of the forget Set while maintaining high accuracy on the retain set. In conclusion, MU-OT provides an efficient and effective unified framework that supports both class-wise and instance-wise unlearning. 1. CIKM#2 찬 논문5. 논문 “Beyond Masking: Landmark-based Representation Learning and Knowledge-Distillation for Audio-Visual Deepfake Detection”은 인공지능학과 박찬(석사과정), M. Shahid Munneer (소프트웨어학과 박사과정)이 저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track, Short paper 본 Beyond Masking 논문은 오디오-비주얼(Audio-Visual) 멀티모달 딥페이크 탐지 방법을 제안합니다. 기존 오디오-비주얼 딥페이크 탐지 방법들이 Academic 데이터셋에서는 우수한 성능을 보이지만 Real-World 딥페이크에서는 성능이 크게 저하되는 도메인 갭 문제를 해결하고자 했습니다. 기존 방법들이 배경 정보나 조명 등 spurious correlation에 영향을 많이 받는다는 것을 통해, 실제 얼굴의 기하학적 특징과 시간적 움직임을 모델링하여 문제를 해결하였습니다. Landmark-based Distillation (LBD)을 통해 비주얼과 오디오의 중간 표현이 각각 얼굴 랜드마크를 예측하도록 하고, 실제 랜드마크를 teacher signal로 사용하여 KL-divergence 계산을 통해 비주얼, 오디오 인코더가 기하학 특징을 더 잘 표현할 수 있는 강화된 특징을 추출하도록 유도하였습니다. 또한, 프레임 수준으로 오디오-비디오 쌍을 대조학습 Multimodal Temporal Information Alignment (MTIA)을 통해 시간적 일관성을 향상시켰습니다. 이를 통해 학술 데이터셋과 Real-World 딥페이크에서 우수한 일반화 성능을 달성했습니다 The paper proposes a multimodal detection method to solve the domain gap problem, where existing audio-visual deepfake detection methods perform well on academic datasets but show degraded performance on real-world deepfakes. This study points out that existing models tend to rely excessively on spurious correlations, such as background or lighting, and to overcome this, it focuses on directly modeling the geometric features and temporal movements of a real face. The core methodologies proposed for this are twofold. First, 'Landmark-based Distillation (LBD)' trains the visual and audio encoders to predict facial landmarks at an intermediate stage, and by using the actual landmarks as a teacher signal to calculate KL-divergence, it guides both encoders to extract geometric features more precisely. Second, 'Multimodal Temporal Information Alignment (MTIA)' applies contrastive learning to audio-video pairs to enhance the temporal consistency between the two modalities. Through this approach, the model in this paper achieved excellent generalization performance not only on academic datasets but also on real-world deepfakes. 논문6. “FASE: Feature-Aligned Scene Encoding for Open-Vocabulary Object Detection in Remote Sensing”은 소프트웨어학과 황현수 (석사과정)이 제1저자로 게재하였습니다. (교신저자: 우사이먼성일 교수) - CIKM 2025, Research track, Short paper 본 논문은 원격 탐사(Remote Sensing, RS) 이미지에서의 오픈 어휘 객체 탐지(open-vocabulary object detection, OVD) 성능을 개선하기 위한 새로운 방법론인 FASE(Feature-Aligned Scene Encoding)를 제안합니다. 기존 방법들은 이미지의 객체 레이블에 대한 텍스트 임베딩을 단순히 평균 내는 방식으로 장면 컨텍스트를 근사화하여, 장면에 존재하는 풍부한 언어적 맥락을 포착하는 데 한계가 있었습니다. 이를 해결하기 위해 FASE는 원격 탐사에 특화된 비전-언어 모델이 생성한 고품질 캡션을 통해 종합적인 장면 표현을 구축합니다. 이후, ' Feature Alignment Module (FAM)'은 이 캡션 임베딩이 시각적 특징과 정밀하게 정렬되도록 유도하여, 모델이 깊은 컨텍스트를 학습하도록 합니다. 특히, 이러한 향상된 장면 인코딩은 훈련 과정에만 적용되므로 추론 비용을 증가시키지 않으면서도 탐지 성능을 크게 향상시키는 장점이 있습니다. 여러 벤치마크를 통한 실험 결과, 제안된 방법은 기존 최고 성능(state-of-the-art) 모델들보다 뛰어난 성능을 보이며 효율성과 효과성을 모두 입증했습니다. This paper proposes a novel methodology, FASE (Feature-Aligned Scene Encoding), for improving the performance of open-vocabulary object detection (OVD) in remote sensing (RS) imagery. Existing methods approximate scene context by simply averaging the text embeddings of object labels, which limits their ability to capture the rich linguistic context present in the scene. To address this limitation, FASE constructs comprehensive scene representations using high-quality captions generated by a vision-language model specialized for remote sensing. Subsequently, a Feature Alignment Module (FAM) guides these caption embeddings to be precisely aligned with visual features, enabling the model to learn deep context. Notably, this enhanced scene encoding is applied only during the training process, which provides the advantage of significantly improving detection performance without increasing inference cost. Experimental results on multiple benchmarks show that the proposed method outperforms state-of-the-art models, proving both its efficiency and effectiveness. 논문7. “SpecXNet: A Dual-Domain Convolutional Network for Robust Deepfake Detection”, Inzamamul Alam (소프트웨어학과 박사과정), Md Tanvir Islam and Simon S. Woo* ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland This paper introduces SpecXNet, a deepfake detector that looks at images in two ways at once: what you can see in pixel space (textures, edges) and what hides in the frequency patterns revealed by a Fast Fourier Transform (FFT). Prior detectors usually commit to just one view either spatial or frequency so they miss subtle artifacts and struggle to generalize to new generators and datasets. SpecXNet tackles that gap by unifying both clues in a single, lightweight architecture. At the heart of SpecXNet are two components. The Dual-Domain Feature Coupler (DDFC) splits features into a local spatial branch and a global spectral branch (via FFT) so the model can capture fine details and long-range periodic traces at the same time. The Dual Fourier Attention (DFA) then fuses those branches, learning when to emphasize spatial cues and when to lean on frequency cues, so the final decision uses the right evidence for each image. The supplementary further motivates the spectral view by showing that different generators leave distinct FFT “signatures,” patterns that are often invisible in raw pixels. 논문8. 제목: PromptFlare: Prompt-Generalized Defense via Cross-Attention Decoy in Diffusion-Based Inpainting 저자: 나호현(지능형 소프트웨어 석사재학생), 홍승후(인공지능학과 박사재학생), 우사이먼성일(교신저자) 학회: ACM MM 2025, Regular track, Full paper 본 논문은 텍스트 입력만으로 이미지를 쉽게 조작하는 생성형 AI 기술의 악용을 막기 위해, PromptFlare라는 혁신적인 방어 프레임워크를 제안합니다. 기존 방어 기술들은 특정 공격 조건에서만 유효하거나, 조작자가 텍스트 프롬프트의 영향력을 강화하면 쉽게 무력화되는 한계가 있었습니다. PromptFlare는 이러한 문제를 해결하여 사용자가 자신의 이미지를 악의적인 조작으로부터 안전하게 보호할 수 있도록 돕습니다. PromptFlare의 핵심은 생성 모델이 텍스트를 이해하는 내부 작동 원리인 크로스-어텐션(Cross-Attention) 메커니즘을 직접 반영하는 새로운 접근법입니다. 이 기술은 공격자의 프롬프트 종류와 무관하게 항상 존재하는, 의미 정보가 없는 시작 토큰(BOS)을 미끼로 활용합니다. 이미지에 특수한 노이즈를 주입하여, 생성 모델이 악의적인 프롬프트의 실제 내용 대신 이 미끼 토큰에만 집중하도록 유도함으로써 어떤 프롬프트가 입력되어도 그 영향력을 무력화합니다. 이를 통해 기존 기술의 한계를 극복하고 예측 불가능한 다양한 공격에 효과적으로 대응하는 프롬프트 일반화 방어를 구현했습니다. 실험 결과, 제안된 PromptFlare 프레임워크는 벤치마크 데이터셋에서 기존 최첨단 기술들을 능가하는 성능을 보였으며, 특히 프롬프트의 영향력을 측정하는 핵심 지표에서 새로운 최고 기록을 달성했습니다. 또한, 조작자가 시도할 수 있는 다양한 방어 우회 시도에도 가장 강건함을 실험적으로 입증하였으며, 이미지 보호에 소요되는 연산 시간과 메모리 사용량을 크게 단축시켜 실용성까지 확보했습니다. 논문9. 이 연구는 호주 CSIRO와 호주 퀸스랜드대학과의 공동연구로 진행되었습니다. From Prediction to Explanation: Multimodal, Explainable, and Interactive Deepfake Detection Framework for Non-Expert Users Shahroz Tariq, PRIYANKA SINGH, Simon S. Woo , Irena Irmalasari, Saakshi Gupta and Dev Gupta ACM MM '25: Proceedings of the 33nd ACM International Conference on Multimedia, Dublin, Ireland Abstract: The proliferation of deepfake technologies poses urgent challenges and serious risks to digital integrity, particularly within critical sectors such as forensics, journalism, and the legal system. While existing detection systems have made significant progress in classification accuracy, they typically function as black-box models offering limited transparency and minimal support for human reasoning. This lack of interpretability hinders their usability in real-world decision-making contexts, especially for non-expert users. In this paper, we present DF-P2E (Deepfake: Prediction to Explanation), a novel multimodal framework that integrates visual, semantic, and narrative layers of explanation to make deepfake detection interpretable and accessible. The framework consists of three modular components: (1) a deepfake classifier with Grad-CAM-based saliency visualisation, (2) a visual captioning module that generates natural language summaries of manipulated regions, and (3) a narrative refinement module that uses a fine-tuned Large Language Model (LLM) to produce context-aware, user-sensitive explanations. We instantiate and evaluate the framework on the DF40 benchmark, the most diverse deepfake dataset to date. Experiments demonstrate that our system achieves competitive detection performance while providing high-quality explanations aligned with Grad-CAM activations. Human evaluation with non-expert participants confirms the perceived usefulness, understandability, and trustworthiness of the generated narratives. By unifying prediction and explanation in a coherent, human-aligned pipeline, this work offers a scalable approach to interpretable deepfake detection advancing the broader vision of trustworthy and transparent AI systems in adversarial media environments. 논문10. 이 연구는 성균관대 허재필 교수님과의 공동연구로 진행되었습니다. 논문명: Translation of Text Embedding via Delta Vector to Suppress Strongly Entangled Content in Text-to-Image Diffusion Models 저자명: Jae-Pil Heo, Simon S. Woo(공동 교신저자), Seunghoo Hong, Eunseo Koh, Tae-Young Kim (인공지능학과 공동 제1저자) International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States Text-to-Image (T2I) 확산 모델은 텍스트 프롬프트로부터 고품질 이미지를 생성하지만, 특정 단어와 강하게 얽힌(entangled) 콘텐츠를 억제하는 데 어려움을 겪습니다. 예를 들어, ‘찰리 채플린’ 이미지 생성 시 ‘콧수염 없음’을 명시해도 콧수염이 계속 나타나는 문제가 있습니다. 이 논문은 이러한 문제를 해결하기 위해 텍스트 임베딩 공간을 직접 수정하여 원치 않는 콘텐츠의 영향을 약화시키는 새로운 접근법을 제안합니다. 핵심 아이디어는 ‘델타 벡터(delta vector)’를 도입하여 텍스트 임베딩을 조정하는 것이며, 이 벡터는 별도의 학습 없이(zero-shot) 얻을 수 있습니다. 나아가, 제안하는 Selective Suppression with Delta Vector (SSDV) 기법은 교차 어텐션(cross-attention) 메커니즘에 델타 벡터를 적용하여 원치 않는 콘텐츠가 생성될 특정 영역을 더욱 효과적으로 억제합니다. 실험 결과, 제안된 방법은 기존 방법들을 크게 능가하는 성능을 보였으며, 특히 개인화된 T2I 모델에서도 정밀한 억제가 가능함을 입증했습니다. Text-to-Image (T2I) diffusion models have made significant progress in generating diverse high-quality images from textual prompts. However, these models still face challenges in suppressing content that is strongly entangled with specific words. For example, when generating an image of "Charlie Chaplin", a "mustache" consistently appears even if explicitly instructed not to include it, as the concept of "mustache" is strongly entangled with "Charlie Chaplin". To address this issue, we propose a novel approach to directly suppress such entangled content within the text embedding space of diffusion models. Our method introduces a delta vector that modifies the text embedding to weaken the influence of undesired content in the generated image, and we further demonstrate that this delta vector can be easily obtained through a zero-shot approach. Furthermore, we propose a Selective Suppression with Delta Vector (SSDV) method to adapt the delta vector into the cross-attention mechanism, enabling more effective suppression of unwanted content in regions where it would otherwise be generated. Additionally, we enabled more precise suppression in personalized T2I models by optimizing the delta vector, which previous baselines were unable to achieve. Extensive experimental results demonstrate that our approach significantly outperforms existing methods, both in terms of quantitative and qualitative metrics. 논문11. ※ 논문명: DIA: The Adversarial Exposure of Deterministic Inversion in Diffusion Models ※ 저자명: Simon S. Woo(교신저자), Seunghoo Hong, Geonho Son (인공지능학과 박사과정, 공동 제1저자), Juhun Lee (인공지능학과 박사과정) DDIM의 역변환(inversion) 기능은 실제 이미지를 편집하는 데 유용하게 사용되지만, 악의적인 사용자들이 이를 이용하여 허위 정보나 딥페이크 콘텐츠를 쉽게 만들 수 있는 문제를 낳았습니다. 기존의 방어 기술들은 확산 모델의 반복적인 노이즈 제거 과정과의 목표 불일치로 인해 효과적인 방어 성능을 보여주지 못했습니다. 본 논문에서는 이러한 문제를 해결하기 위해 DDIM의 전체 역변환 경로를 직접 공격하는 새로운 방어 기법인 DDIM Inversion Attack (DIA)를 제안합니다. 실험 결과, DIA는 기존의 방어 방법들보다 다양한 편집 기술에 대해 훨씬 효과적으로 이미지 조작을 방해하는 것을 보여주었으며, 이는 AI 기술의 악용을 막는 실질적인 방어책이 될 수 있음을 시사합니다. Diffusion models have shown to be strong representation learners, showcasing state-of-the-art performance across multiple domains. Aside from accelerated sampling, DDIM also enables the inversion of real images back to their latent codes. A direct inheriting application of this inversion operation is real image editing, where the inversion yields latent trajectories to be utilized during the synthesis of the edited image. Unfortunately, this practical tool has enabled malicious users to freely synthesize misinformative or deepfake contents with greater ease, which promotes the spread of unethical and abusive, as well as privacy-, and copyright-infringing contents. While defensive algorithms such as AdvDM and Photoguard have been shown to disrupt the diffusion process on these images, the misalignment between their objectives and the iterative denoising trajectory at test time results in weak disruptive performance. In this work, we present the DDIM Inversion Attack (DIA) that attacks the integrated DDIM trajectory path. Our results support the effective disruption, surpassing previous defensive methods across various editing methods. We believe that our frameworks and results can provide practical defense methods against the malicious use of AI for both the industry and the research community. 논문12. 이 연구는 Khan교수와의 공동연구로 진행되었습니다. SpecGuard: Spectral Projection-based Advanced InvisibleWatermarking Inzamamul Alam (소프웨어학과 박사과정), Md Tanvir Islam, Khan Muhammad and Simon S. Woo* International Conference on Computer Vision 2025 (ICCV), Honolulu, Hawaii, United States Watermarking embeds imperceptible patterns into images for authenticity verification. However, existing methods often lack robustness against various transformations primar ily including distortions, image regeneration, and adver sarial perturbation, creating real-world challenges. In this work, we introduce SpecGuard, a novel watermarking ap proach for robust and invisible image watermarking. Un like prior approaches, we embed the message inside hid den convolution layers by converting from the spatial do main to the frequency domain using spectral projection of a higher frequency band that is decomposed by wavelet pro jection. Spectral projection employs Fast Fourier Trans form approximation to transform spatial data into the fre quency domain efficiently. In the encoding phase, a strength factor enhances resilience against diverse attacks, includ ing adversarial, geometric, and regeneration-based distor tions, ensuring the preservation of copyrighted information. Meanwhile, the decoder leverages Parseval’s theorem to ef fectively learn and extract the watermark pattern, enabling accurate retrieval under challenging transformations. We evaluate the proposed SpecGuard based on the embedded watermark’s invisibility, capacity, and robustness. Comprehensive experiments demonstrate the proposed SpecGuard outperforms the state-of-the-art models. Workshop 1. The 4th Workshop on the security implications of Deepfakes and Cheapfakes (WDC '25) co-located with ACM ASIACCS 2025 https://sites.google.com/view/wdc-2025/home Workshop 2. The 1st Deepfake, Deception, and Disinformation Security Workshop (3D-Sec) co-located with CCS 2025 Taipei, Taiwan October 2025 https://sites.google.com/view/3d-sec2025/ Tutorial 1. ICIP2025 (Half-Day) Deepfakes From Creation to Detection, and Future Challenges Presenters: Simon S. Woo, Sungkyunkwan University, South Korea https://2025.ieeeicip.org/tutorials/ Congratulations to all authors and students!
-
- 작성일 2025-09-16
- 조회수 1130