대학소식 게시판목록 | 성균관대학교 소프트웨어융합대학

[연구] 우사이먼성일 교수(DASH 연구실), CVPR 2024 논문 1편 게재 승인

우사이먼성일 교수(DASH 연구실), CVPR 2024 논문 1편 게재 승인 DASH 연구실 (지도교수: 우사이먼성일)의 논문 1편이 컴퓨터 비전 분야의 최우수 학술대회인 IEEE / CVF Computer Vision and Pattern Recognition Conference 2024 (CVPR24)에 게재 승인되어 6월에 발표될 예정입니다. 논문 “Gradient Alignment for Cross-Domain Face Anti-Spoofing” 은 LE MINH BINH (석박사통합과정) 연구원이 저자로 참여했습니다. 얼굴 안티 스푸핑(Face Anti Spoofing - FAS)을 위한 도메인 일반화(Domain Generalization - DG)의 최근 발전은 많은 관심을 얻고 있습니다. 본 논문에서는 추가적인 학습 모듈 없이도 모델의 cross 도메인에 대한 강인성을 현저히 향상시킬 수 있는 새로운 방법론을 제안하고 있습니다. 본 연구에서는 GAC-FAS라는 새로운 학습 방법을 도입하여 최적의 플랫 미니멈으로 모델을 제안합니다. 이는 DG를 활용한FAS 분야에서 크게 연구되지 않았지만, 우수한 일반화성능을 달성하기 위해 필수적인 요소입니다. 본 연구 방법은 경험적 위험 최소화 그라디언트와 일치하도록 중요 상승점에서 일반화 그라디언트 업데이트를 자체 조절하는 독특한 전략을 사용하여 이루어집니다. 본연구에서는 까다로운 크로스 도메인 데이터셋을 통해 GAC-FAS의 우월성을 확인하는 광범위한 실험을 수행하였습니다. 이를 통해 우리의 방법이 새로운 최고 기준을 설정함을 입증하였습니다. 본 연구에서 제안하는 방법론은 DG 연구에 새로운 방향을 제시할 뿐만 아니라 실제 FAS 시스템의 뛰어난 성능개선을 보입니다. Abstract: Recent advancements in domain generalization (DG) for face anti-spoofing (FAS) have garnered considerable attention. Traditional methods have focused on designing learning objectives and additional modules to isolate domain-specific features while retaining domain-invariant characteristics in their representations. However, such approaches often lack guarantees of consistent maintenance of domain-invariant features or the complete removal of domain-specific features. Furthermore, most prior works of DG for FAS do not ensure convergence to a local flat minimum, which has been shown to be advantageous for DG. In this paper, we introduce GAC-FAS, a novel learning objective that encourages the model to converge towards an optimal flat minimum without necessitating additional learning modules. Unlike conventional sharpness-aware minimizers, GAC-FAS identifies ascending points for each domain and regulates the generalization gradient updates at these points to align coherently with empirical risk minimization (ERM) gradient updates. This unique approach specifically guides the model to be robust against domain shifts. We demonstrate the efficacy of GAC-FAS through rigorous testing on challenging cross-domain FAS datasets, where it establishes state-of-the-art performance. ※ Paper title : Gradient Alignment for Cross-Domain Face Anti-Spoofing ※ Paper link : http://arxiv.org/abs/2402.18817 ※ Author name : Le Minh Binh (first author) and Simon S. Woo (corresponding author). https://dash-lab.github.io/Publications/
- 작성일 2024-04-05
- 조회수 532
[연구] 우홍욱 교수 연구실 (CSI연구실), CVPR 2024 논문 게재 승인

CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 CVPR 2024 (IEEE / CVF Computer Vision and Pattern Recognition Conference) 에 게재 승인(Accept) 되었습니다. 논문은 24년 6월 미국 시애틀에서 발표될 예정입니다. 논문 “Model Adaptation for Time Constrained Embodied Control” 은 소프트웨어학과 송재현 (석사과정), 유민종 (석박사통합과정) 연구원이 저자로 참여했습니다. 본 연구는 로봇이나 자율주행 차량과 같은 비전 기반 임바디드 (Embodied) 인공지능 에이전트를 위한 추론 지연 시간 제한에 유연한 대응이 가능한 딥러닝 모델 구조인 MoDeC (MoDel Adaptation for constrained embodied Control) 프레임워크를 제안합니다. MoDec을 통해, 학습 시 경험하지 못한 태스크의 즉시성에 따른 추론 지연 시간 제한 (Inference Latency constraint)과 모델이 설치된 제한된 리소스의 다비이스 환경에 맞추어, 임바디드 에이전트는 모델 추론에 관한 Few-Shot 최적 적응이 가능해집니다. 이를 위해, MoDeC은 다중 태스크 모듈 구조와 모듈 구조 상에서 추론 경로를 결정하는 동적 라우팅 네트워크, 그리고 디바이스 환경 최적화를 위한 디바이스 어댑터를 포함합니다 CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 봇, 드론 자율주행 연구 등을 수행하고 있습니다. 이번 CVPR 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업의 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group
- 작성일 2024-03-07
- 조회수 876
[연구] 김형식 교수 연구실 (보안공학연구실, SecLab), The Web Conference (WWW) 2024 논문 게재 승인

김형식 교수 연구실 (보안공학연구실, SecLab), The Web Conference (WWW) 2024 논문 게재 승인 보안공학 연구실 (지도교수: 김형식, https://seclab.skku.edu)의 이기호(석사과정), 임채진(석사과정), 진범진(박사과정), 김태영(박사과정) 학생과 김형식 교수가 진행한 "AdFlush: A Real-World Deployable Machine Learning Solution for Effective Advertisement and Web Tracker Prevention" 논문이 웹/데이터 마이닝 분야 최우수 학회 The Web Conference (WWW) 2024 (https://www2024.thewebconf.org)에 게재 승인되었습니다. 사용자의 웹 프라이버시를 지키기 위해 광고 및 개인정보 추적기를 방지하는데에 기존의 탐지 및 차단 시스템은 실제 세계에서 빈번히 발생하는 변조 공격에 취약한 모습을 보입니다. 이를 효과적으로 방어하고 일반화하기 위해 머신 러닝 기법을 활용하여 탐지 성능을 끌어올리고 있으나, 현실적으로 실시간 탐지에는 아직 한계점이 분명합니다. 본 논문은 이러한 문제점을 제시하고, 실제 웹 브라우저 환경에서 실시간 탐지를 통하여 사용자의 개인정보를 지킬 수 있도록 경량화된 프레임 워크를 제안하였습니다. 이를 위해 사용량이 가장 많은 상위 10,000개의 웹 사이트에서 발생한 830,160개의 웹 요청에서 기존 연구에서 다룬 3,323개의 피쳐를 추출하고, 변조 공격에 대한 강건성을 추가하기 위해 533개의 JavaScript 피쳐를 추가했습니다. 해당 데이터셋에 대하여 면밀한 피쳐 공학을 통해 경량화되면서 성능을 발전시킨 모델을 Chrome 확장 프로그램에 탑재하여 실시간 탐지가 가능한 프레임 워크를 개발하였습니다. 일반적인 탐지 성능과 변조 공격에 대한 강건성 모두 최신 연구 기법 (AdGraph, WebGraph, WTAGraph)을 상회하였으며, 6개월 동안 진행한 longitudinal 성능 분석에서도 F1 score 0.97점 이상을 기록하여 장기간 재학습 없이도 효과적인 탐지 성능을 선보였습니다. Abstract - Conventional ad blocking and tracking prevention tools often fall short in addressing web content manipulation. Machine learning approaches have been proposed to enhance detection accuracy, yet aspects of practical deployment have frequently been overlooked. This paper introduces AdFlush, a novel machine learning model for real-world browsers. To develop AdFlush, we evaluated the effectiveness of 883 features, ultimately selecting 27 key features for optimal performance. We tested AdFlush on a dataset of 10,000 real-world websites, achieving an F1 score of 0.98, thereby outperforming AdGraph (F1 score: 0.93), WebGraph (F1 score: 0.90), and WTAgraph (F1 score: 0.84). Additionally, AdFlush significantly reduces computational overhead, requiring 56% less CPU and 80% less memory than AdGraph. We also assessed AdFlush’s robustness against adversarial manipulations, demonstrating superior resilience with F1 scores ranging from 0.89 to 0.98, surpassing the performance of AdGraph and WebGraph, which recorded F1 scores between 0.81 and 0.87. A six-month longitudinal study confirmed that AdFlush maintains a high F1 score above 0.97 without the need for retraining, underscoring its effectiveness.
- 작성일 2024-03-07
- 조회수 1015
[연구] 우사이먼 교수 연구실, AAAI 2024 논문 2편 게재 승인

DASH 연구실 (지도교수: 우사이먼성일)의 논문 2편이 인공지능 분야의 최우수 학술대회인 AAAI Conference on Artificial Intelligence 2024 (AAAI24)에 게재 승인되어 2월에 발표될 예정입니다. 최선을 다해 우수한 연구를 진행한 참여 연구원 학생분들께 감사드립니다. 논문 #1: Diffusion 모델 제어 관련 연구 (공동 1저자: 인공지능학과 석박통합과정 홍승후, 인공지능학과 석박통합과정 이주헌) 논문 #2: 삭제학습(Machine Unlearning) 관련 연구 (1저자 데이터사이언스학과 석사과정 김현준, 2저자 인공지능학과 석사과정 이상용) [논문 1정보] Seunghoo Hong†, Juhun Lee†, and Simon S. Woo*, “All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models”, Proceedings of the 38th annual AAAI Conference on Artificial Intelligence (AAAI), 2024. “All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models”논문에서는 Stable Diffusion과 같은 text to image모델의 특정 개념을 지우는 새로운 알고리즘을 제안합니다. 널리 사용되는 Stable Diffusion과 같이 대규모 데이터 세트를 사용하여 학습된 생성모델의 경우 학습에 부적절하거나 저작권이 있는 이미지가 포함될 수 있고 이로 인해 생성모델은 부적절한 이미지를 생성할 수 있습니다. 사실상 대규모 모델의 학습은 불가능하기 때문에 이를 해결하기 위한 방법으로 “개념삭제”라는 접근이 제안되었습니다. 하지만 지금까지의 개념삭제 알고리즘은 삭제 대상 뿐만 아니라 전혀 관계가 없는 개념까지 영향을 끼쳐 출력물의 의미와 구조를 모두 망가지게 됩니다. 본 논문에서는 이러한 문제점을 제시하고 이를 해결한 새로운 개념삭제 알고리즘을 제안합니다. 제안하는 알고리즘은 이미지 생성에서 사용되는 classifier guidance term에 주목하여 conditional score를 수정하면서 unconditional score는 보존하도록 합니다. 또한 삭제 대상에 대안 개념을 제시하는 방식을 통해 “Surgical Concept Erasing”을 가능하게 하였습니다. 논문의 실험을 통해 제안하는 알고리즘이 삭제 대상을 제대로 삭제할 뿐만 아니라 출력물의 공간적 특징까지 보존하는 것을 보여줍니다. Abstract: Text-to-Image models such as Stable Diffusion have shown impressive image generation synthesis, thanks to the utilization of large-scale datasets. However, these datasets may contain sexually explicit, copyrighted, or undesirable content, which allows the model to directly generate them. Given that retraining these large models on individual concept deletion requests is infeasible, fine-tuning algorithms have been developed to tackle concept erasing in diffusion models. While these algorithms yield good concept erasure, they all present one of the following issues: 1) the corrupted feature space yields synthesis of disintegrated objects, 2) the initially synthesized content undergoes a divergence in both spatial structure and semantics in the generated images, and 3) sub-optimal training updates heighten the model's susceptibility to utility harm. These issues severely degrade the original utility of generative models. In this work, we present a new approach that solves all of these challenges. We take inspiration from the concept of classifier guidance and propose a surgical update on the classifier guidance term while constraining the drift of the unconditional score term. Furthermore, our algorithm empowers the user to select an alternative to the erasing concept, allowing for more controllability. Our experimental results show that our algorithm not only erases the target concept effectively but also preserves the model’s generation capability. ※ 논문명: All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models ※ 논문링크: https://doi.org/10.48550/arXiv.2312.12807 ※ 저자명: Simon S. Woo(교신저자), Seunghoo Hong, Juhun Lee (공동 제1저자) [논문 2정보] Hyunjune Kim, Sangyong Lee, and Simon S. Woo*, “Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer Level Attack and Knowledge Distillation”, Proceedings of the 38th annual AAAI Conference on Artificial Intelligence (AAAI), 2024. 논문링크: https://arxiv.org/pdf/2312.16823.pdf 이 연구에서는 기존 Machine Unlearning (머신 언러닝) 알고리즘에 비해 상당히 정확하고 빠른 새로운 접근 방법인 'Layer Attack Unlearning'을 제안합니다. 우리의 언러닝 알고리즘은 전체 모델이 아닌 Layer level에서 수행합니다. 그렇게 함으로써 알고리즘의 시간적 성능 향상에 기여하였습니다. 또한 우리의 접근 방식에 도입한 Partial-PGD 알고리즘은 기존 PGD 알고리즘 대비 계산량을 줄여 줍니다. 이 적대적 공격 기법은 언러닝 과정에서 삭제될 데이터가 어디에 할당될지 효율적으로 찾아냅니다. 마지막으로, 우리는 지식 증류를 사용하여 Teacher로부터 결정 경계 정보를 얻어 retain data 정보를 유지하면서 언러닝 작업을 수행하여 정확도 성능을 보존 및 향상시킵니다. 우리는 기존의 SOTA 머신 언러닝 모델과 함께 광범위한 실험을 진행하고, 정확성과 end-to-end 언러닝 성능에 대한 우리의 접근 방식의 효과를 입증하였습니다. Abstract: Recently, serious concerns have been raised about the privacy issues related to training datasets in machine learning algorithms when including personal data. Various regulations in different countries, including the GDPR, grant individuals to have personal data erased, known as ‘the right to be forgotten’ or ‘the right to erasure’. However, there has been less research on effectively and practically deleting the requested personal data from the training set while not jeopardizing the overall machine learning performance. In this work, we propose a fast and novel machine unlearning paradigm at the layer level called layer attack unlearning, which is highly accurate and fast compared to existing machine unlearning algorithms. We introduce the Partial-PGD algorithm to locate the samples to forget efficiently. In addition, we only use the last layer of the model inspired by the Forward-Forward algorithm for unlearning process. Lastly, we use Knowledge Distillation (KD) to reliably learn the decision boundaries from the teacher using soft label information to improve accuracy performance. We conducted extensive experiments with SOTA machine unlearning models and demonstrated the effectiveness of our approach for accuracy and end-to-end unlearning performance. 문의사항이나 질문은 DASH Lab(https://dash.skku.edu)의 우사이먼교수님 (swoo@g.skku.edu)에게 연락부탁드립니다.
- 작성일 2024-01-30
- 조회수 805
[연구] [구형준 교수] SecAI 연구실, ACM Asia Conference on Computer and Communications Security, 2024 (ASIACCS ’24) 논문 게재 승인

SecAI 연구실 (지도교수 구형준, https://secai.skku.edu)의 Nozima (석사과정) 학생의 "BinAdapter: Leveraging Continual Learning for Inferring Function Symbol Names in a Binary" 논문이 보안분야 우수학회인 ACM Asia Conference on Computer and Communications Security 2024 (ASIACCS ’24)에 게재 승인되어 2024년 7월에 발표될 예정입니다. 실행 바이너리 리버싱을 인공지능을 활용해 도와줄 수 있는 여러 방식 중에 프로그래머가 직접 label한 함수명을 바이너리 상의 어셈블리어로부터 학습하고 예측하는 생성형 인공지능 모델 기법이 있습니다. 하지만 바이너리는 컴파일러 도구나 최적화 수준 등 변형 뿐 아니라 다양한 프로그램 문맥을 계속 작성해 만들어 낼 수 있습니다. 기존의 생성형 인공지능 모델은 주어진 데이터셋 (pre-defined dataset)으로 훈련한 정적 모델 (static model)이라 지속적으로 생성되는 데이터셋을 반영하는 데 어려움이 있습니다. 이에 최근 인공지능은 평생학습 (lifelong learning) 또는 계속학습 (continual learning; CL)으로 불리는 기법을 통해 마치 인간이 새로운 지식을 학습할 수 있는 형태로 agent를 강화하려 하는 노력을 하고 있습니다. 본 논문에서는 함수명 예측 인공지능 모델에 계속학습 중 adapter라는 기법을 transformer 기반의 모델에 삽입해 기존에 학습했던 기억을 잊어버리지 않고 (catastrophic forgetting) 신규 데이터셋에서 학습할 수 있는 BinAdapter라는 방식을 제시합니다. 특히 소스(기계 명령어)나 타겟(함수 이름)에서 추가적인 명령어 토큰(instruction token)이 CL을 사용한 모델의 전체 성능에 큰 영향을 미친다는 사실을 실험적으로 확인했습니다. BinAdapter는 내부적으로 다음 세 가지 접근 방식을 채택합니다. 첫째, 소스와 타겟 모두에 추가 토큰이 거의 없는 경우 일반적인 댑터를 삽입합니다. 둘째, 소스에 추가 토큰이 있는 경우 멀티 신경 기계 번역 (M-NMT; Multi-Neural Machine Translation)을 활용하고 소스 임베딩을 미세 조정(fine-tuning)합니다. 셋째, 소스와 타겟 모두 추가 토큰이 있는 경우 소스와 타겟 임베딩 모두 미세 조정 (fine-tuning)합니다. Abstract. Binary reverse engineering is crucial to gain insights into the inner workings of a stripped binary. Yet, it is challenging to read the original semantics from a binary code snippet because of the unavailability of high-level information in the source, such as function names, variable names, and types. Recent advancements in deep learning show the possibility of recovering such vanished information with a well-trained model from a pre-defined dataset. Albeit a static model’s notable performance, it can hardly cope with an ever-increasing data stream (e.g., compiled binaries) by nature. The two viable approaches for ceaseless learning are retraining the whole dataset from scratch and fine-tuning a pre-trained model; however, retraining suffers from large computational overheads and fine-tuning from performance degradation (i.e., catastrophic forgetting). Lately, continual learning (CL) tackles the problem of handling incremental data in security domains (e.g., network intrusion detection, malware detection) using reasonable resources while maintaining performance in practice. In this paper, we focus on how CL assists the improvement of a generative model that predicts a function symbol name from a series of machine instructions. To this end, we introduce BinAdapter, a system that can infer function names from an incremental dataset without performance degradation from an original dataset by leveraging CL techniques. Our major finding shows that incremental tokens in the source (i.e., machine instructions) or the target (i.e., function names) largely affect the overall performance of a CL-enabled model. Accordingly, BinAdapter adopts three built-in approaches: i) inserting adapters in case of no incremental tokens in both the source and target, ii) harnessing multilingual neural machine translation (M-NMT) and fine-tuning the source embeddings with i) in case of incremental tokens in the source, and iii) fine-tuning target embeddings with ii) in case of incremental tokens in both. To demonstrate the effectiveness of BinAdapter, we evaluate the above three scenarios using incremental datasets with or without a set of new tokens (e.g., unseen machine instructions or function names), spanning across different architectures and optimization levels. Our empirical results show that BinAdapter outperforms the state-of-the-art CL techniques for an F1 of up to 24.3% or a Rouge-l of 21.5% in performance.
- 작성일 2024-01-26
- 조회수 697
[연구] [구형준/황성재 교수] SecAI/SoftSec 연구실, ACM International Conference on the Foundations of Software Engineering (FSE 2024) 논문 게재

SecAI 연구실 (지도교수 구형준, https://secai.skku.edu)과 SoftSec 연구실 (지도교수 황성재, https://softsec.skku.edu)의 엄하은 학생 (석사과정), 김도희 학생 (석사과정), 임소리 학생 (학부과정)의 "R2I: A Relative Readability Metric for Decompiled Code" 논문이 소프트웨어 엔지니어링 분야 최우수 학회 (IF=4)인 ACM International Conference on the Foundations of Software Engineering (FSE 2024)에 게재 승인되어 2024년 7월에 발표될 예정입니다. 디컴파일러는 기계어를 사람이 이해하기 쉬운 코드로 변환해 주는 도구로 바이너리 역공학에 핵심적인 역할을 합니다. 디컴파일 코드의 가독성은 바이너리에 대한 이해도를 향상시키고 효율적인 분석을 가능하게 합니다. Hex-rays, Ghidra와 같은 디컴파일러들은 디컴파일된 코드의 가독성 향상을 위해 노력하고 있지만, 디컴파일 코드의 가독성을 측정하는 메트릭은 부족하며, 기존 연구는 대부분 소스 코드의 가독성에 중점을 두고 있습니다. (디컴파일 코드는 주석이나 의미 있는 변수명이 없고, 문법적 오류나 low-level expression 등이 포함되어 있어 소스 코드 메트릭을 적용하는 것은 적절하지 않습니다.) 본 논문에서는 디컴파일 코드의 가독성을 상대적으로 평가할 수 있도록 최초의 디컴파일러 전용 가독성 메트릭인 R2I (Readability Relative Index)을 제안합니다. R2I 메트릭은 디컴파일 코드에서 AST (Abstract Syntax Tree)를 추출한 후 이를 기반으로 사전에 정의한 31개의 특성 (feature)에 가중치 (weight)를 적용해 상대적인 가독성 점수를 계산합니다. 디컴파일 코드 특성은 기존 디컴파일러의 가독성 향상을 위한 방식과 이전 소스 코드 가독성 연구를 참고하여 31가지를 선별했습니다. 또한, 코딩 스타일이나 선호도에 따라 주관적일 수 있는 특성의 경우 설문 조사를 통해 가중치를 조정했습니다. R2I의 효용성과 실용성을 검증하기 위해 여섯 가지 디컴파일러 결과를 대상으로 5,305개의 함수에 R2I 점수를 계산하고, 디컴파일러 사용 경험과 개발 경험이 있는 사람을 모집하여 설문 조사를 진행해 설문 조사의 결과와 R2I의 결과가 일치함을 보였습니다. Abstract. Decompilation is a process of converting a low-level machine code snippet back into a high-level programming language such as C. It serves as a basis to aid reverse engineers in comprehending the contextual semantics of the code. In this respect, commercial decompilers like Hex-Rays have made significant strides in improving the readability of decompiled code over time. While previous work has proposed the metrics for assessing the readability of source code, including identifiers, variable names, function names, and comments, those metrics are unsuitable for measuring the readability of decompiled code primarily due to i) the lack of rich semantic information in the source and ii) the presence of erroneous syntax or inappropriate expressions. In response, to the best of our knowledge, this work first introduces R2I, the Relative Readability Index, a specialized metric tailored to evaluate decompiled code in a relative context quantitatively. In essence, R2I can be computed by i) taking code snippets across different decompilers as input and ii) extracting pre-defined features from an abstract syntax tree. For the robustness of R2I, we thoroughly investigate the enhancement efforts made by existing decompilers and academic research to promote code readability, identifying 31 features to yield a reliable index collectively. Besides, we conducted a user survey to capture subjective factors such as one’s coding styles and preferences. Our empirical experiments demonstrate that R2I is a versatile metric capable of representing the relative quality of decompiled code (e.g., obfuscation, decompiler updates) and being well aligned with human perception in our survey.
- 작성일 2024-01-25
- 조회수 834
[연구] Seclab (김형식 교수 연구실) AAAI 2024 논문 게재 승인

Seclab (지도교수: 김형식)의 논문 1편이 인공지능 분야의 우수 학술대회인 AAAI Conference on Artificial Intelligence 2024 (AAAI-24)에 게재 승인되었습니다. 본 연구에는 Dash Lab(지도교수:우사이먼성일)의 우사이먼성일 교수가 참여 하였습니다. 본 과제는 네이버 클라우드의 지원 하에 진행되었습니다. 논문 #1: Blind-Touch: Homomorphic Encryption-Based Distributed Neural Network Inference for Privacy-Preserving Fingerprint Authentication (전자전기컴퓨터공학과 박사과정 최현민, 데이터사이언스융합학과 부교수 우사이먼성일) “Blind-Touch: Homomorphic Encryption-Based Distributed Neural Network Inference for Privacy-Preserving Fingerprint Authentication” 논문은 동형암호를 활용해 지문인증시 프라이버시를 보호할 수 있습니다. 동형암호는 암호화된 상태에서 연산이 가능한 암호화 기술로, 동형암호를 사용하면 복호화 과정 없이 수학적 연산이 가능하여 각종 통계연산이나 머신러닝 연산들을 프라이버시 유출 없이 제공할 수 있습니다. 하지만, 동형암호의 연산 속도는 평문 연산에 비해 매우 느리며 (약 수백~수천 배 이상), 암호문의 사이즈가 같은 보안강도의 공개키 암호인 RSA 등과 비교해서 수백배 이상 크기 때문에 동형암호를 효율적으로 사용하기 위해서는 성능 면에서 최적화가 가능한 알고리즘들을 고안해야 합니다. 이 논문에서는 지문인증에 필요한 유사도 매칭 알고리즘을 동형암호로 구현하며, 다음과 같은 기여도를 가집니다. 첫 번째로, FC-Layer의 선형성을 활용한 연산의 최적화를 통해 유사도 연산 시간을 획기적으로 줄였으며, 둘째로 Compression method라는 기술을 통해 여러 개의 Output ciphertext를 하나의 Ciphertext로 압축하여 통신 비용을 줄였습니다. 세번째로 서버 클러스터 구성을 적용하여 등록된 지문의 갯수가 증가해도 전체 연산 속도는 일정하게 유지할 수 있도록 서버의 양적 확장을 제공합니다. 제안된 연구는 최신 결과에 준하는 인증 성능 (PolyU Fingerprint Dataset 기준, AUC:97.5%, EER: 2.5%)을 확보하였으며, 5,000건의 지문 데이터를 0.65초 이내로 인증이 가능하며 동형암호 기반 지문인식의 기존 연구들과 비교하여 인증 속도 면에서 우수한 성능을 보여줍니다. 예로, 최신 동형암호가 적용된 지문인증 알고리즘인 DeepPrint 보다 6.786배 낮은 인증 시간을 소요합니다. [논문 #1 정보] Blind-Touch: Homomorphic Encryption-Based Distributed Neural Network Inference for Privacy-Preserving Fingerprint Authentication Fingerprint authentication is a popular security mechanism for smartphones and laptops. However, its adoption in web and cloud environments has been limited due to privacy concerns over storing and processing biometric data on servers. This paper introduces Blind-Touch, a novel machine learning-based fingerprint authentication system leveraging homomorphic encryption to address these privacy concerns. Homomorphic encryption allows computations on encrypted data without decrypting. Thus, Blind-Touch can keep fingerprint data encrypted on the server while performing machine learning operations. Blind-Touch combines three strategies to efficiently utilize homomorphic encryption in machine learning: (1) It optimizes the feature vector for a distributed architecture, processing the first fully connected layer (FC-16) in plaintext on the client side and the subsequent layer (FC-1) post-encryption on the server, thereby minimizing encrypted computations; (2) It employs a homomorphic encryption-compatible data compression technique capable of handling 8,192 authentication results concurrently; and (3) It utilizes a clustered server architecture to simultaneously process authentication results, thereby enhancing scalability with increasing user numbers. Blind-Touch achieves high accuracy on two benchmark fingerprint datasets, with a 93.6% F1-score for the PolyU dataset and a 98.2% F1-score for the SOKOTO dataset. Moreover, Blind-Touch can match a fingerprint among 5,000 in about 0.65 seconds. With its privacy-focused design, high accuracy, and efficiency, Blind-Touch is a promising alternative to conventional fingerprint authentication for web and cloud applications.
- 작성일 2024-01-25
- 조회수 732
[연구] 신동군 교수 연구실, AAAI Conference on Artificial Intelligence 2024 (AAAI-24)에 논문 1편 게재 승인

Intelligent Embedded Systems Laboratory (지도교수: 신동군)의 논문 1편이 인공지능 분야의 우수 학술대회인 AAAI Conference on Artificial Intelligence 2024 (AAAI-24)에 게재 승인되었습니다 논문 #1: Proxyformer: Nystrom-Based Linear Transformer with Trainable Proxy Tokens (인공지능학과 석사과정 이상호, 전기전자컴퓨터공학과 박사과정 이하윤) "Proxyformer: Nystrom-Based Linear Transformer with Trainable Proxy Tokens" 논문은 selfattention 연산의 복잡도 문제에 초점을 맞추고 있습니다.. 이 논문에서는 기존 self-attention 연산 의 입력 시퀀스 길이 n에 대한 2차 복잡도를 해결하기 위해, Nystrom 방법과 신경 메모리(neural memory)를 통합하여 확장된 Nystrom attention 방식을 제안합니다. 첫째로 Nystrom 방법의 랜드 마크로 활용되는 학습 가능한 proxy token을 도입함으로써, attention 연산의 복잡도를 제곱에서 선형으로 줄이며, 입력 시퀀스를 고려한 랜드마크를 효과적으로 생성할 수 있도록 하였습니다. 둘 째로, 랜드마크 간 대조 학습(Contrastive Learning) 적용함으로써 최소한의 랜드마크를 사용하여 attention 맵을 효과적으로 복원할 수 있도록 학습하였습니다. 셋째로, 분해된 attention 행렬에 적 합한 dropout 방법을 개발하여, proxy token들이 효과적으로 학습되는 정규화를 가능하게 하였습 니다. 제안된 Proxyformer는 최소한의 proxy token으로 attention 맵을 효과적으로 근사할 수 있 게 되었으며, 이는 LRA 벤치마크에서 기존 기법들에 비해 우수한 성능을 보여주며 기존 selfattention 방식에 비해 4096 길이의 입력 시퀀스에서 3.8배 높은 처리량과 0.08배 낮은 메모리 사 용량을 달성하는 결과를 보여주었습니다. [논문 #1 정보] Proxyformer: Nystrom-Based Linear Transformer with Trainable Proxy Tokens Sangho Lee, Hayun Lee, Dongkun Shin Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI), 2024 Transformer-based models have demonstrated remarkable performance in various domains, including natural language processing, image processing and generative modeling. The most significant contributor to the successful performance of Transformer models is the self-attention mechanism, which allows for a comprehensive understanding of the interactions between tokens in the input sequence. However, there is a well-known scalability issue, the quadratic dependency of self-attention operations on the input sequence length n, making the handling of lengthy sequences challenging. To address this limitation, there has been a surge of research on efficient transformers, aiming to alleviate the quadratic dependency on the input sequence length. Among these, the Nyströmformer, which utilizes the Nyström method to decompose the attention matrix, achieves superior performance in both accuracy and throughput. However, its landmark selection exhibits redundancy, and the model incurs computational overhead when calculating the pseudo-inverse matrix. We propose a novel Nyström method-based transformer, called Proxyformer. Unlike the traditional approach of selecting landmarks from input tokens, the Proxyformer utilizes trainable neural memory, called proxy tokens, for landmarks. By integrating contrastive learning, input injection, and a specialized dropout for the decomposed matrix, Proxyformer achieves top-tier performance for long sequence tasks in the Long Range Arena benchmark.
- 작성일 2023-12-22
- 조회수 1120
[연구] 허재필 교수 연구실, AAAI 2024 논문 4편 게재 승인

허재필 교수 연구실, AAAI 2024 논문 4편 게재 승인 비주얼컴퓨팅연구실 (지도교수: 허재필)의 논문 4편이 인공지능 분야의 우수 학술대회인 AAAI Conference on Artificial Intelligence 2024 (AAAI-24)에 게재 승인되었습니다. 논문 #1: “Towards Squeezing-Averse Virtual Try-On via Sequential Deformation” (인공지능학과 박사과정 심상헌, 인공지능학과 석사과정 정지우) 논문 #2: "Noise-free Optimization in Early Training Steps for Image Super-Resolution" (인공지능학과 박사과정 이민규) 논문 #3: “VLCounter: Text-aware Visual Representation for Zero-Shot Object Counting” (인공지능학과 석사과정 강승구, 인공지능학과 박사과정 문원준, 인공지능학과 석사졸업 김의연) 논문 #4: “Task-disruptive Background Suppression for Few-Shot Segmentation” (소프트웨어학과/기계공학부 학사과정 박수호, 인공지능학과 박사과정 이수빈, 인공지능학과 박사과정 현상익, 인공지능학과 박사과정 성현석) "Towards Squeezing-Averse Virtual Try-On via Sequential Deformation" 논문에서는 고해상도 가상시착 영상생성 분야에서의 시각적 품질 저하 문제를 다루고 있습니다. 구체적으로, 그림 1(a)의 위쪽 행에서 볼 수 있듯이, 소매 부분에서 옷의 텍스쳐가 압착되는 문제가 있었습니다. 이 문제의 주요 원인은 해당 분야에서 필수적으로 사용되는 두 가지 손실 함수인 TV (Total Variation loss) 손실과 적대적 손실 (adversarial loss) 사이의 기울기 충돌 때문입니다. TV 손실은 와핑된 옷 마스크에서 소매와 몸통 사이의 경계를 분리하는 것을 목표로 하는 반면, 적대적 손실은 둘 사이의 결합을 목표로 합니다. 이러한 반대되는 목표는 잘못된 기울기를 계단식 외관 흐름 추정(Cascaded appearance flow estimation)으로 피드백하여 소매 압착 아티팩트를 발생시킵니다. 이를 해결하기 위해, 해당 논문에서는 네트워크의 레이어 간 연결의 관점으로 접근하였습니다. 구체적으로, 기존 계단식 외관 흐름 추정이 잔류 연결 (residual connection) 구조로 연결되어 적대적 손실 함수의 영향을 많이 받기 때문에 소매 압착이 발생한다고 진단하였고, 이를 줄이기 위해 계단식 외관 흐름 간의 순차적 연결 (sequential connection) 구조를 네트워크의 마지막 레이어에 도입하였습니다. 한편, 그림 1(a)의 아래쪽 행은 허리 주변의 다른 유형의 압착 아티팩트를 보여줍니다. 이를 해결하기 위해, 본 연구에서는 옷을 와핑할 때, 우선 내어 입는 스타일 (tucked-out shirts style)로 와핑한 후, 초기 와핑 결과에서 텍스쳐를 부분적으로 삭제할 것을 제안하고 이를 위한 연산을 구현하였습니다. 제안된 기술은 두 유형의 아티팩트를 성공적으로 해결하는 것을 확인하였습니다. “Noise-free Optimization in Early Training Steps for Image Super-Resolution” 논문에서는 이미지 초해상화 문제에서의 기존 학습 방법론과 지식 전이(Knowledge Distillation)의 한계점을 다루고 있습니다. 구체적으로, 하나의 고해상도 이미지를 두 개의 핵심 요소인 최적 평균(optimal centroid)과 잠재 노이즈(inherent noise)로 분리 및 분석했습니다. 이를 통해, 학습 데이터의 잠재 노이즈가 초반 학습의 불안정성을 유도하는 것을 확인했습니다. 해당 문제를 해결하기 위해, Mixup 기술과 기학습된 네트워크를 활용하여 학습 과정에서 잠재 노이즈를 제거하여 보다 안정적인 학습 기술을 제안했습니다. 제안된 기술은 Fidelity-oriented single image super-resolution 분야에서 여러 모델에 걸쳐 일관된 성능 향상을 가져오는것을 확인했습니다. "VLCounter: Text-aware Visual Representation for Zero-Shot Object Counting" 논문에서는 이미지에서 텍스트로 지정된 객체의 개수를 세는 문제를 다루고 있습니다. 해당 논문은 선행 연구의 two-stage 방법은 방대한 연산량과 에러 전파의 가능성이라는 문제를 제기하였습니다. 앞선 문제의 해결을 위해 one-stage baseline인 VLBase와 세 주요 기술로 확장된 VLCounter를 제안합니다. 첫째로, 기학습된 거대 모델인 CLIP을 재학습하는 대신 Visual Prompt Tuning(VPT)을 도입하였습니다. 추가로, VPT의 학습 가능한 토큰에 텍스트 정보를 추가하여 해당하는 개체가 강조된 이미지 피쳐를 얻게 합니다. 둘째로, 객체 영역의 전체가 아닌 중요한 부분만을 강조하는 유사도 맵을 얻기 위해 미세 조정이 이루어졌습니다. 이로써 모델은 객체 중심의 활성화를 높일 수 있습니다. 셋째로, 모델의 일반화 능력 향상과 정확한 객체 위치 파악을 위해 이미지 인코더 피쳐를 디코딩에 통합하고 앞선 유사도 맵을 피쳐에 곱하여 객체 영역에 집중합니다. 제안된 기술은 기존 방법의 성능을 크게 상회할 뿐만 아니라, 가벼운 모델로 학습 및 추론 속도를 2배 향상시켰습니다. “Task-disruptive Background Suppression for Few-shot Segmentation” 논문에서는 적은 수의 이미지(Support)와 마스크를 참고하여 새로운 이미지(Query)안의 물체를 찾아내는 few-shot segmentation문제에서 Support의 배경을 효율적으로 다루기 위한 방법을 다루고 있습니다. 기존 모델에서는 segmentation을 하기 위해서 Support와 Query를 비교하는데, 각각의 배경을 비교할 경우 다음과 같은 문제점이 있습니다. 첫번째로, Support와 Query의 배경이 많이 다를 경우 이는 모델이 segmentation을 하는데 방해가 될 수 있습니다. 두번째로, Support의 배경에 segmentation하고자 하는 물체와 비슷한 물체가 있는 경우도 방해가 될 수 있습니다. 따라서 본 논문은 방해가 될 수 있는 이 두 가지 배경의 요소를 Query-relevant score와 Target-relevant score를 통해 제거하였습니다. 따라서 결과적으로 Query의 배경과 관련된 Support의 배경만 남도록 하여 Support의 배경을 더욱 효율적으로 참고하도록 하였습니다. 제안된 방법은 여러 Few-shot Segmentation 모델에서 성능 향상이 있는 것을 확인했습니다. [논문 #1 정보] Towards Squeezing-Averse Virtual Try-On via Sequential Deformation Sang-Heon Shim, Jiwoo Chung, and Jae-Pil Heo Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI), 2024 Abstract: In this paper, we first investigate a visual quality degradation problem observed in recent high-resolution virtual try-on approach. The tendency is empirically found that the textures of clothes are squeezed at the sleeve, as visualized in the upper row of Fig.1(a). A main reason for the issue arises from a gradient conflict between two popular losses, the Total Variation (TV) and adversarial losses. Specifically, the TV loss aims to disconnect boundaries between the sleeve and torso in a warped clothing mask, whereas the adversarial loss aims to combine between them. Such contrary objectives feedback the misaligned gradients to a cascaded appearance flow estimation, resulting in undesirable squeezing artifacts. To reduce this, we propose a Sequential Deformation (SD-VITON) that disentangles the appearance flow prediction layers into TV objective-dominant (TVOB) layers and a task-coexistence (TACO) layer. Specifically, we coarsely fit the clothes onto a human body via the TVOB layers, and then keep on refining via the TACO layer. In addition, the bottom row of Fig.1(a) shows a different type of squeezing artifacts around the waist. To address it, we further propose that we first warp the clothes into a tucked-out shirts style, and then partially erase the texture from the warped clothes without hurting the smoothness of the appearance flows. Experimental results show that our SD-VITON successfully resolves both types of artifacts and outperforms the baseline methods. [논문 #2 정보] Noise-free Optimization in Early Training Steps for Image Super-Resolution MinKyu Lee and Jae-Pil Heo Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI), 2024 Abstract: Recent deep-learning-based single image super-resolution (SISR) methods have shown impressive performance whereas typical methods train their networks by minimizing the pixel-wise distance with respect to a given high-resolution (HR) image. However, despite the basic training scheme being the predominant choice, its use in the context of ill-posed inverse problems has not been thoroughly investigated. In this work, we aim to provide a better comprehension of the underlying constituent by decomposing target HR images into two subcomponents: (1) the optimal centroid which is the expectation over multiple potential HR images, and (2) the inherent noise defined as the residual between the HR image and the centroid. Our findings show that the current training scheme cannot capture the ill-posed nature of SISR and becomes vulnerable to the inherent noise term, especially during early training steps. To tackle this issue, we propose a novel optimization method that can effectively remove the inherent noise term in the early steps of vanilla training by estimating the optimal centroid and directly optimizing toward the estimation. Experimental results show that the proposed method can effectively enhance the stability of vanilla training, leading to overall performance gain. [논문 #3 정보] VLCounter: Text-aware Visual Representation for Zero-Shot Object Counting Seunggu Kang, WonJun Moon, Euiyeon Kim, and Jae-Pil Heo Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI), 2024 Abstract Zero-Shot Object Counting (ZSOC) aims to count referred instances of arbitrary classes in a query image without human-annotated exemplars. To deal with ZSOC, preceding studies proposed a two-stage pipeline: discovering exemplars and counting. However, there remains a challenge of vulnerability to error propagation of the sequentially designed two-stage process. In this work, we propose an one-stage baseline, Visual-Language Baseline (VLBase), exploring the implicit association of the semantic-patch embeddings of CLIP. Subsequently, we extend the VLBase to Visual-language Counter (VLCounter) by incorporating three modules devised to tailor VLBase for object counting. First, we introduce Semantic-conditioned Prompt Tuning (SPT) within the image encoder to acquire target-highlighted representations. Second, Learnable Affine Transformation (LAT) is employed to translate the semantic-patch similarity map to be appropriate for the counting task. Lastly, we transfer the layer-wisely encoded features to the decoder through Segment-aware Skip Connection (SaSC) to keep the generalization capability for unseen classes. Through extensive experiments on FSC147, CARPK, and PUCPR+, we demonstrate the benefits of our end-to-end framework, VLCounter. [논문 #4 정보] Task-disruptive Background Suppression for Few-Shot Segmentation Suho Park, SuBeen Lee, Sangeek Hyun, Hyun Seok Seong, and Jae-Pil Heo Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI), 2024 Abstract Few-shot segmentation aims to accurately segment novel target objects within query images using only a limited number of annotated support images. The recent works exploit support background as well as its foreground to precisely compute the dense correlations between query and support. However, they overlook the characteristics of the background that generally contains various types of objects. In this paper, we highlight this characteristic of background which can bring problematic cases as follows: (1) when the query and support backgrounds are dissimilar and (2) when objects in the support background are similar to the target object in the query. Without any consideration of the above cases, adopting the entire support background leads to a misprediction of the query foreground as background. To address this issue, we propose Task-disruptive Background Suppression (TBS), a module to suppress those disruptive support background features based on two spatial-wise scores: query-relevant and target-relevant scores. The former aims to mitigate the impact of unshared features solely existing in the support background, while the latter is to reduce the influence of target-similar support background features. Based on these two scores, we define a query background relevant score which captures the similarity between the backgrounds of the query and the support, and utilize it to scale support background features to adaptively restrict the impact of disruptive support backgrounds. Our proposed method achieves state-of-the-art performance on PASCAL and COCO datasets on 1-shot segmentation.
- 작성일 2023-12-15
- 조회수 1041
[연구] 우홍욱 교수 연구실(CSI연구실), AAAI 2024 논문 게재 승인 (3편)

CSI연구실 (지도교수: 우홍욱)의 논문 3편이 인공지능 분야 우수학회인 AAAI 2024 (The 38th Annual AAAI Conference on Artificial Intelligence) 에 게재 승인(Accept) 되었습니다. 이번 논문은 24년 2월 캐나다 밴쿠버에서 발표될 예정입니다. 1. 논문 “SemTra: A Semantic Skill Translator for Cross-domain Zero-shot Policy Adaptation” 은 소프트웨어학과 신상우 (석사과정), 유민종 (박사과정), 이정우 (학부과정) 연구원이 저자로 참여했습니다. 본 연구는 로봇과 같은 체화형 에이전트 (Embodied Agent)가 주위 환경 변화에 추가 학습 없이 빠르게 대응할 수 있는 Zero-Shot 적응 기술에 관한 것으로, 비전, 센서, 사용자 명령어 등 멀티모달 데이터를 의미론적으로 해석 가능한 스킬 (Sematic Skill)로 변환하고, 이러한 스킬을 환경에 최적화하여 연속된 액션으로 실행하는 SemTra (Semantic Skill Translator) 프레임워크를 제시합니다. SemTra는 암묵적 행동 패턴을 사전 훈련된 언어모델을 통해 실행가능한 스킬(Skill, 연속된 행동 패턴)로 변환하는 연구 결과로, Meta-World, Franka Kitchen, RLBench, CARLA와 같은 로봇과 자율주행 환경에서 테스트되어 높은 성능을 보였습니다. 2. 논문 “Risk-Conditioned Reinforcement Learning: A Generalized Approach for Adapting to Varying Risk Measures” 은 소프트웨어학과 유광표 (박사과정)와 인공지능학과 박진우 (석사과정) 연구원이 저자로 참여했습니다. 본 연구는 금융, 로봇, 자율주행 등 위험이 내포된 중요한 의사결정이 요구되는 응용 분야에서 사용될 수 있는 위험 조건형 강화학습 모델 (Risk Conditioned Reinforcement Learning)을 제안합니다. 특히, 하나의 학습된 강화학습 모델을 통해 동적으로 변경되는 다양한 선호 리스크 수준에 대응할 수 있도록, 최초로 이종 리스크 측정 지표에 대한 단일한 표현이 가능한 Weighted Value-at-Risk (WV@R) 기반의 강화학습 모델 구조를 구현하며, 이를 통해 리스크 관리에 중점을 두는 여러 응용 분야에서 강화학습 기반의 의사 결정을 유연하게 처리합니다. 3. 논문 “Robust Policy Learning via Offline Skill Diffusion” 은 소프트웨어학과 김우경 (박사과정), 유민종 (박사과정) 연구원이 저자로 참여했습니다. 본 연구에서는 Diffusion 모델을 사용하여 데이터셋의 한정된 스킬에서 확장된 다양한 체화형 에이전트 스킬 (Embodied Agent Skill)을 생성하는 새로운 오프라인 학습 프레임워크인 DuSkill (Offline Skill Diffusion Model)을 제시합니다. DuSkill 프레임워크는 오프라인에서 학습된 스킬의 다양성을 증진시켜, 다중 태스크와 이종 환경 도메인에 대한 정책 학습 (RL Policy Learning) 절차를 가속화하고, 학습된 정책의 강건성을 향상합니다. CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 등 Embodied Agent 분야 연구를 수행하고 있습니다. 이번 AAAI 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원의 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group
- 작성일 2023-12-12
- 조회수 1059

연구

연구소식