-
- [연구] 우사이먼성일 교수(DASH 연구실), CVPR 2024 논문 1편 게재 승인
- 우사이먼성일 교수(DASH 연구실), CVPR 2024 논문 1편 게재 승인 DASH 연구실 (지도교수: 우사이먼성일)의 논문 1편이 컴퓨터 비전 분야의 최우수 학술대회인 IEEE / CVF Computer Vision and Pattern Recognition Conference 2024 (CVPR24)에 게재 승인되어 6월에 발표될 예정입니다. 논문 “Gradient Alignment for Cross-Domain Face Anti-Spoofing” 은 LE MINH BINH (석박사통합과정) 연구원이 저자로 참여했습니다. 얼굴 안티 스푸핑(Face Anti Spoofing - FAS)을 위한 도메인 일반화(Domain Generalization - DG)의 최근 발전은 많은 관심을 얻고 있습니다. 본 논문에서는 추가적인 학습 모듈 없이도 모델의 cross 도메인에 대한 강인성을 현저히 향상시킬 수 있는 새로운 방법론을 제안하고 있습니다. 본 연구에서는 GAC-FAS라는 새로운 학습 방법을 도입하여 최적의 플랫 미니멈으로 모델을 제안합니다. 이는 DG를 활용한FAS 분야에서 크게 연구되지 않았지만, 우수한 일반화성능을 달성하기 위해 필수적인 요소입니다. 본 연구 방법은 경험적 위험 최소화 그라디언트와 일치하도록 중요 상승점에서 일반화 그라디언트 업데이트를 자체 조절하는 독특한 전략을 사용하여 이루어집니다. 본연구에서는 까다로운 크로스 도메인 데이터셋을 통해 GAC-FAS의 우월성을 확인하는 광범위한 실험을 수행하였습니다. 이를 통해 우리의 방법이 새로운 최고 기준을 설정함을 입증하였습니다. 본 연구에서 제안하는 방법론은 DG 연구에 새로운 방향을 제시할 뿐만 아니라 실제 FAS 시스템의 뛰어난 성능개선을 보입니다. Abstract: Recent advancements in domain generalization (DG) for face anti-spoofing (FAS) have garnered considerable attention. Traditional methods have focused on designing learning objectives and additional modules to isolate domain-specific features while retaining domain-invariant characteristics in their representations. However, such approaches often lack guarantees of consistent maintenance of domain-invariant features or the complete removal of domain-specific features. Furthermore, most prior works of DG for FAS do not ensure convergence to a local flat minimum, which has been shown to be advantageous for DG. In this paper, we introduce GAC-FAS, a novel learning objective that encourages the model to converge towards an optimal flat minimum without necessitating additional learning modules. Unlike conventional sharpness-aware minimizers, GAC-FAS identifies ascending points for each domain and regulates the generalization gradient updates at these points to align coherently with empirical risk minimization (ERM) gradient updates. This unique approach specifically guides the model to be robust against domain shifts. We demonstrate the efficacy of GAC-FAS through rigorous testing on challenging cross-domain FAS datasets, where it establishes state-of-the-art performance. ※ Paper title : Gradient Alignment for Cross-Domain Face Anti-Spoofing ※ Paper link : http://arxiv.org/abs/2402.18817 ※ Author name : Le Minh Binh (first author) and Simon S. Woo (corresponding author). https://dash-lab.github.io/Publications/
-
- 작성일 2024-04-05
- 조회수 349
-
- [동문] 최윤석 박사(지도교수 이지형), 한국외국어대학교 Language & AI융합학부 조교수 임용
- [동문] 최윤석 박사(지도교수 이지형), 한국외국어대학교 Language & AI융합학부 조교수 임용 소프트웨어학과 졸업생(2기) 최윤석 박사가 한국외국어대학교 AI융합대학 Language & AI융합학부 조교수로 2024년 3월부로 임용되었다. 최윤석 박사는 정보 및 지능 시스템 연구실(지도교수 이지형)에서 연구를 진행하며, 소프트웨어학과를 졸업하고, 대학원 소프트웨어플랫폼학과에 석박사통합과정으로 입학하여 2024년 2월 『Learning to Understand Code and Generate Text in Pre-trained Language Models』(지도교수 이지형)로 박사학위를 받았다. 최윤석 박사는 총 14개의 우수 국제 학회 발표 실적(BK/정보과학회 우수학회 12건)과 총 3편의 SCI(E) 논문을 게재하는 등 우수한 성과를 보였다. 최윤석 박사는 자동 코드 생성, 자동 코드 요약, 코드 질문 응답을 위해 대규모 언어 모델을 활용하는 연구에 관심을 가지며, 앞으로도 프로그래밍 교육을 위한 대규모 언어 모델에 대한 연구를 진행할 예정이다.
-
- 작성일 2024-03-19
- 조회수 651
-
- [연구] 우홍욱 교수 연구실 (CSI연구실), CVPR 2024 논문 게재 승인
- CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 CVPR 2024 (IEEE / CVF Computer Vision and Pattern Recognition Conference) 에 게재 승인(Accept) 되었습니다. 논문은 24년 6월 미국 시애틀에서 발표될 예정입니다. 논문 “Model Adaptation for Time Constrained Embodied Control” 은 소프트웨어학과 송재현 (석사과정), 유민종 (석박사통합과정) 연구원이 저자로 참여했습니다. 본 연구는 로봇이나 자율주행 차량과 같은 비전 기반 임바디드 (Embodied) 인공지능 에이전트를 위한 추론 지연 시간 제한에 유연한 대응이 가능한 딥러닝 모델 구조인 MoDeC (MoDel Adaptation for constrained embodied Control) 프레임워크를 제안합니다. MoDec을 통해, 학습 시 경험하지 못한 태스크의 즉시성에 따른 추론 지연 시간 제한 (Inference Latency constraint)과 모델이 설치된 제한된 리소스의 다비이스 환경에 맞추어, 임바디드 에이전트는 모델 추론에 관한 Few-Shot 최적 적응이 가능해집니다. 이를 위해, MoDeC은 다중 태스크 모듈 구조와 모듈 구조 상에서 추론 경로를 결정하는 동적 라우팅 네트워크, 그리고 디바이스 환경 최적화를 위한 디바이스 어댑터를 포함합니다 CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 봇, 드론 자율주행 연구 등을 수행하고 있습니다. 이번 CVPR 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업의 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group
-
- 작성일 2024-03-07
- 조회수 706
-
- [연구] 김형식 교수 연구실 (보안공학연구실, SecLab), The Web Conference (WWW) 2024 논문 게재 승인
- 김형식 교수 연구실 (보안공학연구실, SecLab), The Web Conference (WWW) 2024 논문 게재 승인 보안공학 연구실 (지도교수: 김형식, https://seclab.skku.edu)의 이기호(석사과정), 임채진(석사과정), 진범진(박사과정), 김태영(박사과정) 학생과 김형식 교수가 진행한 "AdFlush: A Real-World Deployable Machine Learning Solution for Effective Advertisement and Web Tracker Prevention" 논문이 웹/데이터 마이닝 분야 최우수 학회 The Web Conference (WWW) 2024 (https://www2024.thewebconf.org)에 게재 승인되었습니다. 사용자의 웹 프라이버시를 지키기 위해 광고 및 개인정보 추적기를 방지하는데에 기존의 탐지 및 차단 시스템은 실제 세계에서 빈번히 발생하는 변조 공격에 취약한 모습을 보입니다. 이를 효과적으로 방어하고 일반화하기 위해 머신 러닝 기법을 활용하여 탐지 성능을 끌어올리고 있으나, 현실적으로 실시간 탐지에는 아직 한계점이 분명합니다. 본 논문은 이러한 문제점을 제시하고, 실제 웹 브라우저 환경에서 실시간 탐지를 통하여 사용자의 개인정보를 지킬 수 있도록 경량화된 프레임 워크를 제안하였습니다. 이를 위해 사용량이 가장 많은 상위 10,000개의 웹 사이트에서 발생한 830,160개의 웹 요청에서 기존 연구에서 다룬 3,323개의 피쳐를 추출하고, 변조 공격에 대한 강건성을 추가하기 위해 533개의 JavaScript 피쳐를 추가했습니다. 해당 데이터셋에 대하여 면밀한 피쳐 공학을 통해 경량화되면서 성능을 발전시킨 모델을 Chrome 확장 프로그램에 탑재하여 실시간 탐지가 가능한 프레임 워크를 개발하였습니다. 일반적인 탐지 성능과 변조 공격에 대한 강건성 모두 최신 연구 기법 (AdGraph, WebGraph, WTAGraph)을 상회하였으며, 6개월 동안 진행한 longitudinal 성능 분석에서도 F1 score 0.97점 이상을 기록하여 장기간 재학습 없이도 효과적인 탐지 성능을 선보였습니다. Abstract - Conventional ad blocking and tracking prevention tools often fall short in addressing web content manipulation. Machine learning approaches have been proposed to enhance detection accuracy, yet aspects of practical deployment have frequently been overlooked. This paper introduces AdFlush, a novel machine learning model for real-world browsers. To develop AdFlush, we evaluated the effectiveness of 883 features, ultimately selecting 27 key features for optimal performance. We tested AdFlush on a dataset of 10,000 real-world websites, achieving an F1 score of 0.98, thereby outperforming AdGraph (F1 score: 0.93), WebGraph (F1 score: 0.90), and WTAgraph (F1 score: 0.84). Additionally, AdFlush significantly reduces computational overhead, requiring 56% less CPU and 80% less memory than AdGraph. We also assessed AdFlush’s robustness against adversarial manipulations, demonstrating superior resilience with F1 scores ranging from 0.89 to 0.98, surpassing the performance of AdGraph and WebGraph, which recorded F1 scores between 0.81 and 0.87. A six-month longitudinal study confirmed that AdFlush maintains a high F1 score above 0.97 without the need for retraining, underscoring its effectiveness.
-
- 작성일 2024-03-07
- 조회수 825
-
- [일반] 좋아하는 일을 직업으로 삼다! ‘덕업일치’ 류은석 교수
-
| 소프트웨어융합대학 실감미디어공학과 류은석 교수 우리 학교 대학원 실감미디어공학과는 실감형 메타버스 ICT 기술과 문화 영상 콘텐츠 양자를 선도하는 실감미디어 전문가를 양성하기 위해 2023년 설립한 첨단분야 신설 학과다. 5대 기반 기술인 영상처리, 그래픽스, 인공지능, 플랫폼, 인터랙션 기술과 5대 응용기술인 문화콘텐츠, 트랜스미디어, 디지털 휴먼 및 치료제, NFT, XR 스튜디오 기술에 특화된 커리큘럼을 운영하고 있다. 해외 대학, 연구소, 전문 기업과의 국제 교류 및 산학 협력 네트워크 구축을 통해 글로벌 전문가 양성에도 힘쓰고 있다. 류은석 교수는 컴퓨터교육과 교수이면서 대학원 실감미디어공학과의 학과장 및 과학기술정보통신부의 메타버스 융합대학원 국책과제 사업단장이다. 선도적인 연구와 전문적인 글로벌 인재 양성에 매진하고 있는 류은석 교수의 이야기를 들어보자. - 최근 진행한 연구와 그 성과는. 제가 이끄는 멀티미디어 컴퓨팅 시스템 연구실은 차세대 가상현실 비디오 압축 국제 표준 기술(MIV)을 연구하고 국제 표준화를 시도합니다. 최근에는 ISO/IEC 국제 표준 조직 MPEG에서 우리 연구실이 취득한 테스트 영상을 국제 표준 실험의 필수 조건에 포함하는 성과를 얻었습니다. 작년 초 카네기 멜런 대학교에서 본 연구원들이 ‘연구를 위한 연구’보다는 실제 로봇을 이용한 실용적인 연구에 관심을 가지는 모습이 인상적이었습니다. 우리 연구실도 당장의 논문이나 실적을 위한 연구보다는 진정으로 의미 있는 일을 해보자는 목표를 가지고 노력한 결과 좋은 결실을 얻을 수 있었습니다. 요즘에는 여러 대의 이동형 로봇에 카메라를 달아서 공간 전체를 Volumetric Video로 압축하는 기술(3차원 공간 전체를 부호화하는 기술)을 개발하고 있습니다. 제가 어렸을 때 로봇을 참 좋아했는데, 내 전공과 로봇이 융합된 연구를 하니 일이 즐겁습니다. 요샛말로 ‘덕업일치’를 이루는 연구인 것 같습니다. - 가장 기억에 남는 연구가 있다면. 조지아공과대학교에서 Research Scientist로 있을 때
라는 프로젝트를 진행한 적이 있습니다. 그 당시의 제가 감당하기에는 벅찬 업무였습니다. 프로젝트 도중 수많은 난관을 마주해야 했고 밤을 새워가며 일을 했습니다. 그렇게 전 세계 다양한 연구자들의 글을 살펴보고 메일로 연락을 주고받으며 연구하던 중 프랑스의 한 연구자가 Open Source 관련된 기술을 개발하고 있다는 소식을 접했습니다. 그 연구원에게 도움을 받아 연구를 이어간 결과 나는 프로젝트에서 목표했던 바를 이룰 수 있었습니다. 그때 ‘나 개인은 부족함이 있어도 세상의 뛰어난 사람들과 협력한다면 못 이룰 일이 없겠다’는 걸 깨달았습니다. 연구 활동에서 개방된 기술 교류는 정말 중요합니다. - 연구실을 소개해주세요. 연구실에서 사람을 뽑을 때 중요하게 생각하는 부분이 있다면. 우리 연구실은 Greedy 하기보다는 재밌는 연구를 하며 사회에 기여하자는 목표를 가지고 있습니다. 일이 즐거워야 하다 보니 연구원을 뽑을 때도 ‘이 사람이 컴퓨터를 사랑하는지, 기술에 대한 진리 탐구의 열정이 있는지, 인성이 좋은지’ 등을 살펴봅니다. 자기가 좋아서 그 일을 하는 사람이 재능을 가진 사람보다 일을 더 잘할 수 있다고 생각합니다. - 연구자로서 어려움이나 고민은. 컴퓨터과학 분야에서 대학원생들과 연구실을 꾸리고 함께 연구를 진행하려면 국내외 프로젝트를 수주해야 합니다. 문제는 프로젝트를 따내고 운영하는 과정에서 생기는 수많은 행정 업무를 처리하고 대학원생들을 관리하는 일이 업무적으로 큰 부담이 된다는 점입니다. 함께 연구할 대학원생들을 충분히 구하지 못했을 때, 존경하는 교수님이 최고대학을 그만두고 기업으로 옮기셨을 때 등 여러 인간적인 고충을 겪었던 기억이 있습니다. 어떤 면에서는 연구보다 행정, 조직 환경이 연구자를 지치게 합니다. 현재 내가 속한 실감미디어공학과의 과제 지원 조직인 지능형 멀티미디어 연구센터를 계속 키워서 소속된 교수님들의 행정 업무 부담을 덜어드리고 싶습니다. 연구자로서 self-motivated 상태를 유지하기도 참 어렵습니다. 그래서 평소에 시간이 되면 OTT 서비스를 통해 IT기술에 관한 다큐멘터리나 영화, 드라마를 봅니다. 같은 영화를 보면 가상현실 기술 연구에 대한 열정이 한 달은 더 생기고 AlphaGo나 NASA의 달 탐험에 관한 다큐멘터리를 보면 갑자기 Lab Meeting을 소집하는 열정이 깨어납니다. 그리고 무엇보다 좌절을 극복할 힘을 주는 가장 큰 축복은 사랑하는 아이들 호원이와 이안이를 포함한 나의 가족입니다. - 연구자로서 목표가 있다면. 기술 자체를 좋아하는, 조금은 Geek스러운 연구자로 살아가고 싶습니다. 이번 생에 다른 부분은 조금 내려놓더라도 내가 좋아하는 컴퓨터 기술에 집중하여 먼 훗날 인생의 마지막까지 연구를 이어가고 싶습니다. - 이야기를 들어보니 교수님의 학부생 시절이 궁금합니다. 대학생 때를 회상해 본다면. 기본적으로 컴퓨터를 즐겨 했습니다. 엉뚱한 장난을 좋아해서 해킹도 해보다가 일이 터지기도 하고. 아무튼 즐거운 대학 생활을 보냈습니다. 당시 전기전자연구회라는 교내 동아리에서 CPU와 RAM, ROM을 래핑 선으로 납땜해서 이으며 밤을 새운 적이 있습니다. 그때 창밖에 첫눈이 내리는 모습을 보며 다른 후배 녀석과 ‘우린 왜 이렇게 살지?’하며 뭉클해 했던 기억이 있습니다. 이상하게 그때가 기억에 오래 남습니다. 요즘에는 온라인으로도 각종 최신 기술을 접할 수 있습니다. 기술 습득만을 놓고 생각해 보면 대학의 의미가 작아지고 있습니다. 하지만 대학에서의 동아리 활동과 취미생활 등 열정에 미쳐보는 시간만큼은 그 가치가 줄어들지 않을 것으로 생각합니다. - 마지막으로 우리 학교 학우들에게 한마디. 자신이 현재 처해있는 상황을 냉정하게 살펴보고 도약하기 위해 끊임없이 노력하기를 바랍니다. 성균관대학교 자체는 다른 경쟁 대학들을 이기기 어려울 수 있지만 이 글을 보고 노력할 성균관대학교 학생 개인은 최고의 대학 학생들의 평균보다 더 잘 될 수 있습니다. 정점에 설 그날까지 staying motivated. 성균웹진 -
- 작성일 2024-03-04
- 조회수 403
-
- [교수동정] 2023 SKKU Fellowship 교수 10명 선정
- 2023 SKKU Fellowship 교수 10명 선정 우리 대학은 '2023 SKKU-Fellowship' 교수로 경영대학 오종민 교수, 예술대학 정연두 교수, 정보통신대학 이강윤 교수, 정보통신대학 박진홍 교수, 소프트웨어융합대학 이진규 교수, 공과대학 김태일 교수, 공과대학 김영훈 교수, 의과대학 박연희 교수, 약학대학 정상전 교수, 성균융합원 윤원섭 교수(사진 좌측 상단부터)를 선정, 발표했다. SKKU-Fellowship 제도는 우리 대학이 2004년부터 제정하여 수여하는 최고의 영예로, 학문 분야별 연구력 수준 또는 산학협력 성과가 세계적 표준에 안착하였거나 접근 가능성이 높은 최우수 교수를 선정하여 파격적인 연구지원과 명예를 부여하는 제도이다. 특히, 2023 SKKU-Fellowship은 '인류와 미래사회를 위한 담대한 도전 Inspiring Future, Grand Challenge' 라는 23~24학년도 대학운영방침에 기반하여 각 교원의 우수성과 폭을 확대하여 ▲글로벌 창작전시 ▲저명 국제컨퍼런스 ▲최상의 저널과 논문 ▲산학협력 모델 구축 ▲창업 등에서 대상자를 선정하였다. 시상식은 지난 2월 20일(화) 진행되었던 전체교수회의 '최우수 Faculty 시상식'에서 실시되었다. 특히, 금번에는 Fellowship 선정을 자문할 Fellowship Advisory Board가 공식 구성되어 후보자를 추천하였고, 위원장인 공과대학 이준영 교수가 수상자 10명을 직접 발표하였다. ▲ 공과대학 이준영 교수 ▲ (좌측 상단부터) 오종민 교수, 정연두 교수, 박진홍 교수, 김태일 교수 부모님, 김영훈 교수, 박연희, 정상전 교수, 이강윤 교수 글로벌 전시 부분에서 선정되어 대표 수상소감을 밝혀준 예술대학 정연두 교수는 학교 전체를 대표하는 최우수 교수의 영예인 Fellowship 교수로 선정된 것을 큰 영광으로 여기며 앞으로도 예술대학 나아가는 국내외적으로 성대를 대표하는 예술가로서 활동을 지속하겠다고 하였다. ▲ 정연두 교수 최우수 저널과 논문 관련 부문에서 선정된 공과대학 김태일 교수(대리참석: 김태일 교수 아버님)는 유구한 전통을 가진 가문과 대학의 만남의 우연 아래 혁신적인 성과가 빛날 수 있었던 필연이 생긴 것 같다며 향후에도 세계적 연구성과로 발전해나가겠다고 하였다. ▲ 김태일 교수 부친 산학협력 생태계(기술이전) 부문에서 선정된 약학대학 정상전 교수는 우리 대학에서도 산학협력 등의 우수한 성과가 가시적으로 나오고 있는데 많은 분들이 공감하듯이 대학이라는 경계를 넘어서 오랜기간 동안 교수님들의 끊임없는 노력이 필요한데 이로 인해 상대적으로 가족과의 시간에 많은 시간을 할애하지 못하였다고 하다. 그래서, 금번 수상의 영광을 이 자리에 참석한 배우자와 가족과 함께 하고 싶다고 하였다. ▲ 정상전 교수 향후에도 우리 대학은 최우수 교수들의 다양한 우수성과의 가치를 발굴하면서 인류사회에 공헌하는 초일류 대학이 될 수 있도록 나아갈 예정이다.
-
- 작성일 2024-02-28
- 조회수 586
-
- [연구] 우사이먼 교수 연구실, AAAI 2024 논문 2편 게재 승인
- DASH 연구실 (지도교수: 우사이먼성일)의 논문 2편이 인공지능 분야의 최우수 학술대회인 AAAI Conference on Artificial Intelligence 2024 (AAAI24)에 게재 승인되어 2월에 발표될 예정입니다. 최선을 다해 우수한 연구를 진행한 참여 연구원 학생분들께 감사드립니다. 논문 #1: Diffusion 모델 제어 관련 연구 (공동 1저자: 인공지능학과 석박통합과정 홍승후, 인공지능학과 석박통합과정 이주헌) 논문 #2: 삭제학습(Machine Unlearning) 관련 연구 (1저자 데이터사이언스학과 석사과정 김현준, 2저자 인공지능학과 석사과정 이상용) [논문 1정보] Seunghoo Hong†, Juhun Lee†, and Simon S. Woo*, “All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models”, Proceedings of the 38th annual AAAI Conference on Artificial Intelligence (AAAI), 2024. “All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models”논문에서는 Stable Diffusion과 같은 text to image모델의 특정 개념을 지우는 새로운 알고리즘을 제안합니다. 널리 사용되는 Stable Diffusion과 같이 대규모 데이터 세트를 사용하여 학습된 생성모델의 경우 학습에 부적절하거나 저작권이 있는 이미지가 포함될 수 있고 이로 인해 생성모델은 부적절한 이미지를 생성할 수 있습니다. 사실상 대규모 모델의 학습은 불가능하기 때문에 이를 해결하기 위한 방법으로 “개념삭제”라는 접근이 제안되었습니다. 하지만 지금까지의 개념삭제 알고리즘은 삭제 대상 뿐만 아니라 전혀 관계가 없는 개념까지 영향을 끼쳐 출력물의 의미와 구조를 모두 망가지게 됩니다. 본 논문에서는 이러한 문제점을 제시하고 이를 해결한 새로운 개념삭제 알고리즘을 제안합니다. 제안하는 알고리즘은 이미지 생성에서 사용되는 classifier guidance term에 주목하여 conditional score를 수정하면서 unconditional score는 보존하도록 합니다. 또한 삭제 대상에 대안 개념을 제시하는 방식을 통해 “Surgical Concept Erasing”을 가능하게 하였습니다. 논문의 실험을 통해 제안하는 알고리즘이 삭제 대상을 제대로 삭제할 뿐만 아니라 출력물의 공간적 특징까지 보존하는 것을 보여줍니다. Abstract: Text-to-Image models such as Stable Diffusion have shown impressive image generation synthesis, thanks to the utilization of large-scale datasets. However, these datasets may contain sexually explicit, copyrighted, or undesirable content, which allows the model to directly generate them. Given that retraining these large models on individual concept deletion requests is infeasible, fine-tuning algorithms have been developed to tackle concept erasing in diffusion models. While these algorithms yield good concept erasure, they all present one of the following issues: 1) the corrupted feature space yields synthesis of disintegrated objects, 2) the initially synthesized content undergoes a divergence in both spatial structure and semantics in the generated images, and 3) sub-optimal training updates heighten the model's susceptibility to utility harm. These issues severely degrade the original utility of generative models. In this work, we present a new approach that solves all of these challenges. We take inspiration from the concept of classifier guidance and propose a surgical update on the classifier guidance term while constraining the drift of the unconditional score term. Furthermore, our algorithm empowers the user to select an alternative to the erasing concept, allowing for more controllability. Our experimental results show that our algorithm not only erases the target concept effectively but also preserves the model’s generation capability. ※ 논문명: All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models ※ 논문링크: https://doi.org/10.48550/arXiv.2312.12807 ※ 저자명: Simon S. Woo(교신저자), Seunghoo Hong, Juhun Lee (공동 제1저자) [논문 2정보] Hyunjune Kim, Sangyong Lee, and Simon S. Woo*, “Layer Attack Unlearning: Fast and Accurate Machine Unlearning via Layer Level Attack and Knowledge Distillation”, Proceedings of the 38th annual AAAI Conference on Artificial Intelligence (AAAI), 2024. 논문링크: https://arxiv.org/pdf/2312.16823.pdf 이 연구에서는 기존 Machine Unlearning (머신 언러닝) 알고리즘에 비해 상당히 정확하고 빠른 새로운 접근 방법인 'Layer Attack Unlearning'을 제안합니다. 우리의 언러닝 알고리즘은 전체 모델이 아닌 Layer level에서 수행합니다. 그렇게 함으로써 알고리즘의 시간적 성능 향상에 기여하였습니다. 또한 우리의 접근 방식에 도입한 Partial-PGD 알고리즘은 기존 PGD 알고리즘 대비 계산량을 줄여 줍니다. 이 적대적 공격 기법은 언러닝 과정에서 삭제될 데이터가 어디에 할당될지 효율적으로 찾아냅니다. 마지막으로, 우리는 지식 증류를 사용하여 Teacher로부터 결정 경계 정보를 얻어 retain data 정보를 유지하면서 언러닝 작업을 수행하여 정확도 성능을 보존 및 향상시킵니다. 우리는 기존의 SOTA 머신 언러닝 모델과 함께 광범위한 실험을 진행하고, 정확성과 end-to-end 언러닝 성능에 대한 우리의 접근 방식의 효과를 입증하였습니다. Abstract: Recently, serious concerns have been raised about the privacy issues related to training datasets in machine learning algorithms when including personal data. Various regulations in different countries, including the GDPR, grant individuals to have personal data erased, known as ‘the right to be forgotten’ or ‘the right to erasure’. However, there has been less research on effectively and practically deleting the requested personal data from the training set while not jeopardizing the overall machine learning performance. In this work, we propose a fast and novel machine unlearning paradigm at the layer level called layer attack unlearning, which is highly accurate and fast compared to existing machine unlearning algorithms. We introduce the Partial-PGD algorithm to locate the samples to forget efficiently. In addition, we only use the last layer of the model inspired by the Forward-Forward algorithm for unlearning process. Lastly, we use Knowledge Distillation (KD) to reliably learn the decision boundaries from the teacher using soft label information to improve accuracy performance. We conducted extensive experiments with SOTA machine unlearning models and demonstrated the effectiveness of our approach for accuracy and end-to-end unlearning performance. 문의사항이나 질문은 DASH Lab(https://dash.skku.edu)의 우사이먼교수님 (swoo@g.skku.edu)에게 연락부탁드립니다.
-
- 작성일 2024-01-30
- 조회수 772
-
- [연구] [구형준 교수] SecAI 연구실, ACM Asia Conference on Computer and Communications Security, 2024 (ASIACCS ’24) 논문 게재 승인
- SecAI 연구실 (지도교수 구형준, https://secai.skku.edu)의 Nozima (석사과정) 학생의 "BinAdapter: Leveraging Continual Learning for Inferring Function Symbol Names in a Binary" 논문이 보안분야 우수학회인 ACM Asia Conference on Computer and Communications Security 2024 (ASIACCS ’24)에 게재 승인되어 2024년 7월에 발표될 예정입니다. 실행 바이너리 리버싱을 인공지능을 활용해 도와줄 수 있는 여러 방식 중에 프로그래머가 직접 label한 함수명을 바이너리 상의 어셈블리어로부터 학습하고 예측하는 생성형 인공지능 모델 기법이 있습니다. 하지만 바이너리는 컴파일러 도구나 최적화 수준 등 변형 뿐 아니라 다양한 프로그램 문맥을 계속 작성해 만들어 낼 수 있습니다. 기존의 생성형 인공지능 모델은 주어진 데이터셋 (pre-defined dataset)으로 훈련한 정적 모델 (static model)이라 지속적으로 생성되는 데이터셋을 반영하는 데 어려움이 있습니다. 이에 최근 인공지능은 평생학습 (lifelong learning) 또는 계속학습 (continual learning; CL)으로 불리는 기법을 통해 마치 인간이 새로운 지식을 학습할 수 있는 형태로 agent를 강화하려 하는 노력을 하고 있습니다. 본 논문에서는 함수명 예측 인공지능 모델에 계속학습 중 adapter라는 기법을 transformer 기반의 모델에 삽입해 기존에 학습했던 기억을 잊어버리지 않고 (catastrophic forgetting) 신규 데이터셋에서 학습할 수 있는 BinAdapter라는 방식을 제시합니다. 특히 소스(기계 명령어)나 타겟(함수 이름)에서 추가적인 명령어 토큰(instruction token)이 CL을 사용한 모델의 전체 성능에 큰 영향을 미친다는 사실을 실험적으로 확인했습니다. BinAdapter는 내부적으로 다음 세 가지 접근 방식을 채택합니다. 첫째, 소스와 타겟 모두에 추가 토큰이 거의 없는 경우 일반적인 댑터를 삽입합니다. 둘째, 소스에 추가 토큰이 있는 경우 멀티 신경 기계 번역 (M-NMT; Multi-Neural Machine Translation)을 활용하고 소스 임베딩을 미세 조정(fine-tuning)합니다. 셋째, 소스와 타겟 모두 추가 토큰이 있는 경우 소스와 타겟 임베딩 모두 미세 조정 (fine-tuning)합니다. Abstract. Binary reverse engineering is crucial to gain insights into the inner workings of a stripped binary. Yet, it is challenging to read the original semantics from a binary code snippet because of the unavailability of high-level information in the source, such as function names, variable names, and types. Recent advancements in deep learning show the possibility of recovering such vanished information with a well-trained model from a pre-defined dataset. Albeit a static model’s notable performance, it can hardly cope with an ever-increasing data stream (e.g., compiled binaries) by nature. The two viable approaches for ceaseless learning are retraining the whole dataset from scratch and fine-tuning a pre-trained model; however, retraining suffers from large computational overheads and fine-tuning from performance degradation (i.e., catastrophic forgetting). Lately, continual learning (CL) tackles the problem of handling incremental data in security domains (e.g., network intrusion detection, malware detection) using reasonable resources while maintaining performance in practice. In this paper, we focus on how CL assists the improvement of a generative model that predicts a function symbol name from a series of machine instructions. To this end, we introduce BinAdapter, a system that can infer function names from an incremental dataset without performance degradation from an original dataset by leveraging CL techniques. Our major finding shows that incremental tokens in the source (i.e., machine instructions) or the target (i.e., function names) largely affect the overall performance of a CL-enabled model. Accordingly, BinAdapter adopts three built-in approaches: i) inserting adapters in case of no incremental tokens in both the source and target, ii) harnessing multilingual neural machine translation (M-NMT) and fine-tuning the source embeddings with i) in case of incremental tokens in the source, and iii) fine-tuning target embeddings with ii) in case of incremental tokens in both. To demonstrate the effectiveness of BinAdapter, we evaluate the above three scenarios using incremental datasets with or without a set of new tokens (e.g., unseen machine instructions or function names), spanning across different architectures and optimization levels. Our empirical results show that BinAdapter outperforms the state-of-the-art CL techniques for an F1 of up to 24.3% or a Rouge-l of 21.5% in performance.
-
- 작성일 2024-01-26
- 조회수 656