-
- [연구] 데이터 지능 및 학습 연구실(지도교수: 이종욱), SIGIR 2022 및 IJCAI 2022 논문 게재
- 연구 1: Jae-woong Lee, Seongmin Park, Joonseok Lee, and Jongwuk Lee, “Bilateral Self-unbiased Learning from Biased Implicit Feedback”, 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), 2022 연구 2: Duhyeon Bang, Kyungjune Baek, Jiwoo Kim, Yunho Jeon, Jin-Hwa Kim, Jiwon Kim, Jongwuk Lee, and Hyunjung Shim, “Logit Mixing Training for More Reliable and Accurate Prediction”, 31st International Joint Conference on Artificial Intelligence (IJCAI), 2022 연구 1: 데이터 지능 및 학습(Data Intelligence and Learning, DIAL) 연구실 소속 이재웅(박사과정, 제1저자) 학생, 박성민(석·박통합과정, 제2저자) 학생, 이종욱(교신저자) 교수와 이준석(구글 리서치/서울대, 제3저자) 교수가 연구한 “Bilateral Self-unbiased Learning from Biased Implicit Feedback” 논문이 세계 최고 권위 정보검색 학회인 SIGIR 2022에 full paper track으로 최종 게재 승인되었으며, 지난 7월 12일 스페인 마드리드에서 논문을 발표하였습니다. 이재웅(박사과정) 박성민(석·박통합과정) 본 연구는 편향되어 있는 추천 데이터에서 추천 모델을 학습할 때 모델에 존재하는 편향 문제를 완화하는 추천 모델을 제안하였습니다. 구체적으로, 추천 데이터의 편향을 제거하기 위해 두 가지로 요소를 개발하여 추천 모델의 편향 제거에 활용하였습니다. (1) 모델의 출력에 포함되어 있는 편향으로 모델의 편향을 제거하는 자기 역편향 가중치(Self-inverse propensity weighting)를 통해 학습 과정에서 데이터의 편향을 완화하는 방법과 (2) 두 가지 상호 보완적인 추천 모델인 사용자기반 추천 모델과 항목기반 추천 모델을 활용하여 추천 모델의 편향을 안정적으로 제거하기 위해 예측 결과의 오차를 줄이는 방법인 양방향 편향 제거 학습(Bilateral unbiased learning)을 고안하였습니다. 제안된 추천 모델은 실험적으로 효과적으로 추천 결과의 편향을 제거됨을 확인하였으며, 편향 제거 평가 시 일반적으로 사용되는 Coat 및 Yahoo! R3 데이터에서 기존의 편향 제거 모델 대비 추천 성능을 최대 15% 개선하였습니다. <그림 1: 사용자 기반 항목 기반 추천 모델을 활용하여 자기 역편향 가중치와 양방향 편향 제거 학습을 활용한 학습 과정> 연구 2: 데이터 지능 및 학습(Data Intelligence and Learning, DIAL) 연구실 소속 김지우(석사과정, 제3저자) 학생과 이종욱 교수와 카이스트 심현정 교수 연구팀이 공동 연구를 진행한 교수가 “Logit Mixing Training for More Reliable and Accurate Prediction” 논문이 세계 최고 권위 인공지능 학회인 IJCAI 2022에 full paper track으로 최종 게재 승인되었으며, 7월 23일에 연구 성과를 발표하였습니다. 김지우(석사과정) 본 연구는 사람이 객관식 문제를 풀 때, 무엇이 정답인지를 고려할 뿐 아니라 무엇이 정답이 아닌지를 모두 고려하는 사람의 정답 추론 과정에 영감을 받아, 정답 클래스와 오답 클래스 간 관계를 모두 활용한 LogitMix를 제안하였습니다. 구체적으로, 본 연구에서 제안한 LogitMix는 기존에 데이터 증강 방법인 Mixup, Manifold Mixup, CutMix 및 PuzzleMix와 같은 방법과 결합이 가능하며, 두 데이터 결합 시 로짓(Logit) 레벨에서 두 샘플을 효과적으로 결합하는 방법입니다. 이를 통해, 긍정적(정답) 클래스와 부정적(오답) 클래스 간 관계를 보존하여, 효과적으로 클래스의 확률 분포를 학습 과정에 규제화하여 학습할 수 있도록 하였습니다. 제안 방법은 이미지 및 언어 기반 분류 모델에 효과적으로 LogitMix를 적용하여 교정 오류 및 예측 정확도를 개선할 수 있음을 검증하였습니다. <그림: 2차원 나선형 데이에서 다양한 Mixup 기반의 학습 방법 적용시 분류 모델의 결정 평면에 대한 도식도, 제안 방법인 LogitMix가 다른 방법 대비 두 개의 클래스를 효과적으로 구분하고 있으며, 두 클래스간 확률 분포가 자연스럽게 변함을 확인됨>
-
- 작성일 2022-08-01
- 조회수 1165
-
- [연구] 허재필 교수 연구실, ECCV 2022 논문 2편 게재 승인
- 비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 2편이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 European Conference on Computer Vision 2022에 게재 승인되었습니다. 논문 #1: “Tailoring Self-Supervision for Supervised Learning” (인공지능학과 석사과정 문원준, 인공지능학과 박사과정 김지환) 논문 #2: “Difficulty-Aware Simulator for Open Set Recognition” (인공지능학과 석사과정 문원준, 인공지능학과 석사과정 박준호, 인공지능학과 석박통합과정 성현석, 인공지능학과 석박통합과정 조철호) “Tailoring Self-Supervision for Supervised Learning” 논문에서는 먼저 Supervised Learning 환경에서 Self-supervision Task가 특별한 변경 없이 추가적으로 적용되었을 때, 발생할 수 있는 문제점들을 지적하였습니다. Supervised Learning의 Objective를 보조하는 역할로의 Self-supervision Task가 적용될 때, Self-supervision Task가 가져야 할 세 가지 특성을 제시하고, 이를 만족하는 Localization Rotation이라는 새로운 Task를 제안하였습니다. 제안한 방법이 Deep Learning 모델의 강건함 및 일반화 능력을 시험할 수 있는 여러 벤치마크에서 일관된 성능 향상을 가져오는 것을 확인하였습니다. “Difficulty-Aware Simulator for Open Set Recognition” 논문에서는 Open Set Recognition을 위한 가상의 샘플을 시뮬레이션 하는 새로운 방법을 제시하였습니다. Open Set Recognition 문제는 학습 때 경험하지 못한 새로운 클래스의 데이터를 식별하는 문제로, 인공지능을 실세계에 적용하기 위해 필수적인 요소 기술입니다. 기존의 방법들도 모델 학습 시 가상의 샘플들을 생성하여 활용하였지만, 본 논문에서는 기존 기술들이 다양한 난이도의 Open Set 샘플들에 대응하기 어렵다는 것을 확인하고, 다양한 난이도의 Open Set 샘플들을 시뮬레이션 하는 Difficulty-Aware Simulator 프레임워크를 제안하였습니다. 제안된 기술은 의도한대로 분류기의 입장에서 난이도별로 가상의 샘플을 만들어냈으며, 이를 활용하여 Open Set Recognition 분야에서 높은 성능을 달성하였습니다. [논문 #1 정보] Tailoring Self-Supervision for Supervised Learning WonJun Moon, Ji-Hwan Kim, and Jae-Pil Heo European Conference on Computer Vision (ECCV), 2022 Abstract: Recently, it is shown that deploying a proper self-supervision is a prospective way to enhance the performance of supervised learning. Yet, the benefits of self-supervision are not fully exploited as previous pretext tasks are specialized for unsupervised representation learning. To this end, we begin by presenting three desirable properties for such auxiliary tasks to assist the supervised objective. First, the tasks need to guide the model to learn rich features. Second, the transformations involved in the self-supervision should not significantly alter the training distribution. Third, the tasks are preferred to be light and generic for high applicability to prior arts. Subsequently, to show how existing pretext tasks can fulfill these and be tailored for supervised learning, we propose a simple auxiliary self-supervision task, predicting localizable rotation (LoRot). Our exhaustive experiments validate the merits of LoRot as a pretext task tailored for supervised learning in terms of robustness and generalization capability. [논문 #2 정보] Difficulty-Aware Simulator for Open Set Recognition WonJun Moon, Junho Park, Hyun Seok Seong, Cheol-Ho Cho, and Jae-Pil Heo European Conference on Computer Vision (ECCV), 2022 Abstract: Open set recognition (OSR) assumes unknown instances appear out of the blue at the inference time. The main challenge of OSR is that the response of models for unknowns is totally unpredictable. Furthermore, the diversity of open set makes it harder since instances have different difficulty levels. Therefore, we present a novel framework, DIfficulty-Aware Simulator (DIAS), that generates fakes with diverse difficulty levels to simulate the real world. We first investigate fakes from generative adversarial network (GAN) in the classifier's viewpoint and observe that these are not severely challenging. This leads us to define the criteria for difficulty by regarding samples generated with GANs having moderate-difficulty. To produce hard-difficulty examples, we introduce Copycat, imitating the behavior of the classifier. Furthermore, moderate- and easy-difficulty samples are also yielded by our modified GAN and Copycat, respectively. As a result, DIAS outperforms state-of-the-art methods with both metrics of AUROC and F-score.
-
- 작성일 2022-07-29
- 조회수 1160
-
- [연구] 고영중 교수 자연어처리연구실, SIGIR 2022 국제 학술대회 논문 2편 게재 승인
- 자연어처리연구실 허태훈 석사과정, 박충원 석사과정(이상 인공지능학과)의 논문 2편이 인공지능 및 정보검색 분야의 top-tier 국제 학술대회(BK21 CS IF=4)인 SIGIR (The 45th International ACM SIGIR Conference on Research and Development in Information Retrieval) 2022에 최종 논문 게재가 승인되어 7월에 발표될 예정입니다. 1. Choongwon Park, Youngjoong Ko, “QSG Transformer: Transformer with Query-Attentive Semantic Graph for Query-Focused Summarization”, Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2022), July 2022. 본 연구에서는 문서에서 질의에 알맞는 요약문을 생성하는 ‘질의 기반 문서 요약’ 의 성능을 높이기 위한 새로운 기법을 제안합니다. 제안 기법은 질의와 문서의 단어들을 여러 자연어처리 기술을 이용해 연결하여 하나의 그래프로 구성하고, 이를 요약문을 생성하는 것에 사용합니다. 구성된 그래프를 질의 기반 문서 요약에 효율적으로 활용하기 위해 새로운 그래프 인공신경망을 제안하고, 이를 트랜스포머 모델에 붙여 사용합니다. 두 개의 데이터셋을 이용한 실험 결과, 제안 기법이 이전 연구들의 성능을 모두 앞서는 결과를 보였습니다. 2. Taehun Huh and Youngjoong Ko, "Lightweight Meta-Learning for Low-Resource Abstractive Summarization", Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2022), July 2022 본 연구에서는 레이블 된 학습 데이터가 적은 상태인 ‘저 자원 생성 요약’의 성능을 높이기 위한 새로운 기법을 제안합니다. 제안 모델에서는 적은 데이터를 활용하여 해당 도메인에 빠르게 적응시키기 위해 메타러닝을 사용합니다. 또한, 학습 동안 기존 언어 모델에 추가되는 경량화 모듈만 학습 가능하게 하여 적은 데이터에 과적합 되는 문제를 해결합니다. 총 11개의 요약 데이터셋으로 실험한 결과, 기존 연구 보다 더 높은 Rouge 스코어 성능을 얻었습니다.
-
- 작성일 2022-06-14
- 조회수 1285
-
- [학생실적] 2022-1학기 소프트웨어학과, 컴퓨터공학과 연구논문/작품 발표회
- 2022-1학기 소프트웨어학과, 컴퓨터공학과 연구논문/작품 발표회 5월 25일(수) 반도체관 로비 및 화학관 330110호에서 2022-1학기 소프트웨어학과, 컴퓨터공학과 연구논문·작품 발표회가 개최되었습니다. 총 35명이 1년 동안 연구한 논문·작품을 게시 및 발표 하였고 재학생과 교수님들이 함께 참석하여 연구 내용 평가 및 수상하며 1년을 마무리하는 시간을 가졌습니다. 수상은 우수작품상(금상 : 김명민 / 은상 : 김장훈 / 동상 : 정동원), 우수발표상(김민서,이민영, 김지연) 학생들이 수상하였습니다. 다시 한번 연구논문·작품을 잘 마무리한 학생들의 노고에 감사드립니다.
-
- 작성일 2022-06-13
- 조회수 1063
-
- [연구] 차수영 교수, ACM SIGSOFT Distinguished Paper Award 수상. (ICSE’22)
- 소프트웨어학과 차수영 교수(제1저자)의 논문이 5월 미국 피츠버그에서 열린 소프트웨어 공학 분야의 최상위 국제 학술대회인 ICSE 2022 (The 44th International Conference on Software Engineering)에서 ACM SIGSOFT Distinguished Paper Award 수상했다. 본 논문은 기계-학습을 통해 소프트웨어 취약점 탐지 기술인 ‘기호 실행(Symbolic Execution)’의 성능을 향상시키는 연구이다. 기호 실행 도구들은 SW의 잠재적 보안 오류 및 취약점을 탐지하는데 가장 많이 활용되는 도구 가운데 하나다. 하지만 기호 실행 도구를 유용하게 사용하기 위해서는 수많은 파라미터들을 직접 조절해야 하는 문제가 있었다. 따라서 기호 실행에 전문성이 없는 사용자라면 당연히 활용하기 어렵고, 심지어 테스팅 전문가라고 하더라도 최적의 성능으로 기호 실행 도구를 사용하기 어려운 한계가 있었다. 본 논문은 이러한 한계를 극복해, 전문성이 없는 사용자도 손쉽게 기호 실행 기술을 사용할 수 있도록 하는 SymTuner 기술을 개발했다. 개발된 자동 튜닝 기술을 적용한 결과 전문가가 손수 튜닝한 기호 실행에 비해 아래와 같이 월등히 높은 오류 탐지 성능을 가질 수 있음을 확인했다. [논문 정보] - 제목: “SymTuner: Maximizing the Power of Symbolic Execution by Adaptively Tuning External Parameters” - 저자: 차수영, 이명호, 이석현, 오학주
-
- 작성일 2022-05-30
- 조회수 1063
-
- [연구] 남범석 교수 연구실(대용량 데이터 처리 연구실),OSDI 2022 논문 채택
- USENIX Symposium on Operating Systems Design and Implementation (OSDI) 2022에 대용량 데이터 처리 연구실의 논문이 채택되었다. ListDB: Union of Write-Ahead Logs and Persistent SkipLists for Incremental Checkpointing on Persistent Memory 저자: 김원배, 박찬열, 김동의, 박형준, 최영리, Alan Sussman, 남범석 본 연구는 Intel Optane DC Persistent Memory의 특성을 고려하여 설계한 SkipList 기반 키-밸류 스토어 ListDB를 제안한 논문이다. ListDB는 Intel이 개발한 Pmem-RocksDB보다 최대 26배 빠른 쓰기 처리량을 자랑한다. USENIX OSDI는 SOSP와 함께 OS/시스템 분야의 양대 최우수 학회로 국내 대학 주저자 논문으로는 국내 8번째 논문이다. 특히 OSDI '21년에 발표된 신동군 교수님 연구실의 ZNS+ 논문에 이어 2회 연속으로 OSD에 논문을 발표한 국내 대학은 성균관대가 최초이며, SOSP '21에 발표된 엄영익 교수님 연구실의 FragPicker 논문을 포함하여 3회 연속으로 양대 최우수 OS/시스템 학회 논문을 발표하는 쾌거를 이루었다. OSDI '22 는 7월 11~13일에 미국 캘리포니아 샌디에고에서 개최될 예정이다
-
- 작성일 2022-05-30
- 조회수 1275
-
- [연구] 우사이먼 교수 연구실 (한시호 석사졸업 학생) KDD 2022 논문 게재 승인
- DASH (Data-driven AI Security HCI) 연구실 소속 한시호(1저자)와 우사이먼성일(교신저자) 교수의 논문 “Learning Sparse Latent Graph Representations for Anomaly Detection in Multivariate Time Series”가 데이터 마이닝 분야 최우수 국제 학회인 KDD 2022(BK21 CS IF=4)의 Applied Data Science Track에 게재 승인되었습니다. 저자들은 사이버물리시스템의 잡음이 있는 고차원 센서 데이터 내 이상징후 탐지를 위해 희소 오토인코더와 그래프 신경망을 결합하여 동시 최적화 하는 FuSAGNet(Fused Sparse Autoencoder and Graph Net) 모델을 제안했습니다. 희소 오토인코더 모듈은 원본 센서 측정값의 희소 잠재 변수를 학습하고, 이는 순환 센서 임베딩을 통해 학습된 특징 간 관계와 함께 센서값 예측을 위한 그래프 신경망의 입력으로 사용됩니다. 하나의 데이터 샘플에 대한 예측값이 정상값 대비 크게 벗어날 경우 이상징후로 취급합니다. 학습된 희소 잠재 변수와 순환 센서 임베딩 벡터는 t-SNE 시각화를 통해 모델의 설명력을 위해서도 사용됩니다. “Learning Sparse Latent Graph Representations for Anomaly Detection in Multivariate Time Series”, a full paper by Siho Han (first author) and Professor Simon S. Woo (corresponding author) of DASH (Data-driven AI Security HCI) Lab has been accepted for publication at the Applied Data Science Track of KDD 2022 (BK21 CS IF=4), a premier international conference for data mining. The authors proposed FuSAGNet (Fused Sparse Autoencoder and Graph Net), a model combining Sparse Autoencoder and Graph Neural Network to detect anomalies in high-dimensional, noisy sensor data from cyber-physical systems through joint optimization of reconstruction and forecasting. The Sparse Autoencoder module learns a sparse latent representation of the original sensor readings which, along with feature interdependencies learned through recurrent sensor embedding, are used as input to a Graph Neural Network module for sensor behavior forecasting. A sample of sensor readings is considered anomalous if its predicted values largely deviate from values under normal operating conditions. Learned sparse latent representations and recurrent sensor embedding vectors are also used for providing model interpretability by visualization through t-SNE plots. FuSAGNet 구성도
-
- 작성일 2022-05-20
- 조회수 1208
-
- [연구] 김유성 교수 연구실 (김유성 교수,김경수,하정수 석사과정 학생) IJCAI 2022 논문 게재 승인
- CSI (Computer Systems and Intelligence) Lab. 연구실 김경수, 하정수 석사과정과 김유성 교수 논문 "Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning " 가 인공지능 분야 최우수 학회 (BK IF=4) International Joint Conferences on Artificial Intelligence (IJCAI) 2022 에 게재 승인되었습니다. 카메라로 관측된 이미지 데이터만으로 로봇, 자동차, 장비 등을 제어하는 비전 기반 강화학습 연구 에서는 실제 제어와 무관한 시각적 방해요소가 학습을 방해하는 어려움이 있습니다. 더불어 학습 후 실제 환경에서 테스트시에는 시각적 방해요소가 (예: 그림자, 날씨 변화 등) 더욱 다양할 수 있는 만큼 학습의 일반화 및 강건한 제어가 요구됩니다. 본 논문에서는 관측된 이미지에 다중 데이터 증강을 적용하고 새롭게 제안한 자기지도 학습 기법을 통해 제어에 밀접한 특징(feature) 만을 효율적으로 추출하는 시각적 방해요소에 강건한 모델을 설계하였습니다. 본 연구는 다양한 비전 기반 로봇 제어 환경과 자율 주행 시뮬레이터 (CARLA) 에서 시각적 방해요소가 증가되어도 선행 연구 대비 학습 효율성이 크게 향상되었으며, 학습 후 새로운 시각적 방해요소 등장에도 가장 강건하게 제어할 수 있음을 보였습니다.
-
- 작성일 2022-04-21
- 조회수 1345
-
- [연구] 이상원 교수 연구실 (안미진 석박통합과정 학생) VLDB2022 논문 게재 승인
- VLDB 연구실 석박통합과정 안미진 학생(지도교수: 이상원) 논문 (제목: Your Read is Our Priority in Flash Storage)이 데이터베이스 분야 최고 학술대회인 VLDB에 게제승인 되었습니다. 올해 VLDB는 호주 시드니에서 개최됩니다. 본 연구에서는 버퍼 관리자와 플래시 저장장치 간의 새로운 I/O command인 RW와 SSD 내부 읽기 데이터 버퍼를 분리하는 R-Buf 기법을 제안합니다. 이 두 기술은 DBMS 버퍼 및 스토리지 버퍼에서 발생하는 읽기 지연 문제를 해결하여, 트랜잭션 성능과 직결되는 읽기가 느린 쓰기에 의해 지연되지 않고 빠르게 처리될 수 있도록 만듭니다. RW 및 R-Buf 기술은 서로 상호 보완적인 기술로 SSD의 성능을 충분히 활용하여 트랜잭션 처리량을 최대 3.9배까지 향상시킵니다.
-
- 작성일 2022-04-18
- 조회수 1115
-
- [연구] 이상원 교수 연구실 (박종혁 석박통합과정 학생) Meta 기술 세미나 초청
- 이상원 교수 연구실 박종혁 석박 통합과정 학생이 Meta (이전, Facebook) DB Engineering Reading session (온라인)에 초청되어 VLDB 2021에 출판한 “SaS: SSD as SQL Database System” 논문을 발표하였습니다. 본 세미나의 주요 목적은 학술 연구를 메타에 적용할 수 있는 방안을 찾는 것이며, Meta 개발자 팀에게 연구 결과물을 소개하고 활발한 질의 응답과정을 가졌습니다. 학회에 게재한 학술 연구의 결과물을 해외 기업의 기술 세미나에 초청을 받은 후, Meta에 있는 관심있는 직책에 대해 탐색할 수 있는 기회도 제공되었습니다. 세미나에서 발표한 논문의 주요내용은 다음과 같습니다. 호스트와 저장장치로 이분화된 컴퓨터 아키텍처 상에서 개발된 기존 DB 엔진은 플래시메모리SSD와 같이 빠른 저장장치상에서 IO 스택 오버헤드가 높고, 수직적 최적화의 어려움이 있습니다. 또한, 데이터센터 환경을 고려하면 네트워크를 통한 가상화 환경, 컴퓨팅/스토리지 노드의 분리는 DB엔진과 스토리지간 간극을 넓혀 IHDE 아키텍처의 비효율성을 증대 시킵니다. 한편, SSD는 그 자체로 컴퓨팅 플랫폼이므로, 완전한 DB 엔진을 수행시킬 수 있습니다. 본 연구에서는 IHDE의 비효율성을 근본적으로 제거하기 위해, SSD를 저장장치이자 동시에 SQL 엔진 역할을 하는 SaS (SSD as SQL Engine) 개발하였습니다. IO 스택이 제거됨에 따라, SaS는 런타임 오버헤드 없이, 데이터베이스 엔진과 SSD 간의 다양한 수직 최적화를 더 탐색할 수 있습니다. SaS는 SSD를 단순 블록 장치에서 데이터베이스 서버로 진화시킵니다. SQL을 기본 인터페이스로 사용합니다. SaS의 이점은 데이터베이스 간 거리가 먼 데이터 센터에서 더욱 두드러질 것입니다. SaS의 장점은 가상화, 스토리지 세분화, 오픈 소프트웨어 스택으로 인해 데이터베이스 엔진과 스토리지 간의 거리가 점점 더 넓어지는 데이터 센터에서 더욱 두드러질 것입니다. 더 많은 컴퓨팅 리소스를 포함하는 컴퓨팅 SSD의 출현으로 SaS는 더욱 실행 가능하고 매력적인 데이터베이스 아키텍처가 될 수 있습니다.
-
- 작성일 2022-04-11
- 조회수 1167