-
- [연구] 조재민 교수 연구실 (IDCLab), IEEE VIS 2025에 논문 1편 채택
- IDCLab (지도교수 조재민, https://idclab.skku.edu/)의 정명원 학생(박사과정)의 “GhostUMAP2: Measuring and Analyzing (r,d)-Stability of UMAP” 논문이 정보시각화분야 최우수학회인 IEEE VIS (VIS 2025)에 게재 승인되어 2025년 11월 발표될 예정입니다. 이 논문은 University of Arizona의 Takanori Fujiwara 교수와 공동연구를 수행하였습니다. 고차원 데이터를 분석하기 위해 널리 사용되는 차원축소 기술은 계산 효율성을 위해 확률적 경사 하강법이나 네거티브 샘플링 기법을 활용합니다. 이로 인하여 차원축소 결괏값이 매 시행마다 달라지게 됩니다. 특히, 본 연구에서는 고차원 매니폴드 상 밀도가 낮은 영역에 위치하는 데이터 포인트들은 이러한 확률성의 영향을 크게 받아 차원 축소된 결과를 신뢰할 수 없다라는 점에 착안합니다. 현 시점 가장 널리 사용되는 차원축소 기술인 UMAP(Uniform Manifold Approximation and Projection) 알고리즘을 기반으로 한 번의 시행으로 여러 번 시행을 모사하는 알고리즘인 GhostUMAP을 개발하고 평가하였습니다. 또한, 차원축소 결과의 신뢰성을 평가하는 프레임워크인 (r,d)-안정성을 도입하였습니다. 마지막으로, 이러한 기술들을 실제 고차원 데이터 분석 작업에서 사용되는 데이터에 적용하여 본 기술의 실효성을 검증했습니다.
-
- 작성일 2025-08-19
- 조회수 2755
-
- [연구] 자연어처리연구실(NLP lab, 지도교수: 고영중), ACL 2025에 논문 1편 게재
- 자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 1편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 ACL 2025(The 63rd Annual Meeting of the Association for Computational Linguistics)의 Findings에 게재되었습니다. 논문: DAPI: Domain Adaptive Toxicity Probe Vector Intervention, for Fine-Grained Detoxification (지능형소프트웨어학과 석사과정 조현수, 인공지능학과 박사과정 김두영) 논문 요약: 본 연구에서는 기존의 단일 독성 탐지 벡터 기반의 제어 방식이 세부적인 독성 유형을 효과적으로 제거하지 못하는 한계를 극복하기 위해, 범주 특화(category-specific) 독성 탐지 벡터 기반의 독성 완화 기법을 제안합니다. 독성 표현은 다양한 하위 범주로 세분화될 수 있으므로, 단일 벡터로는 특정 범주의 독성을 효과적으로 완화하기 어렵습니다. 이에 따라, 본 연구에서는 다양한 독성 범주에 대해 개별적인 탐지 벡터를 학습하고, 생성 과정에서 문맥에 따라 가장 적절한 독성 탐지 벡터를 동적으로 선택한 후, 선택된 벡터를 적절한 크기로 조정하여 모델 출력에서 감산하는 방식을 도입하였습니다. 제안한 방법은 단일 벡터 방식으로는 제거하기 어렵던 독성 범주에 대해서도 효과적으로 독성을 완화함을 보였으며, 실험 결과 평가 데이터셋 기준 최대 78.52%의 독성 감소 효과를 달성하였습니다. 독성이 완화된 모델의 유창성은 기존 모델 대비 0.052% 감소에 그쳐 거의 동일한 수준의 유창성을 유지하면서도 독성을 완화할 수 있음을 확인하였습니다. Abstract: There have been attempts to utilize linear probe for detoxification, with existing studies relying on a single toxicity probe vector to reduce toxicity. However, toxicity can be fine-grained into various subcategories, making it difficult to remove certain types of toxicity by using a single toxicity probe vector. To address this limitation, we propose a category-specific toxicity probe vector approach. First, we train multiple toxicity probe vectors for different toxicity categories. During generation, we dynamically select the most relevant toxicity probe vector based on the current context. Finally, the selected vector is dynamically scaled and subtracted from model. Our method successfully mitigated toxicity from categories that the single probe vector approach failed to detoxify. Experiments demonstrate that our approach achieves up to a 78.52% reduction in toxicity on the evaluation dataset, while fluency remains nearly unchanged, with only a 0.052% drop compared to the unsteered model. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu
-
- 작성일 2025-08-19
- 조회수 2651
-
- [연구] DXLab (지도교수: 박은일), IJCAI 2025, CIKM 2025에 논문 3편 게재 승인
- DXLab (지도교수: 박은일) 논문이 인공지능 분야의 Top-tier 국제학술대회 IJCAI 2025(1편)와 CIKM 2025(2편)에 게재 승인되었습니다. 1) (IJCAI 2025) “Solving Copyright Infringement on Short Video Platforms: Novel Datasets and an Audio Restoration Deep Learning Pipeline” 논문은 오민우 연구원(석사과정), 박민수 연구원(석박통합과정)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 유튜브 쇼츠, 틱톡 등 숏폼 영상 플랫폼에서 발생하는 임의 배경음악(BGM) 삽입으로 인한 저작권 침해 문제를 해결하기 위한 새로운 오디오 복원 파이프라인을 제안합니다. 사용자는 영상의 원본 OST를 가리기 위해 임의의 BGM을 삽입하는데, 이는 기존 콘텐츠 검출 시스템의 정확도를 크게 저하시킵니다. 이를 해결하기 위해 본 연구는 음악 소스 분리(MSS)와 크로스모달 영상-음악 정합성 평가(CMVMR)를 결합한 4단계 파이프라인을 설계하였습니다. 특히, 본 연구는 파이프라인 학습과 평가를 위해 두 가지 도메인 특화 데이터셋을 새롭게 구축했습니다. 실험 결과, 제안한 파이프라인은 SDR, SI-SDR 등에서 임의 배경음악이 삽입된 오디오 대비 뛰어난 성능을 보여 실제 플랫폼 적용에 적합한 높은 성능과 실용성을 입증하였습니다. 2) (CIKM 2025) “BOVIS: Bias-Mitigated Object-Enhanced Visual Emotion Analysis” 논문은 이유빈 연구원(석박통합과정), 차준엽 연구원(석박통합과정)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 시각 자극에 대한 인간의 감정 반응을 예측하는 Visual Emotion Analysis (VEA)의 정밀도와 공정성을 향상시키기 위해 새로운 프레임워크 BOVIS를 제안합니다. 기존 연구들은 전체 이미지의 특징이나 객체의 의미 정보 중 하나에만 집중하여 감정 해석의 표현력이 부족하거나 편향된 결과를 초래하는 한계를 보였습니다. BOVIS는 이러한 문제를 해결하기 위해 두 가지 핵심 전략을 결합합니다. Object-Enhanced Feature Integration을 통해 이미지의 전체적 맥락, 객체 수준의 시각 정보, 그리고 텍스트 기반 의미 정보를 통합적으로 활용하여 감정의 미묘한 뉘앙스를 포착합니다. 그리고 Bias-Mitigation Loss 설계를 통해 Mikel’s Emotion Wheel 기반 감정 간 거리 정보를 반영한 Emotion Loss, 샘플별 불균형을 고려한 IPW-MAE, 극단 오차에 민감한 GMAE, 그리고 분류 정확도를 높이기 위한 Cross Entropy Loss를 조합한 가중합 손실 함수 구조를 적용하여 데이터 편향을 효과적으로 완화합니다. BOVIS는 유사한 감정 간의 세밀한 구분이 필요한 상황에서도 높은 예측 정확도를 보였으며, 소수 클래스에 대한 편향된 학습 문제를 효과적으로 완화하여 감정 예측의 공정성과 신뢰도를 크게 향상시켰습니다. 이러한 특성은 감성 인식 기반의 멀티에이전트 협력 환경 등 실제 응용 시나리오에서도 높은 활용 가능성을 보여줍니다. 3) (CIKM 2025) “Streamlining Feature Interactions via Selectively Crossing Vectors for Click-Through Rate prediction” 논문은 장병우 연구원(석사과정), 박진희 연구원(석사과정)이 저자로 참여하였고, 박은일 교수가 교신저자로 참여하였습니다. 이 논문은 계산 효율적인 클릭률 예측(Click-Through Rate, CTR) 모델을 제안합니다. 저자들은 여러 대표적인 CTR 모델을 대상으로 실험한 결과, 전체 상호작용(feature interaction)의 최대 90%를 제거해도 성능 저하가 거의 없으며, 많은 상호작용이 불필요하거나 오히려 노이즈로 작용할 수 있음을 확인했습니다. 이를 바탕으로 상호작용 학습을 ‘희소(sparse) 엣지 선택’ 문제로 재정의하는 새로운 접근을 제시합니다. 제안하는 Selectively Crossing Vectors(SCV)는 모든 입력 인스턴스에 대해 전역적으로 공유되는 핵심 상호작용 그래프(core interaction graph)를 학습하는 Pessimistic Feature Selection(PFS)를 이용해 희소성을 확보합니다. 이후 입력별로 적합한 상호작용을 선택하기 위해 여러 개의 core interaction graph를 구성하고, 이를 단계적인 Mixture of Experts(MoE) 구조인 Multi-Level Expert Learning(MEL)로 결합해 전역 구조의 일관성과 지역적 적응성을 동시에 달성합니다. 마지막으로, 학습 과정의 불안정성을 완화하기 위해 라벨 정보를 편향 신호로 활용하는 Label-Biased Objective(LBO)를 적용합니다. SCV는 희소성을 높임과 동시에 표현력과 학습 안정성을 향상하여, 4개의 벤치마크에서 기존 모델 대비 최대 66%의 FLOPs를 절감하면서도 대부분의 데이터셋에서 SOTA 성능을 달성합니다. | DXLab. | https://dsl.skku.edu
-
- 작성일 2025-08-11
- 조회수 2771
-
- [연구] 김재광 교수 연구실(mainLab), CIKM 2025 논문 게재 승인
- main Lab. 연구실 (지도교수: 김재광) 논문이 인공지능 분야의 Top-tier 국제학술대회 CIKM (Conference on Information and Knowledge Management) 2025에 게재 승인되었습니다. 두 편의 논문은 25년 11월 서울 코엑스에서 발표될 예정입니다. 1) "RadialFocus: Geometric Graph Transformers via Distance-Modulated Attention" 논문은 김산 (소프트웨어학과 박사과정), 이승준 (실감미디어공학과 석사과정), 오시찬 (전기전자컴퓨터공학과 석사과정) 이 저자로 참여하였고 김재광 교수가 교신저자로 참여하였습니다. RadialFocus Graph Transformer는 그래프 내 거리 정보를 똑똑하게 활용하는 인공지능 모델입니다. 복잡한 위치 인코딩이나 가상 노드 없이, 각 주의(head)에 거리 기반 함수(RBF)를 넣어 가까운 노드에 더 집중하도록 학습합니다. 이 방식은 메모리 부담이 적고 정확도도 높습니다. 분자 예측, 결합력 예측, 이미지 그래프 분류 등 다양한 분야에서 기존보다 적은 파라미터로 뛰어난 성능을 보였으며, 거리 중심과 범위를 자동으로 학습해 중요한 거리 범위를 효과적으로 파악합니다. 2) "Spectral Edge Encoding - SEE: Does Structural Information Really Enhance Graph Transformer Performance?" 논문은 이승준 (실감미디어공학과 석사과정), 김산 (소프트웨어학과 박사과정), 김조현 (인공지능융합학과 학석박과정) 이 저자로 참여하였고 김재광 교수가 교신저자로 참여하였습니다. Spectral Edge Encoding(SEE)는 그래프에서 각 연결(edge)이 전체 구조에 얼마나 중요한지를 스펙트럼(고유값) 변화를 통해 계산하는 방법입니다. 학습할 파라미터 없이 작동하며, 이 정보를 그래프 트랜스포머의 주의(attention) 과정에 반영해 구조 인식을 높입니다. Moiré Graph Transformer에 적용한 결과, 분자 데이터 분류 성능이 크게 향상되어 평균 ROC-AUC 85.3%를 기록했고, 기존 최고 모델보다 7.1%p 높았습니다. 또한 SEE는 분자의 구조 정보를 잘 보존하고, 해석 가능성도 제공해 실용적인 장점을 갖습니다.
-
- 작성일 2025-08-07
- 조회수 2603
-
- [연구] 보안공학연구실(지도교수: 김형식), USENIX Security 2025에 논문 4편 채택
- 보안공학연구실(지도교수: 김형식)은 컴퓨터 보안 분야 최고 권위의 국제학술대회 중 하나인 USENIX Security Symposium 2025에 연구 성과 4편이 채택되는 성과를 거두었습니다. 논문1. TAPAS: An Efficient Online APT Detection with Task-guided Process Provenance Graph Segmentation and Analysis (공동연구: Nanjing University, University of Western Australia) 본 논문은 APT 공격의 전조를 추적하는 시스템 행위 그래프에서 핵심 정보만을 추출하고, APT 공격을 수행하기 위한 작업 단위로 동작을 분리하여 초기에 탐지가 가능한 분석 프레임워크 TAPAS를 제안합니다. 특히, TAPAS는 실시간 탐지가 요구되는 실제 환경에서도 성능을 유지할 수 있는 APT 대응 기술의 새로운 기준을 제시했다는 점에서 큰 의의를 갖는다고 설명할 수 있습니다. 본 연구의 1저자인 Bo Zhang은 현재 보안공학연구실에 1년간 방문연구원으로 연구에 참여하고 있습니다. 논문2. Logs In, Patches Out: Automated Vulnerability Repair via Tree-of-Thought LLM Analysis (공동연구: 고려대학교) 소프트웨어 취약점 패치는 여전히 개발자의 수작업에 크게 의존하는 분야입니다. 본 논문에서는 LLM을 활용하여 sanitizer 로그와 소스 코드만으로 취약점을 이해하고 수정 위치를 식별하며, 보안 패치를 생성하는 시스템 SAN2PATCH를 제안합니다. 특히 Tree-of-Thought 기반의 다단계 추론 구조를 도입하여 LLM의 reasoning 능력을 극대화했고, 단순히 패치를 생성하는 데 그치지 않고 코드 기능의 보존 여부까지 검증하는 과정을 통해 실효성을 확보했습니다. 김형식 교수는 본 연구의 교신저자로 참여했으며, 본 연구는 LLM을 이용한 소프트웨어 보안 분야에서 실제 적용 가능한 취약점 패치 자동화 기법을 제시한 선도적 사례로 평가받고 있습니다. 논문3. Evaluating the Effectiveness and Robustness of Visual Similarity-based Phishing Detection Models (공동연구: University of Tennessee, 성균관대학교 구형준 교수) 최근 visual similarity 기반 피싱 탐지 기술이 각광받고 있으나, 이러한 탐지 기술이 실제 환경에서도 효과적인지에 대한 분석은 부족했습니다. 이 논문은 45만 개 이상의 실제 피싱 웹사이트 데이터를 수집·분석하여 최신 탐지 모델의 정확도와 회피 가능성을 정량적으로 평가했습니다. 연구 결과, 기존 시스템 대부분이 단순한 시각 조작(예: 로고 제거, 폰트 변경 등)에도 쉽게 우회 당할 수 있음을 확인했습니다. 본 연구는 실효성 높은 피싱 탐지 시스템 개발을 위한 평가 기준과 개선 방향을 제시했다는 점에서 중요한 전환점으로 평가됩니다. 본 논문은 University of Tennessee의 김두원 교수 연구팀, 성균관대학교 구형준 교수, 보안공학 연구실 졸업생 이기호(현 ETRI) 연구원 등이 함께 참여했습니다.. 논문4. Too Much of a Good Thing: (In-)Security of Mandatory Security Software for Financial Services in South Korea (공동연구: Theori, KAIST, 고려대학교) 한국의 금융/정부 웹사이트에서 필수적으로 설치되는 보안 소프트웨어가 보안 취약점을 갖고 있음을 분석한 연구입니다. 본 논문은 해당 프로그램들이 웹 브라우저 보안 모델과 충돌하고, TLS 오용 및 샌드박스 우회와 같은 근본적인 보안 설계 결함을 내포하고 있음을 실증적으로 분석하였습니다. 실제로 키로깅, 원격 코드 실행, 프라이버시 침해와 같은 고위험 취약점 19개를 확인하고 이를 각 기관에 보고하였습니다. 김형식 교수가 교신저자로 참여하였으며, 본 연구는 Theori, KAIST, 고려대학교와의 협업으로 수행되었습니다. 관련 기사: https://www.boannews.com/media/view.asp?idx=137500
-
- 작성일 2025-08-07
- 조회수 2782
-
- [연구] CSI 연구실(지도교수: 김유성), CIKM 2025 논문 게재 승인
- CSI 연구실 (지도교수: 김유성) 논문이 인공지능 분야의 Top-tier 국제학술대회 CIKM (Conference on Information and Knowledge Management) 2025에 게재 승인되었습니다. "Temporal Distance-aware Subgoal Generation for Offline Hierarchical Reinforcement Learning" 논문은 박태건 (석사졸업), 백승호 (석사과정), 박종찬 (박사과정), 오승준 (박사과정) 군이 저자로 참여했습니다. AI 로봇이 길고 보상 정보가 희소한 작업을 잘 수행하려면 전체 목표를 세부 단계(subgoal)로 나누는 계층적 강화학습(HRL) 이 효과적입니다. 하지만 기존 HRL 연구들은 수집된 데이터의 모든 상태에 대해 일정 간격 단위로 서브골 후보로 삼아 비효율적이고 생성되는 서브골 품질 역시 낮은 한계가 있습니다. 본 논문에서는 자기지도 학습으로 시간 거리(temporal distance) 기반 표현을 사전 학습하여, 시간적으로 효율적인 움직임을 보여준 상태들을 구분할 수 있습니다. 전체 데이터 중 1% 미만의 '앵커 상태(anchor states)' 를 서버골 후보로 선별하여 고수준 정책을 학습합니다. 저수준 정책은 현재 상태가 서브골 방향으로 얼마나 잘 이동는지 기반으로 내재적 보상(intrinsic reward) 을 부여하여 효율적으로 학습할 수 있습니다. 다양한 로봇 제어 환경에서 (either numeric state or visual state) 실험 결과, 기존 최신 기법들보다 약 13.5% 높은 성능을 기록하며 특히 장기 작업에서 우수한 효과를 보였습니다. | CSI Lab. | https://csi-skku.github.io
-
- 작성일 2025-08-06
- 조회수 2590
-
- [연구] [구형준 교수] SecAI 연구실, ACM Conference on Computer and Communications Security (CCS) (CCS ’25) 논문 게재 승인
- [구형준 교수] SecAI 연구실, ACM Conference on Computer and Communications Security (CCS) (CCS ’25) 논문 게재 승인 SecAI 연구실 (지도교수 구형준, https://secai.skku.edu)의 Shakhzod 학생 (석사과정)과 전미진 (석사과정) 학생의 "A Decade-long Landscape of Advanced Persistent Threats: Longitudinal Analysis and Global Trends" 논문이 보안분야 최우수학회인 ACM Conference on Computer and Communications Security (CCS’25)에 게재 승인되어 2025년 10월에 발표될 예정입니다. 지능형 지속 공격 (Advanced Persistent Threat, APT)은 주로 국가의 지원을 받는 공격자들이 장기간에 걸쳐 은밀하게 수행하는 사이버 공격으로, 정부 기관이나 주요 인프라를 대상으로 하여 장시간 탐지되지 않은 채 지속되는 특징이 있습니다. 이러한 위협을 모니터링하고 이해하기 위해 산업계와 학계는 공개된 APT 캠페인 관련 문서들을 기반으로 협력하여 다양한 분석을 수행하고 있습니다. 기존 연구들은 주로 APT 탐지 및 평가, 사이버 위협 인텔리전스 (Cyber Threat Intelligence, CTI) 구축, 데이터셋 생성 등 특정 영역에 집중되어 왔으나, 흩어진 문서들을 거시적으로 연결하고 재조명하는 연구는 부족한 상황입니다. APT 캠페인은 시간이 흐르면서 공격자의 전략, 대상, 수단이 변화하는 복합적 양상을 보이기 때문에 이러한 장기적 관점에서의 분석은 APT의 진화 경향을 파악하는 데 중요한 의미를 가집니다. 본 논문에서는 지난 10년 간 (2014–2023) 수집된 총 1,509건의 개별 APT 기술 보고서 (24,215페이지)를 분석하여 603개의 고유한 APT 그룹을 식별하고, 이를 통해 APT 공격의 전반적 양상과 글로벌 트렌드를 거시적 관점에서 분석합니다. 이를 위해 기술 보고서를 중심으로 한 세 가지 소스와 위협 행위자 중심의 또 다른 세 가지 소스를 포함한 신뢰할 수 있는 6개 출처와 177개의 관련 뉴스 기사를 활용하였으며, 대용량 문서 처리를 위해 규칙 기반 정보 검색 기법과 대형 언어 모델(LLM) 기반 검색 기법을 결합한 하이브리드 기법을 적용하였습니다. 그 결과, APT 캠페인의 10년간 진화 과정, 사이버 위협 인텔리전스 기록 현황, APT의 공통적 특성, 그리고 정치적 사건, 국제 분쟁, 글로벌 팬데믹 등 외부 요인이 APT 활동에 미치는 영향 등을 종합적으로 분석할 수 있었습니다. 특히 10년 동안 총 154개국이 APT의 영향을 받았으며, 초기 침입 벡터로는 주로 악성 문서와 스피어 피싱이 사용되었고 2016년 이후 제로데이(zero-day) 취약점 활용이 감소하는 추세를 보였습니다. 또한, APT의 글로벌 동향을 직관적으로 이해할 수 있도록 APT 지도와 위협 행위자들과 표적 국가들 간의 관계를 보여주는 흐름도를 통해 시각화 자료도 제공합니다.
-
- 작성일 2025-07-23
- 조회수 2877
-
- [연구] 보안공학연구실(지도교수: 김형식), ACL 2025에 논문 Oral 세션 채택
- 보안공학연구실(지도교수: 김형식)은 국가보안기술연구소와 KAIST와 공동으로 수행한 연구 결과가 인공지능 자연어처리 분야 최우수 국제학술대회인 ACL 2025 메인 컨퍼런스에 채택되었으며, 특히 전체 3,000여 편 이상의 채택 논문 중 상위 243편에만 주어지는 Oral 발표 세션에 선정되었습니다. 해당 논문은 국보연 소속이자 KAIST 박사과정인 고우영 연구원이 제1저자로 참여하였고, 김형식 교수는 공동연구자로 참여하였습니다. XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean 본 논문은 거대언어모델(LLM)이 생성한 한국어 뉴스 댓글을 탐지하고, 작성한 AI 모델까지 식별할 수 있는 설명가능 인공지능(XAI) 기반 탐지 프레임워크 ‘XDAC’을 세계 최초로 제안한 연구입니다. 특히 평균 50자 내외의 짧고 구어체인 한국어 댓글이라는 현실적 조건 속에서도 AI 생성 여부를 98.5%의 정밀도로 탐지하고, 어떤 LLM이 생성했는지도 84.3%의 정확도로 식별할 수 있다는 점에서 기존 SOTA 기술을 뛰어넘는 성과를 입증했습니다. 이번 연구는 AI를 활용한 여론 조작 가능성이 현실적인 위협으로 떠오르고 있는 상황에서, 짧고 비정형 적인 한국어 댓글 환경에서도 실효성 있는 방어 기술을 제시하였다는 점에서 높은 평가를 받았으며, 향후 포털 플랫폼 및 정부 차원의 기술 도입 가능성까지 고려할 수 있는 핵심 기술로 주목받고 있습니다. 프로젝트 소스 코드: https://github.com/airobotlab/XDAC/tree/main 뉴스 기사: https://www.ddaily.co.kr/page/view/2025062717211207639
-
- 작성일 2025-06-30
- 조회수 4529
-
-
- [연구] [이지형 교수] 정보 및 시스템 연구실, ACL 2025 논문 1편 게재 승인
- 정보 및 지능 시스템 연구실(지도교수:이지형)의 논문 1편이 자연어처리 분야의 최우수 국제학술대회인 ACL 2025 (“The 63rd Annual Meeting of the Association for Computational Linguistics”)에 게재 승인되었습니다. 논문은 7월 오스트리아 빈에서 발표될 예정입니다. 제목 : “DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph” 저자: 이지형*(인공지능학과 석사과정), 이진섭*(인공지능학과 석박통합과정), 이재훈(인공지능학과 석사과정), 최윤석 (성균관대 컴퓨터교육학과 조교수/소프트웨어학과 박사졸업) (*공동 1저자) “DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph” 논문에서는 자연어 문장을 SQL 쿼리로 변환하는 Text-to-SQL 태스크에서 효과적인 In-context Learning을 위한 예제 선택 기법을 제안합니다. In-context Learning은 소수의 예제를 활용하여 모델이 문제를 해결하도록 유도하는 방식이지만, 기존의 예제 선택 방법은 무작위 선택과 비교해 성능 차이가 크지 않으며, 특히 Llama 3.1-8B와 같은 소형 언어 모델에서는 성능이 크게 저하되는 한계를 보입니다. 이는 기존 방식들이 In-context Learning을 효과적으로 활용했다기보다는, 모델 자체의 내재적 능력에 의존해 성능을 얻었음을 시사합니다. 이러한 문제를 해결하기 위해, 본 연구는 질문과 데이터베이스 스키마 간의 핵심 정보와 문맥적 관계를 반영한 문맥 기반 스키마 연결 그래프를 활용하여, In-context Learning에 보다 적합한 예제를 선별하는 방법을 제안합니다. 다양한 Text-to-SQL 벤치마크 데이터셋에 대한 실험을 통해 초거대 언어 모델뿐만 아니라 소형 모델에서도 SQL 생성 성능을 향상시켜, 모델 규모에 관계없이 일관된 성능 개선과 실용적인 효과를 확인할 수 있었습니다. Abstract: Text-to-SQL, which translates a natural language question into an SQL query, has advanced with in-context learning of Large Language Models (LLMs). However, existing methods show little improvement in performance compared to randomly chosen demonstrations, and significant performance drops when smaller LLMs (e.g., Llama 3.1-8B) are used. This indicates that these methods heavily rely on the intrinsic capabilities of hyper-scaled LLMs, rather than effectively retrieving useful demonstrations. In this paper, we propose a novel approach for effectively retrieving demonstrations and generating SQL queries. We construct a Deep Contextual Schema Link Graph, which contains key information and semantic relationship between a question and its database schema items. This graph-based structure enables effective representation of Text-to-SQL samples and retrieval of useful demonstrations for in-context learning. Experimental results on the Spider benchmark demonstrate the effectiveness of our approach, showing consistent improvements in SQL generation performance and efficiency across both hyper-scaled LLMs and small LLMs.
-
- 작성일 2025-05-21
- 조회수 5167
High Tech, High Touch