자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 1편이 

인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 ACL 2026

(The 64th Annual Meeting of the Association for Computational Linguistics)의 Findings에 게재되었습니다.

논문: ConvX: A Lightweight Converter to Bridge Indexed Dense Representations and Large Language Models for Retrieval-Augmented Generation

(인공지능학과 박사과정 최봉근, 인공지능학과 박사과정 김근하, 인공지능학과 석박사통합과정 한준호)

논문 요약: 본 연구에서는 RAG 파이프라인의 치명적인 효율성 문제와, 이를 해결하기 위한 기존 압축 기반 방법론들이 검색된 문맥을 다시 인코딩하며 발생하는 이중 인코딩(double-encoding) 문제를 해소하기 위해, 검색기가 생성한 색인된 밀집 표현(dense representation)을 직접 활용하여 긴 텍스트 문맥을 전적으로 대체하는 효과적인 압축 기반 RAG 프레임워크인 ConvX를 제안합니다. 제안한 방법은 경량 변환기(converter)를 통해 단일 밀집 표현을 고정된 수의 메모리 슬롯으로 확장합니다. 메모리 슬롯으로부터 문단 수준의 어휘 정보를 복원하도록 변환기를 학습합니다. 변환기를 통해 생성된 메모리 슬롯은 LLM의 기존 토큰 임베딩과 특성이 상이하므로, LLM이 메모리 슬롯에 대한 내용을 복원할 수 있도록 사전학습을 수행합니다. 이때, 다중 문서의 RAG 시스템에 적용할 수 있도록 단일 및 다중 문단 메모리 슬롯을 복원하도록 학습합니다. 이러한 설계는 입력 길이와 계산 오버헤드를 크게 줄이면서도 효율적인 지식 통합을 가능하게 합니다. 실험 결과, 제안한 모델은 RAG 환경에서 기존의 ad-hoc 문맥 압축 기법들 대비 우수한 성능을 달성하는 동시에, 추론 효율성을 크게 향상시킴을 확인하였습니다.

Abstract: Retrieval-Augmented Generation (RAG) has significantly advanced open-domain question answering and dialogue systems by incorporating external knowledge into large language models. Despite its effectiveness, existing RAG pipelines suffer from critical efficiency limitations. In particular, modern transformer-based generators exhibit quadratic or higher computational complexity with respect to input sequence length and hidden dimensionality, leading to substantial inference latency as model scales and contextual inputs increase. This issue is exacerbated in RAG settings, where retrieved contexts substantially expand the input prompt. To alleviate this challenge, we propose an effective compression-based RAG framework, ConvX, that directly leverages indexed dense representations produced by a retriever, entirely substituting to long text contexts. Our approach expands a single dense representation into a fixed number of memory slots using a lightweight converter to provide rich lexical information. This design enables efficient knowledge integration while significantly reducing input length and computational overhead. Empirical evaluations demonstrate that the proposed model achieves outstanding performances compared to existing ad-hoc context compression methods in RAG setting, while offering substantially improved inference efficiency.

고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu