[우홍욱 교수] CSI 연구실, NeurIPS 2024 논문 게재 승인 (3편)

[우홍욱 교수] CSI 연구실, NeurIPS 2024 논문 게재 승인 (3편) CSI연구실 (지도교수: 우홍욱)의 3편의 논문이 인공지능 분야 우수학회인 NeurIPS 2024 (Thirty-Eighth Annual Conference on Neural Information Processing Systems) 에 게재 승인(Accept) 되었습니다. 논문은 24년12월 캐나다 벤쿠버에서 발표될 예정입니다. 1. 논문 “LLM-based Skill Diffusion for Zero-shot Policy Adaptation” 은 소프트웨어학과 김우경 (박사과정), 이영석 (박사과정), 김주영 (학사과정) 연구원이 저자로 참여했습니다. 최근 계층적 스킬 기반 정책 학습 방법이 순차적 의사 결정 문제에 대응하는 데 인기를 얻은 반면, 해당 접근 방법은 다양한 자연어로 명시된 사용자의 요구사항에 제로샷(Zero-shot)으로 적응하는 데에는 한계가 있었습니다. 본 연구에서는 LLM의 코드 생성 능력과 손실함수로 제어 가능한 확산 모델(Diffusion Model)을 활용하여, 자연어로 명시된 컨텍스트에 제로샷 적응이 가능한 LDuS (LLM-based Skill Diffusion) 프레임워크를 제안합니다. LDuS는 도메인 변화가 심한 다중 모달리티 로봇 동작 환경에서, 기존의 모방 학습보다 우수한 적응성을 지닙니다. 2. 논문 “Exploratory Retrieval-Augmented Planning For Continual Embodied Instruction Following” 은 소프트웨어학과 유민종 (석박통합과정), 장진우 (석박통합과정) 연구원이 저자로 참여했습니다. 본 연구는 Non-stationary 물리 환경에서 하나가 아닌 여러 개의 지속적인 사용자 지시(Multiple Continuous Instruction Following)를 수행하는 임베디드 에이전트를 위한 탐색 기반 검색 증강 계획 (Exploratory Retrieval-Augmented Planning, ExRAP) 프레임워크를 제안합니다. 이 프레임워크는 최신 LLM의 추론 능력을 활용하여 에이전트가 동적이고 변화하는 환경에서 실시간으로 지시를 수행할 수 있도록 합니다. 이 과정에서 ExRAP은 환경 정보 메모리를 활용하여, 에이전트가 다중 지시의 조건을 이해하고, 이러한 조건에 맞추어 작업을 자원 효율적으로 계획하고, 물리 환경 특성에 맞추어 실행할 수 있습니다. 또한, 물리 환경과의 상호작용을 최소화하는 태스크 수행을 위하여, 정보 기반 환경 탐색을 통합적으로 수행합니다. 이를 통해, 환경 정보의 유효성을 보장하고 전체적인 에이전트의 작업 성능을 향상시킵니다. 3. 논문 “Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation” 은 소프트웨어학과 이대희 (석박통합과정), 유민종 (석박통합과정), 김우경 (박사과정), 최원제 (박사과정)연구원이 저자로 참여했습니다. 본 논문은 로봇 어플리케이션의 평생 모방학습 (Continual Imitation Learning, CiL)에서 발생하는 세 가지 주요 문제를 다룹니다: 1) long-horizon 환경에서의 전문가 데모 수집의 높은 비용과 비효율성, 2) 비정형적인 동적 환경에서의 적응력, 3) 개인정보 보호를 위한 Unlearning. 해당 연구는 프로토타입 기반 스킬 증분 학습을 통해 저수준 스킬을 이산적인 프로토타입으로 표현하고, 이를 통해 에피소드 재생 없이 행동 지식의 순방향 및 역방향 전이를 향상시키며, 비정형적인 CiL 환경에서 효율적인 작업 적응과 작업에 대한 즉각적인Unlearning을 가능하게 하는 IsCiL (Incremental skills for continual imitation learning) 프레임워크를 제안합니다. Franka-Kitchen과 Meta-World 실험을 통해 IsCiL프레임워크는 새로운 작업에 대한 적응력과 unlearning 시나리오에서의 기능적 특성을 입증하며, 기존 방법들보다 우수한 성능을 보였습니다. CSI 연구실은 머신러닝, 강화학습, 자기지도학습, LLM 활용을 통해, (1) 체화형 에이전트 (Embodied Agent) (2) 평생학습 성장향 에이전트 (Lifelong Learning Agent) (3) 드론, 클라우드, 자율주행 시스템 최적화 연구를 수행하고 있습니다. 이번 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업, BK21 FOUR 사업(BK21), 삼성전자 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group

고영중교수 연구실(자연어처리 연구실), EMNLP 2024 논문게재 승인

자연어처리연구실(NLP lab, 지도교수: 고영중)의 논문 2편이 인공지능 및 자연어처리 분야의 Top-tier 국제학술대회인 EMNLP 2024(The 2024 Conference on Empirical Methods in Natural Language Processing)의 Industry Track에 게재 승인되었습니다. 각 연구는 NAVER, NC Soft와 산학 협력을 통해 이루어졌습니다. 논문#1: Hyper-QKSG: Framework for Automating Query Generation and Knowledge-Snippet Extraction from Tables and Lists (인공지능학과 박사과정 김두영, 인공지능학과 석사과정 장윤진, NAVER 산학) 논문 요약: 본 연구에서는 지식스니펫의 커버리지를 자동으로 확장하는 프레임워크를 제안합니다. 지식스니펫이란 검색엔진에서 검색 결과 상단에 위치하는 짧은 단락으로, 사용자가 쿼리에 대한 정보를 검색된 문서를 읽을 필요 없이 얻을 수 있도록 편의성을 제공하는 역할을 합니다. 테이블이나 리스트와 같이 복잡한 웹 문서구조에서 지식스니펫을 추출하기 위해서, 기존의 자연어 텍스트 기반의 언어모델을 HTML 기반의 언어모델으로 재학습하였으며, 문서로부터 쿼리와 지식스니펫을 추출하는 파이프라인 시스템을 구축하였습니다. 또한 본 연구에서 자동으로 지식스니펫의 커버리지를 확장하는 과정에서 생성되는 다양한 노이즈 지식스니펫-쿼리 쌍에 대해서 필터링 및 개선 방법을 제안하였습니다. 실제 검색 환경에서 자동 확장된 지식스니펫 데이터베이스를 기반으로 정성평가를 진행한 결과 반환된 지식스니펫이 사용자 쿼리에 대해 유용한 정보를 제공할 수 있음을 보였으며, 기존에 테이블이나 리스트에서 지식스니펫을 뽑지 못하는 한계를 극복하고 다양한 HTML 구조에서 지식스니펫을 추출하여 정보를 제공할 수 있음을 보였습니다. Abstract: These days, there is an increasing necessity to provide a user with a short knowledge-snippet for a query in commercial information retrieval services such as the featured snippet of Google. In this paper, we focus on how to automatically extract the candidates of query-knowledge snippet pairs from structured HTML documents by using a new Language Model (HTML-PLM). In particular, the proposed system is powerful on extracting them from Tables and Lists, and provides a new framework for automate query generation and knowledge-snippet extraction based on a QA-pair filtering procedure including the snippet refinement and verification processes, which enhance the quality of generated query-knowledge snippet pairs. As a result, 53.8% of the generated knowledge-snippets includes complex HTML structures such as tables and lists in our experiments of a real-world environments, and 66.5% of the knowledge-snippets are evaluated as valid. 논문#2: RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings (인공지능학과 박사과정 최봉근, 인공지능학과 석박통합과정 박정재, NC Soft 산학) 논문 요약: “RAC: Retrieval-augmented Conversation Dataset for Open-domain Question Answering in Conversational Settings” 논문은 NC Soft와 산학 협력을 통해 구축한 데이터셋을 소개합니다. 해당 데이터셋은 검색 기반의 대화형 질의응답 문제를 다루고 있으며, 구체적으로 대화 문맥 내에서 사용자의 질문에 대한 사실 기반의 응답을 하기 위해 문맥 기반의 질의 재작성, 문서 검색, 문서 재순위화, 응답 생성의 과정을 포함하고 있습니다. 특히, 기존의 대화형 질의응답 데이터들이 검색된 문서 내의 일부 단어 혹은 문장을 추출하여 응답으로 사용하는 반면, 검색된 문서를 반영하여 사람과 같은 자연스러운 응답을 생성할 수 있는 것을 목표로 하고 있습니다. 본 논문에서는 데이터셋과 함께 BM25와 한국어 Dense Retriever을 기반으로 한 문서 검색 성능 및 Ko-BART와 LLM(GPT-4o-mini)을 기반으로 한 응답 생성 성능을 Baseline으로 제공하고 있습니다. Abstract: In recent years, significant advancements in conversational question and answering (CQA) have been driven by the exponential growth of large language models and the integration of retrieval mechanisms that leverage external knowledge to generate accurate and contextually relevant responses. Consequently, the fields of conversational search and retrieval-augmented generation (RAG) have obtained substantial attention for their capacity to address two key challenges: query rewriting within conversational histories for better retrieval performance and generating responses by employing retrieved knowledge. However, both fields are often independently studied, and comprehensive study on entire systems remains underexplored. In this work, we present a novel retrieval-augmented conversation (RAC) dataset and develop a baseline system comprising query rewriting, retrieval, reranking, and response generation stages. Experimental results demonstrate the competitiveness of the system and extensive analyses are conducted to apprehend the impact of retrieval results to response generation. 고영중 교수: yjko@skku.edu, nlp.skku.edu, 자연어처리연구실: nlplab.skku.edu

김장현교수 연구실 (DSSAL연구실), EMNLP 2024 논문 게재 승인

DSSAL연구실 (지도교수: 김장현)의 논문이 자연어 처리 분야의 Top-tier 학술대회인 EMNLP 2024 (The 2024 Conference on Empirical Methods in Natural Language Processing) Main Conference에 게재 승인(Accept) 되었습니다. 논문은 24년 11월 미국 플로리다에서 발표될 예정입니다. 논문 “Kiss up, Kick down: Exploring Behavioral Changes in Multi-modal Large Language Models with Assigned Visual Personas” 은 인공지능융합학과 선승종(박사과정), 이은구(석사과정) 이 제1저자로 참여했으며, 실감미디어공학과 백서연(석사과정), 데이터사이언스융합전공 황승현 (석사과정), 인공지능융합학과 이원병(석사과정)이 공저자로 참여하였습니다. 본 연구는 멀티 모달 대형 언어 모델(MLLM)이 시각적 페르소나와 그들의 행동을 일치시킬 수 있는지 여부를 탐구한 최초의 연구로, 주로 텍스트 기반 페르소나에 집중해왔던 기존 문헌에서 중요한 공백을 다루고 있습니다. 우리는 MLLM에 시각적 페르소나를 할당하기 위해 5,185개의 가상의 아바타 이미지로 구성된 새로운 데이터셋을 개발하고, 이 이미지들에서 묘사된 시각적 특성, 특히 공격성을 바탕으로 협상 행동을 분석했습니다. 결과에 따르면, MLLM은 인간과 유사한 방식으로 이미지의 공격성을 평가하며, 공격적인 시각적 페르소나로 프롬프트를 제공받았을 때 더 공격적인 협상 행동을 출력했습니다. 흥미롭게도, MLLM은 상대방의 이미지가 자신의 이미지보다 덜 공격적으로 보일 때 더 공격적인 협상 행동을 보였으며, 반대로 상대방의 이미지가 더 공격적으로 보일 때는 덜 공격적인 행동을 보였습니다. 김장현| alohakim@skku.edu | DSSALab | https://sites.google.com/g.skku.edu/dssal

우홍욱 교수 연구실 (CSI연구실), EMNLP 2024 논문 게재 승인

CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 EMNLP 2024 (The 2024 Conference on Empirical Methods in Natural Language Processing) 에 Findings 게재 승인(Accept) 되었습니다. 논문은 24년 11월 미국 플로리다에서 발표될 예정입니다. 논문 “LLM-Based Offline Learning for Embodied Agents via Consistency-Guided Reward Ensemble” 은 소프트웨어학과 신상우 (석사졸업), 이유정 (석사과정) 이 제1저자로 참여했으며, 아크릴 박외진 C박사가 공저자로 참여했습니다. 본 연구는 로봇 에이전트와 사용자간 명령형 대화에 기반하여 지시된 태스크 (Embodied Instruction-Following, EIF)를 수행할 때, 초거대언어모델 (LLM)을 활용하여 시공간적 일관성과 물리 환경에 기반한 보상(Reward)을 구성하는 CoREN(consistency-guided reward ensemble framework) 기법을 제안합니다. CoREN은 추가적인 환경 상호작용 없이 오프라인 데이터를 활용하여, LLM을 기반으로 문맥적, 구조적, 시간적 일관성을 갖춘 보상을 생성합니다. 이러한 보상들은 환경 기반 보상으로 조합되어 에이전트의 학습에 활용되며, 에이전트는 지정된 태스크에 맞는 스킬 실행 계획을 효과적으로 수립하고 수행합니다. CoREN은 홈 로봇 에이전트 테스트 환경인 VirtualHome 벤치마크의 실험을 통해, 다양한 EIF 시나리오와 동적 환경 변화에 대해 SOTA 대비 강건한 성능을 낼 수 있음을 보여주었습니다. CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 연구 등을 수행하고 있습니다. 이번 EMNLP 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업, BK21 FOUR 사업(BK21), 정보통신기획평가원, 삼성전자 지원으로 진행 중 입니다. 우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group