CSI연구실 (지도교수: 우홍욱)의 논문이 인공지능 분야 우수학회인 ACL 2024 (The 62nd Annual Meeting of the Association for Computational Linguistics) 에 Findings 게재 승인(Accept) 되었습니다. 논문은 24년 8월 태국 방콕에서 발표될 예정입니다.

논문 “Semantic Skill Grounding for Embodied Instruction-Following in Cross-Domain Environments” 은 소프트웨어학과 신상우 (석사과정), 김승현 (석사과정) 이 제1저자로 참여했으며, LG AI연구원 이문태 랩장, 장영수 연구원이 공저자로 참여했습니다.

본 연구는 로봇 에이전트와 사용자간 명령형 대화에 기반하여 지시된 태스크 (Embodied Instruction-Following, EIF)를 수행할 때, 초거대언어모델 (LLM)을 활용하여, 지시된 태스크 수행에 필요한 스킬의 실행 방법을 타켓 환경에 맞추어 최적 변환하는 SemGro (Semantic Skill Grounding) 기법을 제안합니다. SemGro는 특정 물리적 환경 특성에 최적화된 (Long-horizon rich-semantic) 스킬부터 환경에 관계 없이 실행할 수 있는 일반화된 (Short-horizon low-semantic) 스킬을 계층적으로 관리하는 스킬 데이터베이스를 사전에 구성하고, 이를 태스크 수행시 실시간 참조하여, 지시된 태스크에 필요하면서 타켓 환경에 맞추어 실행가능한 스킬 실행 계획을 찾아내고 최적화합니다. SemGro는 홈 로봇 에이전트 테스트 환경인 VirtualHome 벤치마크의 실험을 통해, 다양한 EIF 시나리오와 동적 환경 변화에 대해 SOTA 대비 강건한 성능을 낼 수 있음을 보여주었습니다.

CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 연구 등을 수행하고 있습니다. 이번 ACL 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원, ICT명품인재양성사업 지원으로 진행 중 입니다.

우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group