[연구] 우홍욱 교수 연구실(CSI연구실), AAAI 2024 논문 게재 승인 (3편)
- 소프트웨어융합대학
- 조회수1149
- 2023-12-12
CSI연구실 (지도교수: 우홍욱)의 논문 3편이 인공지능 분야 우수학회인 AAAI 2024 (The 38th Annual AAAI Conference on Artificial Intelligence) 에 게재 승인(Accept) 되었습니다. 이번 논문은 24년 2월 캐나다 밴쿠버에서 발표될 예정입니다.
1. 논문 “SemTra: A Semantic Skill Translator for Cross-domain Zero-shot Policy Adaptation” 은 소프트웨어학과 신상우 (석사과정), 유민종 (박사과정), 이정우 (학부과정) 연구원이 저자로 참여했습니다.
본 연구는 로봇과 같은 체화형 에이전트 (Embodied Agent)가 주위 환경 변화에 추가 학습 없이 빠르게 대응할 수 있는 Zero-Shot 적응 기술에 관한 것으로, 비전, 센서, 사용자 명령어 등 멀티모달 데이터를 의미론적으로 해석 가능한 스킬 (Sematic Skill)로 변환하고, 이러한 스킬을 환경에 최적화하여 연속된 액션으로 실행하는 SemTra (Semantic Skill Translator) 프레임워크를 제시합니다. SemTra는 암묵적 행동 패턴을 사전 훈련된 언어모델을 통해 실행가능한 스킬(Skill, 연속된 행동 패턴)로 변환하는 연구 결과로, Meta-World, Franka Kitchen, RLBench, CARLA와 같은 로봇과 자율주행 환경에서 테스트되어 높은 성능을 보였습니다.
2. 논문 “Risk-Conditioned Reinforcement Learning: A Generalized Approach for Adapting to Varying Risk Measures” 은 소프트웨어학과 유광표 (박사과정)와 인공지능학과 박진우 (석사과정) 연구원이 저자로 참여했습니다.
본 연구는 금융, 로봇, 자율주행 등 위험이 내포된 중요한 의사결정이 요구되는 응용 분야에서 사용될 수 있는 위험 조건형 강화학습 모델 (Risk Conditioned Reinforcement Learning)을 제안합니다. 특히, 하나의 학습된 강화학습 모델을 통해 동적으로 변경되는 다양한 선호 리스크 수준에 대응할 수 있도록, 최초로 이종 리스크 측정 지표에 대한 단일한 표현이 가능한 Weighted Value-at-Risk (WV@R) 기반의 강화학습 모델 구조를 구현하며, 이를 통해 리스크 관리에 중점을 두는 여러 응용 분야에서 강화학습 기반의 의사 결정을 유연하게 처리합니다.
3. 논문 “Robust Policy Learning via Offline Skill Diffusion” 은 소프트웨어학과 김우경 (박사과정), 유민종 (박사과정) 연구원이 저자로 참여했습니다.
본 연구에서는 Diffusion 모델을 사용하여 데이터셋의 한정된 스킬에서 확장된 다양한 체화형 에이전트 스킬 (Embodied Agent Skill)을 생성하는 새로운 오프라인 학습 프레임워크인 DuSkill (Offline Skill Diffusion Model)을 제시합니다. DuSkill 프레임워크는 오프라인에서 학습된 스킬의 다양성을 증진시켜, 다중 태스크와 이종 환경 도메인에 대한 정책 학습 (RL Policy Learning) 절차를 가속화하고, 학습된 정책의 강건성을 향상합니다.
CSI 연구실은 머신러닝, 강화학습, 자기지도학습을 활용하여 네트워크, 클라우드 시스템 최적화 연구와 로봇, 드론 자율주행 등 Embodied Agent 분야 연구를 수행하고 있습니다. 이번 AAAI 2024 논문의 연구는 사람중심인공지능 핵심원천기술사업 (IITP), 한국연구재단 개인기초사업 (NRF), 인공지능대학원의 지원으로 진행 중 입니다.
우홍욱 | hwoo@skku.edu | CSI Lab | https://sites.google.com/view/csi-agent-group