DSSAL연구실 (지도교수: 김장현)의 논문이 자연어 처리 분야의 Top-tier 학술대회인 EMNLP 2024 (The 2024 Conference on Empirical Methods in Natural Language Processing) Main Conference에 게재 승인(Accept) 되었습니다. 논문은 24년 11월 미국 플로리다에서 발표될 예정입니다.

논문 “Kiss up, Kick down: Exploring Behavioral Changes in Multi-modal Large Language Models with Assigned Visual Personas” 은 인공지능융합학과 선승종(박사과정), 이은구(석사과정) 이 제1저자로 참여했으며, 실감미디어공학과 백서연(석사과정), 데이터사이언스융합전공 황승현 (석사과정), 인공지능융합학과 이원병(석사과정)이 공저자로 참여하였습니다.

본 연구는 멀티 모달 대형 언어 모델(MLLM)이 시각적 페르소나와 그들의 행동을 일치시킬 수 있는지 여부를 탐구한 최초의 연구로, 주로 텍스트 기반 페르소나에 집중해왔던 기존 문헌에서 중요한 공백을 다루고 있습니다. 우리는 MLLM에 시각적 페르소나를 할당하기 위해 5,185개의 가상의 아바타 이미지로 구성된 새로운 데이터셋을 개발하고, 이 이미지들에서 묘사된 시각적 특성, 특히 공격성을 바탕으로 협상 행동을 분석했습니다. 결과에 따르면, MLLM은 인간과 유사한 방식으로 이미지의 공격성을 평가하며, 공격적인 시각적 페르소나로 프롬프트를 제공받았을 때 더 공격적인 협상 행동을 출력했습니다. 흥미롭게도, MLLM은 상대방의 이미지가 자신의 이미지보다 덜 공격적으로 보일 때 더 공격적인 협상 행동을 보였으며, 반대로 상대방의 이미지가 더 공격적으로 보일 때는 덜 공격적인 행동을 보였습니다.

김장현| alohakim@skku.edu | DSSALab | https://sites.google.com/g.skku.edu/dssal