[연구] 허재필 교수 연구실, CVPR 2023 논문 3편 게재 승인
- 소프트웨어융합대학
- 조회수1305
- 2023-04-24
비주얼컴퓨팅연구실(지도교수: 허재필)의 논문 3편이 컴퓨터 비전 및 인공지능 분야의 Top-tier 학술대회인 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023에 게재 승인되었습니다.
논문 #1: “Disentangled Representation Learning for Unsupervised Neural Quantization”
(인공지능학과 박사과정 노해찬, 인공지능학과 박사과정 현상익, 인공지능학과 박사과정 정우진)
논문 #2: "Query-Dependent Video Representation for Moment Retrieval and Highlight Detection" (인공지능학과 박사과정 문원준*, 인공지능학과 박사과정 현상익*) (* 공동1저자)
논문 #3: “Leveraging Hidden Positives for Unsupervised Semantic Segmentation”
(인공지능학과 석박통합과정 성현석, 인공지능학과 박사과정 문원준, 인공지능학과 박사과정 이수빈)
“Disentangled Representation Learning for Unsupervised Neural Quantization”에서는 비지도 양자화(unsupervised neural quantization)모델에서 역색인 구조(inverted file system)의 차벡터 인코딩(residual vector encoding)을 적용할 수 없다는 문제를 확인하였으며, 이를 해결하기 위해 새로운 네트워크 모듈을 제안하였습니다. 역색인 구조의 군집 센터(cluster center)의 정보를 네트워크의 잠재공간(latent space)에서 분리(disentangle)하여 양자화 코드북(quantization codebook)에 차벡터에 해당하는 정보만이 담기도록 설계하였습니다. 본 연구에서 제안된 네트워크는 비지도 양자화 분야의 기존 방법들을 크게 상회하는 성능을 달성하였습니다.
"Query-Dependent Video Representation for Moment Retrieval and Highlight Detection " 논문에서는 비디오에서 사용자가 원하는 부분을 요약하고, 하이라이트 영상을 취득하는 문제를 다루고 있습니다. 구체적으로, 사용자가 원하는 부분은 문자 즉 텍스트로 입력을 받게 되는데 기존 최신 모델 구조인 트랜스포머 구조를 사용하는 논문들에서는 텍스트의 중요성을 크게 다루지 않고 있다는 문제를 제기하였습니다. 이러한 문제를 해결하기 위해, 해당 논문에서는 크게 세 가지 방법을 제안하고 있습니다. 먼저, cross-attention 구조를 인코딩 앞 단에 도입하여 비디오 추출 과정에서 텍스트 정보가 미치는 영향을 키워주었고, 텍스트와 비디오 사이에 연관성을 더 잘 학습하기 위해 거짓 텍스트-비디오 페어를 추가적으로 학습하였습니다. 또한, 모든 텍스트-비디오 페어는 각기 다른 정보를 다루고 있기에 하이라이트를 예측하는 예측기를 주어진 입력에 따라 변화하여 입력-의존적인 예측기를 사용하고자 하였습니다. 총 세 가지 데이터셋을 사용하여 실험하였고, 사용자 요청에 알맞은 영상을 추출하는 것과 하이라이트를 추출하는 두 가지 문제에서 모두 일관된 성능 향상을 가져오는 것을 확인하였습니다.
“Leveraging Hidden Positives for Unsupervised Semantic Segmentation” 논문에서는 Unsupervised Semantic Segmentation를 위해 숨겨진 양성 샘플(hidden positive)을 찾아내 학습에 활용하는 새로운 방법을 제시하였습니다. 클래스 정보가 주어지지 않는 학습 상황에서 활용할 수 있을 만한 양성 샘플을 Global Hidden Positive(GHP)와 Local Hidden Positive(LHP)라는 두 가지 유형으로 정의하고, 이를 이용한 contrastive loss 설계와 그래디언트 전파(gradient propagation) 학습 전략으로 풍부한 의미 정보를 지역적 일관성을 유지하며 학습하였습니다. 이와 더불어 pretrained Vision Transformer(ViT)가 task-agnostic하다는 문제를 지적하여, 학습이 진행됨에 따라 좋은 quality를 가지게 되는 task-specific한 semantic information을 GHP를 정의하기 위한 추가적인 정보로 활용하였습니다. 제안된 기술은 Unsupervised Semantic Segmentation 분야에서 높은 성능을 달성하였습니다.
[논문 #1 정보]
Disentangled Representation Learning for Unsupervised Neural Quantization
Haechan Noh, Sangeek Hyun, Woojin Jeong, Hanshin Lim, and Jae-Pil Heo
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023
Abstract:
The inverted index is a widely used data structure to avoid the infeasible exhaustive search. It accelerates retrieval significantly by splitting the database into multiple disjoint sets and restricts distance computation to a small fraction of the database. Moreover, it even improves search quality by allowing quantizers to exploit the compact distribution of residual vector space. However, we firstly point out a problem that an existing deep learning-based quantizer hardly benefits from the residual vector space, unlike conventional shallow quantizers. To cope with this problem, we introduce a novel disentangled representation learning for unsupervised neural quantization. Similar to the concept of residual vector space, the proposed method enables more compact latent space by disentangling information of the inverted index from the vectors. Experimental results on large-scale datasets confirm that our method outperforms the state-of-the-art retrieval systems by a large margin.
[논문 #2 정보]
Query-Dependent Video Representation for Moment Retrieval and Highlight Detection
WonJun Moon, Sangeek Hyun, SangUk Park, Dongchan Park, and Jae-Pil Heo
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023
Abstract:
Recently, video moment retrieval and highlight detection~(MR/HD) are being spotlighted as the demand for video understanding is drastically increased. The key objective of MR/HD is to localize the moment and estimate clip-wise accordance level, i.e., saliency score, to the given text query. Although the recent transformer-based models brought some advances, we found that these methods do not fully exploit the information of a given query. For example, the relevance between text query and video contents is sometimes neglected when predicting the moment and its saliency. To tackle this issue, we introduce Query-Dependent DETR~(QD-DETR), a detection transformer tailored for MR/HD. As we observe the insignificant role of a given query in transformer architectures, our encoding module starts with cross-attention layers to explicitly inject the context of text query into video representation. Then, to enhance the model's capability of exploiting the query information, we manipulate the video-query pairs to produce irrelevant pairs. Such negative~(irrelevant) video-query pairs are trained to yield low saliency scores, which in turn, encourages the model to estimate precise accordance between query-video pairs. Lastly, we present an input-adaptive saliency predictor which adaptively defines the criterion of saliency scores for the given video-query pairs. Our extensive studies verify the importance of building the query-dependent representation for MR/HD. Specifically, QD-DETR outperforms state-of-the-art methods on QVHighlights, TVSum, and Charades-STA datasets.
[논문 #3 정보]
Leveraging Hidden Positives for Unsupervised Semantic Segmentation
Hyun Seok Seong, WonJun Moon, SuBeen Lee, and Jae-Pil Heo
IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023
Abstract
Dramatic demand for manpower to label pixel-level annotations triggered the advent of unsupervised semantic segmentation. Although the recent work employing the vision transformer (ViT) backbone shows exceptional performance, there is still a lack of consideration for task-specific training guidance and local semantic consistency. To tackle these issues, we leverage contrastive learning by excavating hidden positives to learn rich semantic relationships and ensure semantic consistency in local regions. Specifically, we first discover two types of global hidden positives, task-agnostic and task-specific ones for each anchor based on the feature similarities defined by a fixed pre-trained backbone and a segmentation head-in-training, respectively. A gradual increase in the contribution of the latter induces the model to capture task-specific semantic features. In addition, we introduce a gradient propagation strategy to learn semantic consistency between adjacent patches, under the inherent premise that nearby patches are highly likely to possess the same semantics. Specifically, we add the loss propagating to local hidden positives, semantically similar nearby patches, in proportion to the predefined similarity scores. With these training schemes, our proposed method achieves new state-of-the-art (SOTA) results in COCO-stuff, Cityscapes, and Potsdam-3 datasets.