한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리) (Annual Conference on Human and Language Technology)

한국정보과학회 언어공학연구회 (Human and Language Technology)
권호 표지

Attentive Aggregation(주의적 종합) 기반 크로스모달 임베딩

Attentive Aggregation based Cross-modal Embedding

  • 발행 : 2019.10.10
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

본 연구에서는 사진 검색을 위한 Attentive Aggregation(주의적 종합) 기반의 언어-시각 크로스모달 임베딩 모델을 제안한다. 본 연구에서는 크로스모달 임베딩을 활용한 검색 과제에서 검색 대상의 임베딩을 계산하는 새로운 방법으로 '질의 기반 종합 검색 대상 임베딩'을 제안하며, Attentive Aggregation 레이어를 활용하여 이를 적용한 크로스모달 임베딩 모델을 제안한다. 제안 모델은 정보량이 많은 사진 데이터로부터 여러 특징을 추출한 뒤 주어진 질의에 따라 이들을 선택적으로 반영한 임베딩을 계산할 수 있으며, 이에 따라 Recall@10 약 0.23, MAP@10 약 0.11, MRR 약 0.13으로 Baseline과 비교하였을 때 크게 향상된 사진 검색 성능을 보였다.

키워드

과제정보

이 논문은 연합뉴스로부터 한국어 정치 기사 데이터셋을 제공받아 수행한 연구임.