Multi-modal approach for FASCODE-EVAL

FASCODE-EVAL을 위한 복합모달 접근방법

  • Published : 2021.10.14

Abstract

FASCODE-EVAL1은 고객과 시스템간의 의상 추천 대화 문맥과 해당 문맥의 요구사항을 고려한 의상셋 추천 목록으로 구성된다. 의상셋 추천 목록은 3개의 의상셋 후보로 구성되고, 문맥과 관련성이 높은 순서로 정렬된다. 해당 정렬을 찾는 방식으로 의상 추천 시스템 평가를 진행한다. 대화 문맥는 텍스트로 되어 있고, 의상 아이템은 텍스트로 구성된 자질 정보와 의상 이미지 정보로 구성된다. 본 논문은 FASCODE-EVAL 문제를 해결하기 위하여 트랜스포머 기반의 사전학습 언어모델을 이용하고, 텍스트 정보와 이미지 정보를 해당 언어모델에 통합하는 방법을 보여준다. FASCODE-EVAL 실험결과는 기존 공개된 결과들보다 우수한 성능을 보여준다.

Keywords

Acknowledgement

본 연구는 한국전자통신연구원 연구운영지원사업의 일환으로 수행되었음. [21ZS1100, 자율성장형 복합인공지능 원천기술 연구]