Text-Conditional Floor Plan Retrieval Scheme Using Vision Language Model

비전 언어 모델을 사용한 텍스트 조건부 평면도 검색 기법

건축 설계의 초기 단계에서는 발주자와 설계자 간의 의사소통을 돕고 설계 업무의 효율성을 증대시키기 위해 요구사항이 유사한 평면도를 검색한다. 기존의 평면도 검색 시스템은 방의 유형, 개수, 면적과 같이, 제한적으로 입력된 메타데이터의 일치 여부만으로 평면도를 검색하기 때문에, 방 간의 연결관계나 위치 관계와 같은 공간의 의미론적인 특성을 반영하여 검색하지 못한다. 이러한 문제를 해결하기 위해, 본 논문은 평면도를 분석하여 방의 개수, 연결 관계, 위치 관계를 포함한 공간 구성 텍스트 데이터를 자동으로 생성하고, 이미지 임베딩 모델과 텍스트 임베딩 모델을 미세 조정하여, 공간 구성 텍스트의 의미론적인 특성을 반영할 수 있는 텍스트 조건부 평면도 검색 기법을 제안한다. 또한 방의 개수와 같은 수량 정보에 대한 검색 성능을 향상시키기 위해 임베딩 모델을 미세 조정하는 단계에서 개수 측정 손실 함수를 함께 적용하였다. 비교 실험 및 절제 연구 결과, 제안 기법은 기존 방법보다 검색 성능이 최대 54% 향상되었으며, 개수 측정 손실 함수를 적용한 경우에는 검색 성능이 최대 8.41% 추가로 개선되었다.