FLAG Control: Enhancing Training-Free Control Diffusion with Face Landmark-Aware Spatial Guidance

FLAG Control: 얼굴 랜드마크 기반 구조 가이던스를 활용한 Training-Free Control Diffusion 모델 성능 향상

FreeControl은 재학습 없이 다양한 조건에 따라 텍스트-이미지 생성을 제어할 수 있는 diffusion 기반 모델로, 포즈나 형태 등은 구조 가이던스, 스타일·색감·이미지 구도 등은 외향 가이던스를 통해 제어된다. 그러나 인물 생성 시 얼굴의 정체성(눈·코·입의 위치, 비율, 구도 등)을 유지하는 데 한계가 있으며, 배경이나 손 등 다른 시각적 요소와 혼재되어 얼굴 표현이 왜곡되는 문제가 발생한다. 이는 기존 가이던스만으로는 얼굴과 같은 정밀한 영역을 충분히 제어하지 못하고, 전경(foreground)에 대한 집중도가 낮기 때문이다. 본 논문에서는 얼굴 랜드마크 기반의 새로운 가이던스인 FLAG(Face Landmark-Aware Guidance)를 제안한다. FLAG는 참조 이미지에서 추출한 얼굴 랜드마크를 기반으로 피처의 일관성을 유지하도록 유도하며, Soft Attention Mask를 통해 얼굴 영역에 집중된 손실을 적용함으로써 자연스럽고 안정적인 인물 표현을 가능하게 한다.