Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2025.05a
  • /
  • Pages.590-592
  • /
  • 2025
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Zero-shot Domain Adaptation for Human Action Recognition

교차 도메인 인간 행동 인식을 위한 제로샷 도메인 적응

  • Jeong-Cheol Lee (Dept. of Artificial Intelligence, Kyungpook National University) ;
  • Dong-Gyu Lee (Dept. of Artificial Intelligence, Kyungpook National University)
  • 이정철 (경북대학교 인공지능학과 ) ;
  • 이동규 (경북대학교 인공지능학과 )
  • Published : 2025.05.29
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 교차 도메인 인간 행동 인식에서 타겟 도메인의 시각 데이터 없이도 효과적인 도메인 적응이 가능한 새로운 제로샷 도메인 적응(Zero-shot domain adaptation) 방법을 제안한다. 기존의 도메인 적응 방법들은 타겟 도메인의 일부 시각 데이터를 필요로 하는 반면, 본 연구에서는 CLIP과 같은 시각-언어 모델 (Vision-language models)에서 추출한 의미 정보를 활용하여 타겟 도메인의 시각 데이터 없이도 효과적인 도메인 적응을 수행할 수 있는 프레임워크를 제안한다. 구체적으로, 프레임워크는 소스 도메인의 동영상과 텍스트 설명 간의 관계를 활용하여 타겟 도메인의 텍스트 설명만으로도 소스 동영상 임베딩을 증강하여 도메인 적응을 수행한다. 제안된 방법은 HMDB-51 및 UCF-101 행동 인식 벤치마크 데이터셋에 대한 다른 모델과의 비교실험에서 시각 데이터 없이 상당한 성능 개선을 달성하며 우수성을 증명하였다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터지원사업의 연구결과로 수행되었음 (IITP-2025-RS-2024-00437718)

References

  1. B. Nikpour et al., "Deep Reinforcement Learning in Human Activity Recognition: A Survey andOutlook," IEEE Transactions on neural networks and learning systems, Vol. 36, No. 3, pp. 4267-4278, 2024.
  2. P. Wei et al., "Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective," Advances in Neural Information Processing Systems, USA, 2023, pp. 17623-17642.
  3. V. G. Turrisi da Costa et al., "Dual-Head Contrastive Domain Adaptation for Video Action Recognition," Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, USA, 2022, pp. 1181-1190.
  4. A. Radford et al., "Learning Transferable Visual Models From Natural Language Supervision,"International Conference on Machine Learning, Virtual, 2021, pp. 8747-8763.
  5. M. Fahes et al., "PODA: Prompt-driven Zeroshot Domain Adaptation," Proceedings of the IEEE/CVF International Conference on Computer Vision, France, 2023, pp. 18623-18633.
  6. H. Kuehne et al., "HMDB: A large video database for human motion recognition," Proceedingsof the IEEE/CVF International Conference on Computer Vision, Spain, 2011, pp. 2556-2563.
  7. K. Soomro et al., "UCF-101: A dataset of 101human actions classes from videos in the wild,"arXiv preprint arXiv:1212.0402, 2012.
  8. X. Huang et al., "Arbitrary style transfer in real-time with adaptive instance normalization", Proceedings of the IEEE/CVF International Conference on Computer Vision, Italy, 2017, pp. 1501-1510.