Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2025.05a
  • /
  • Pages.492-495
  • /
  • 2025
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Video-to-Background Music End-to-End Framework: Automatic Captioning and Music Generation for Video Content

비디오 배경음악 엔드투엔드 프레임워크: 비디오 콘텐츠를 위한 자동 캡셔닝 및 음악 생성

  • Jaegun Lee (Dept. of Data Science, Kyungpook National University) ;
  • Taejun Kwon (Dept. of Data Science , Kyungpook National University) ;
  • Janghoon Choi (Dept. of Data Science, Kyungpook National University)
  • 이재건 (경북대학교 데이터사이언스) ;
  • 권태준 (경북대학교 데이터사이언스) ;
  • 최장훈 (경북대학교 데이터사이언스)
  • Published : 2025.05.29
Download PDF
⟨ Previous Next ⟩

Abstract

본 논문에서는 비디오 콘텐츠에 대한 자동 캡셔닝과 그에 맞는 배경음악 생성을 위한 통합 프레임워크를 제안한다. 우리의 접근 방식은 최첨단 비디오 이해 모델인 VideoLLaMA3 와 텍스트 기반 음악 생성 모델인 YuE 를 결합하여 비디오의 시각적 내용을 분석하고 이에 적합한 배경음악을 자동으로 생성한다. 제안된 워크플로우는 입력 비디오를 VideoLLaMA3 모델에 전달하여 비디오의 내용, 분위기, 감정을 설명하는 캡션을 생성하고, 이 캡션을 YuE 모델에 입력하여 비디오의 시각적 내용과 조화를 이루는 배경음악을 생성한다. 다양한 장르와 분위기의 비디오에 대한 실험 결과, 우리의 프레임워크는 비디오 내용에 적합한 고품질 배경음악을 생성할 수 있음을 보여주었다. 이 연구는 비디오 콘텐츠 제작, 자동 멀티미디어 콘텐츠 생성, 그리고 접근성 향상을 위한 응용 프로그램에 기여할 수 있다.

Keywords

Acknowledgement

본 연구는 과학기술정보통신부의 재원으로 한국연구재단 및 정보통신기획평가원의 지원을 받아 수행되었음 (과제번호: NRF-2021R1C1C2095450, RS-2023-00242528, RS-2024-00437756)

References

  1. Zhang, Boqiang; Li, Kehan; Cheng, Zesen; Hu, Zhiqiang; Yuan, Yuqian; et al. "VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding." arXiv preprint arXiv:2501.13106, 2025. DOI: 10.48550/arXiv.2501.13106
  2. Yuan, Ruibin; Lin, Hanfeng; Guo, Shuyue; et al. "YuE: Scaling Open Foundation Models for Long-Form Music Generation." arXiv preprint arXiv:2503.08638, 2025. DOI: 10.48550/arXiv.2503.08638
  3. Liu, Yuan; Li, Xue; Shi, Zhongchao. "Video Captioning with Listwise Supervision." Proceedings of the ThirtyFirst AAAI Conference on Artificial Intelligence (AAAI17), 2017.
  4. Li, Junnan; Li, Dongxu; Xiong, Caiming; Hoi, Steven C. H. "BLIP: Bootstrapping Language-Image Pretraining for Unified Vision-Language Understanding and Generation." Proceedings of the 39th International Conference on Machine Learning (ICML 2022), Baltimore, USA, 2022, pp. 12888-12900. (Best-of-breed vision-language pre-training method.) DOI: 10.48550/arXiv.2201.12086.
  5. Liu, Haotian; Li, Chunyuan; Wu, Qingyang; Lee, Yong Jae. "Visual Instruction Tuning." Advances in Neural Information Processing Systems 36 (NeurIPS 2023), New Orleans, USA, 2023. (Introduces LLaVA, a visionlanguage instruction-tuned model.) DOI: 10.48550/arXiv.2304.08485.
  6. Copet, Jade; Kreuk, Felix; Gat, Itai; Remez, Tal; Kant, David; Synnaeve, Gabriel; Adi, Yossi; Defossez, Alexandre. "Simple and Controllable Music Generation." arXiv preprint arXiv:2306.05284, 2023. DOI: 10.48550/arXiv.2306.05284
  7. Melechovsky, Jan; Guo, Zixun; Ghosal, Deepanway; Majumder, Navonil; Herremans, Dorien; Poria, Soujanya. "Mustango: Toward Controllable Text-to-Music Generation." arXiv preprint arXiv:2311.08355, 2024. DOI: 10.48550/arXiv.2311.08355
  8. Zhuo, Le; Wang, Zhaokai; Wang, Baisen; Liao, Yue; Bao, Chenxi; et al. "Video Background Music Generation: Dataset, Method and Evaluation." In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. arXiv:2211.11248. DOI:10.48550/arXiv.2211.11248
  9. Li, Sizhe; Qin, Yiming; Zheng, Minghang; Jin, Xin; Liu, Yang. "Diff-BGM: A Diffusion Model for Video Background Music Generation." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.
  10. Kang, Jaeyong; Poria, Soujanya; Herremans, Dorien. "Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model." *Expert Systems with Applications*, vol. 249, 2024, Article 123640. DOI: 10.1016/j.eswa.2024.123640