The Journal of the Acoustical Society of Korea (한국음향학회지)

The Acoustical Society of Korea (한국음향학회)
권호 표지
DOI QR코드

DOI QR Code

Music classification system through emotion recognition based on regression model of music signal and electroencephalogram features

음악신호와 뇌파 특징의 회귀 모델 기반 감정 인식을 통한 음악 분류 시스템

  • 이주환 (전남대학교 ICT융합시스템공학과) ;
  • 김진영 (전남대학교 ICT융합시스템공학과) ;
  • 정동기 (광운대학교 전자융합공학과) ;
  • 김형국 (광운대학교 전자융합공학과)
  • Received : 2021.11.01
  • Accepted : 2021.12.31
  • Published : 2022.03.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a music classification system according to user emotions using Electroencephalogram (EEG) features that appear when listening to music. In the proposed system, the relationship between the emotional EEG features extracted from EEG signals and the auditory features extracted from music signals is learned through a deep regression neural network. The proposed system based on the regression model automatically generates EEG features mapped to the auditory characteristics of the input music, and automatically classifies music by applying these features to an attention-based deep neural network. The experimental results suggest the music classification accuracy of the proposed automatic music classification framework.

본 논문에서는 음악 청취 시에 나타나는 뇌파 특징을 이용하여 사용자 감정에 따른 음악 분류 시스템을 제안한다. 제안된 시스템에서는 뇌파 신호로부터 추출한 감정별 뇌파 특징과 음악신호에서 추출한 청각적 특징 간의 관계를 회귀 심층신경망을 통해 학습한다. 실제 적용 시에는 이러한 회귀모델을 기반으로 제안된 시스템은 입력되는 음악의 청각 특성에 매핑된 뇌파 신호 특징을 자동으로 생성하고, 이 특징을 주의집중 기반의 심층신경망에 적용함으로써 음악을 자동으로 분류한다. 실험결과는 제안된 자동 음악분류 프레임 워크의 음악 분류 정확도를 제시한다.

Keywords

Acknowledgement

본 논문은 2018년도 정부(교육부)의 재원으로 한국연구재단의 지원과 2021년도 광운대학교 우수연구자 지원 사업의 지원을 받아 수행된 기초연구사업임(NRF-2018R1D1A1B07041783).

References

  1. M. Schedl, H. Zamani, C.-W. Chen, Y. Deldjoo, and M. Elahi, "Current challenges and visions in music recommender systems research," Int. J. Multimed. Inf. Retr. 7, 95-116 (2018). https://doi.org/10.1007/s13735-018-0154-2
  2. J. Lee S. Shin, D. Jang, S.-J Jang, and K. Yoon, "Music recommendation system based on usage history and automatic genre classification, Proc. IEEE Int. Conf. Consum. Electron. 134-135 (2015).
  3. L. S. Chen, T. S. Huang, T. Miyasato, and R. Nakatsu, "Multimodal human emotion/expression recognition," Proc. IEEE Int. Conf. Automatic Face and Gesture Recognition, 134-135 (1998).
  4. D. Ayata, Y. Yaslan, and M. E. Kamasak, "Emotion based music recommendation system using wearable physiological sensors," IEEE Trans. Consum. Electron. 64, 196-203 (2018). https://doi.org/10.1109/tce.2018.2844736
  5. J. X. Chen, D. M. Jiang, and Y. N. Zhang, "A hierarchical bidirectional GRU model with attention for EEG-based emotion classification," IEEE Access, 7, 118530-118540 (2019). https://doi.org/10.1109/access.2019.2936817
  6. F. E. Harrell, Regression Modeling Strategies: With Applications to Linear Models, Logistic and Ordinal Regression, and Survival Analysis (Springer, New York, 2015), pp. 359-387.
  7. I. J. Ding and N.W. Zheng, "Classification of restlessness level by deep learning of visual geometry group convolution neural network with acoustic speech and visual face sensor data for smart care applications," Sensors and Materials, 32, 2329-2341 (2020). https://doi.org/10.18494/SAM.2020.2881
  8. Y. Ma, Y. Hao, M. Chen, J. Chen, P. Lu, and A. Kosir, "Audio-visual emotion fusion (AVEF): A deep efficient weighted approach", Inf. Fusion, 46, 184-192 (2019). https://doi.org/10.1016/j.inffus.2018.06.003