DOI QR코드

DOI QR Code

Moderating Effects of User Gender and AI Voice on the Emotional Satisfaction of Users When Interacting with a Voice User Interface

음성 인터페이스와의 상호작용에서 AI 음성이 성별에 따른 사용자의 감성 만족도에 미치는 영향

  • 신종규 (금오공과대학교 지역산업경영연구소) ;
  • 강준모 (KT NIT기술팀) ;
  • 박영진 (금오공과대학교 산업경영공학전공) ;
  • 김상호 (금오공과대학교 산업공학부)
  • Received : 2022.05.23
  • Accepted : 2022.07.04
  • Published : 2022.09.30

Abstract

This study sought to identify the voice user interface (VUI) design parameters that evoked positive user emotions. Six VUI design parameters that could affect emotional user satisfaction were considered. The moderating effects of user gender and the design parameters were analyzed to determine the appropriate conditions for user satisfaction when interacting with the VUI. An interactive VUI system that could modify the six parameters was implemented using the Wizard of OZ experimental method. User emotions were assessed from the users' facial expression data, which was then converted into a valence score. The frequency analysis and chi-square test found that there were statistically significant moderating gender and AI effects. These results implied that it is beneficial to consider the users' gender when designing voice-based interactions. Adult/male/high-tone voices for males and adult/female/mid-tone voices for females are recommended as general guidelines for future VUI designs. Future analyses that consider various human factors will be able to more delicately assess human-AI interactions from a UX perspective.

본 연구의 목적은 음성 인터페이스(Voice User Interface, VUI)를 이루는 설계변수 중 사용자에게 긍정적인 감성을 유발하는 설계변수를 확인하는 것이다. 특히, 사용자의 성별과 설계변수의 조절 효과를 분석하여 VUI와 상호작용하는 동안 사용자가 만족할 수 있는 적절한 설계변수 수준을 찾아보고자 하였다. 선행연구를 통해 VUI에 사용되는 음성설계변수 중에서 사용자의 감성 만족도에 영향을 미칠 수 있는 설계변수 6가지를 도출하였다. 설계변수는 수준을 조절할 수 있도록 Wizard of OZ를 활용하여 VUI 시스템을 구현하였고, 6가지 설계변수의 수준을 조합하여 사용자와 음성으로 대화를 할 수 있도록 구성하였다. 실험에 참여한 사용자는 총 80명으로, 남/여 성비를 고려하여 각 40명씩 모집하였다. 사용자는 VUI와 주어진 임무에 대한 정답을 알아내기 위해 자연스러운 대화를 진행하며, 그동안의 얼굴표정 변화에 대한 이미지 데이터를 수집 및 표정 분석 소프트웨어를 통해 Valence 점수로 변환하였다. Valence 데이터를 기반으로 빈도 및 카이제곱 분석을 통해 확인한 결과, 사용자의 성별과 AI gender간의 조절효과가 유의한 것으로 나타났다. 이 결과는 VUI를 설계할 때 사용자의 성별 차이를 고려하는 것이 좋다는 것을 의미한다. 결론적으로, 남성 사용자의 경우 성인/남성/높은 톤의 음성, 여성 사용자의 경우 성인/여성/중간톤의 음성이 향후 만족스러운 인터랙션 구현을 위한 VUI 설계에 주요한 가이드라인인 것을 확인하였다. 본 연구의 결과를 통해 향후 다양한 인적 요소를 고려하여 UX 관점에서 인간-AI 상호작용을 보다 섬세하게 분석할 수 있을 것이며, 표정을 통한 실시간 감성 측정을 위한 기초연구로 활용될 수 있을 것이다.

Keywords

Acknowledgement

이 논문은 2020년도 금오공과대학교의 학술연구비를 지원받아 수행된 연구임(202002160001).

References

  1. Evans, R. E. & Kortum, P. (2010). The impact of voice characteristics on user response in an interactive voice response system. Interacting with Computers, 22(6), 606-614. DOI: 10.1016/j.intcom.2010.07.001
  2. Eyssel, F., Kuchenbrandt, D., Hegel, F., & De Ruiter, L. (2012). Activating elicited agent knowledge: How robot and user features shape the perception of social robots. In 2012 IEEE RO-MAN: The 21st IEEE International Symposium on Robot and Human Interactive Communication (pp. 851-857), IEEE. DOI: 10.1109/ROMAN.2012.6343858
  3. Howland, K. & Jackson, J. (2018, September). Investigating conversational programming for end-users in smart environments through wizard of Oz interactions. In Proceedings of the Psychology of Programming Interest Group-29th Annual Workshop, London, UK (pp. 5-7).
  4. Kelley, J. F. (1984). An iterative design methodology for user-friendly natural language office information applications. ACM Transactions on Information Systems (TOIS), 2(1), 26-41. DOI: 10.1145/357417.357420
  5. Kim, S., Goh, J., & Jun, S. (2018). The use of voice input to induce human communication with banking chatbots. In Companion of the 2018 ACM/IEEE InTernational Conference on Human-Robot Interaction (pp. 151-152). DOI: 10.1145/3173386.3176970
  6. Large, D. R., Clark, L., Quandt, A., Burnett, G., & Skrypchuk, L. (2017). Steering the conversation: A linguistic exploration of natural language interactions with a digital assistant during simulated driving. Applied Ergonomics, 63, 53-61. DOI: 10.1016/j.apergo.2017.04.003
  7. Lee, E. J., Nass, C., & Brave, S. (2000). Can computergenerated speech have gender? An experimental test of gender stereotype. In CHI'00 Extended Abstracts on Human factors in Computing Systems, Hague, Netherlands (pp. 289-290). DOI: 10.1145/633292.633461
  8. Moreno, R., Mayer, R. E., Spires, H. A., & Lester, J. C. (2001). The case for social agency in computerbased teaching: Do students learn more deeply when they interact with animated pedagogical agents?. Cognition and Instruction, 19(2), 177-213. DOI:10.1207/S1532690XCI1902_02
  9. Nass, C. I. & Brave, S. (2005). Wired for speech: How voice activates and advances the human-computer relationship. Cambridge: MIT press.
  10. Niculescu, A., Van Dijk, B., Nijholt, A., & See, S. L. (2011). The influence of voice pitch on the evaluation of a social robot receptionist. In 2011 International Conference on User Science and Engineering (i-USEr) (pp. 18-23), IEEE. DOI: 10.1109/iUSE r.2011.6150529
  11. Purington, A., Taft, J. G., Sannon, S., Bazarova, N. N. & Taylor, S. H. (2017). "Alexa is my new BFF" social roles, user satisfaction, and personification of the amazon echo. In Proceedings of the 2017 CHI Conference Extended Abstracts on Human Factors in Computing Systems (pp. 2853-2859). DOI: 10.1145/3027063.3053246
  12. Sandygulova, A. & O'Hare, G. M. (2018). Age-and gender-based differences in children's interactions with a gender-matching robot. International Journal of Social Robotics, 10(5), 687-700. DOI: 10.1007/s12369-018-0472-9
  13. Shin, J. G., Chio, G. Y., Hwang, H. J., & Kim, S. H. (2021). Evaluation of emotional satisfaction using questionnaires in voice-based human-AI interaction. Applied Sciences, 11(4), 1920. DOI: 10.5143/JESK.2020.39.1.73
  14. Shin, J. G., Jo, I. G., Lim, W. S., & Kim, S. H. (2020). A few critical design parameters affecting user's satisfaction in interaction with voice user interface of AI-infused systems, Journal of the Ergonomics Society of Korea, 39(1), 73-86. DOI:10.5143/JESK.2020.39.1.73
  15. Shin, J. G., Kim, J. B., & Kim, S. H. (2019). A framework to identify critical design parameters for enhancing user's satisfaction in human-AI interactions. In Journal of Physics: Conference Series, 1284(1), 012036. IOP Publishing. https://doi.org/10.1088/1742-6596/1284/1/012036
  16. Walter, A. (2011). Designing for emotion (2nd ed.), A Book Apart: New York.