Nonverbal behavior reinforcement in virtual reality

Punzi, Miriam (2021). Nonverbal behavior reinforcement in virtual reality. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Nonverbal behavior reinforcement in virtual reality
Author/s:
  • Punzi, Miriam
Contributor/s:
  • Segovia Pérez, Francisco Javier
  • Ravenet, Brian
Item Type: Thesis (Master thesis)
Masters title: Digital Innovation: Human Computer Interaction and Design
Date: September 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Lenguajes y Sistemas Informáticos e Ingeniería del Software
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

Este es un trabajo de investigación sobre la experiencia del usuario de un método alternativo para enseñar el comportamiento no verbal a Agentes Conversacionales Personificados en entornos inmersivos. En el trabajo se supera las limitaciones de los enfoques existentes proponiendo un juego adaptivo y inmersivo de Realidad Virtual, en el que el jugador asume un papel activo en la mejora de los modelos de aprendizaje de los agentes. Específicamente, se emplea el marco Human-in-the-loop con preferencias humanas para enseñar el comportamiento no verbal a los agentes a través del sistema. Se introducen mecanismos de juego construidos en torno a todas las tareas del Marco de Aprendizaje Automático, diseñando cómo debe interactuar un ser humano dentro de este marco en tiempo real. El estudio explora cómo la interacción de un juego en un entorno inmersivo puede mejorar la experiencia del usuario al realizar esta tarea interactiva, compartiendo el mismo espacio con los agentes de aprendizaje. En particular, nos enfocamos en la participación de los jugadores así como en la usabilidad del sistema. Se han realizado 6 sesiones de prueba para comparar el diseño de nuestro sistema con otro sin mecanismos de juego en la enseñanza del comportamiento no verbal a agentes virtuales. Los resultados muestran que nuestro concepto de diseño y la historia del juego son más atractivos, aumentando el factor de satisfacción de usabilidad percibido por el usuario.---ABSTRACT---This research work investigates the user experience of an alternative method to teach nonverbal behavior to Embodied Conversational Agents in immersive environments. We overcome the limitations of the existing approaches proposing an adaptive immersive Virtual Reality game, in which the player takes an active role in improving the learning models of the agents. Specifically, we employ the Human-in-the-loop framework with human preferences to teach the nonverbal behavior to the agents through the system. We introduce game mechanisms built around all the tasks of the Machine Learning framework, designing how a human should interact within this framework in real-time. The study explores how a game interaction in an immersive environment can improve the user experience in performing this interactive task, sharing the same space with the learning agents. In particular, we focus on the involvement of the players as well as the usability of the system. We conducted 6 testing sessions to compare the design of our system with another one without game mechanisms in teaching the nonverbal behavior to virtual agents. Results show that our design concept and the game story are more engaging, increasing the satisfaction usability factor perceived by the user.

More information

Item ID: 69114
DC Identifier: https://oa.upm.es/69114/
OAI Identifier: oai:oa.upm.es:69114
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 23 Nov 2021 14:33
Last Modified: 23 Nov 2021 14:33
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM