Implementación de un sistema de interacción multimodal basado en reconocimiento de voz y gestos

Abstract

Este proyecto tiene como principal objetivo estudiar en mayor profundidad la interacción multimodal en las comunicaciones persona-máquina, en concreto, a través de las técnicas de reconocimiento de voz y gestos. En este documento nos centraremos en el diseño, desarrollo y posterior validación de un sistema de interacción multimodal basado en voz y gestos para la gestión de pantallas de grandes dimensiones, conocidas como big displays.
El sistema desarrollado será probado a través del despliegue de un servicio concreto que permita evaluar los diferentes tipos de acciones que se pueden realizar sobre el big display. Las posibles acciones y órdenes con las que interactuar serán estudiadas durante la fase de diseño, mientras que en la fase de validación se estudiará la aceptación del sistema a través de un estudio de usuarios.
Adicionalmente, se presentará un breve estudio donde se plantea la adaptación del sistema a un caso en tres dimensiones con el objetivo de controlar entornos inteligentes.