Diseño e implementación de un entorno virtual de ejercicios físicos, basados en captura de movimiento

Abstract

Este proyecto tiene como objetivo principal, el diseño de un conjunto de herramientas software que permitan la transmisión de la información captada por la cámara de captura de movimiento Microsoft Kinect V2 al software de diseño de videojuegos Unity 3D, donde esta información debe ser procesada y aplicada a un modelo 3D. Estas herramientas software son, por un lado, un middleware cuya función es la comunicación con el hardware Microsoft Kinect V2 y el posterior envío de los datos transmitidos por dicho hardware a Unity 3D, y por otro, un complemento para Unity 3D que permite la interpretación de los datos recibidos desde el middleware y su posterior utilización
como controlador de los movimientos de un modelo 3D. El motivo para llevar a cabo este objetivo es la implementación de estas herramientas software en el proyecto BLEXER (Blender Exergames), que, a lo largo de los últimos años, se ha ocupado de la creación de una serie de aplicaciones que permiten a usuarios con diversidad funcional motora, la consecución de los ejercicios de rehabilitación que habitualmente
realizan, mediante ejercicios físicos que les son mostrados en forma de videojuegos. Así, dado que Microsoft Kinect V2 permite conocer las posiciones espaciales y rotaciones asociadas a veinticinco articulaciones del cuerpo humano, es posible captar de
manera muy eficiente el movimiento realizado por un usuario, de manera que, no solo es posible representar dicho movimiento en el modelo 3D utilizado, sino que también es posible variar la amplitud de este movimiento de manera que se amplifique su valor. Mediante esta técnica de amplificación, se posibilita el acceso al videojuego a usuarios cuya diversidad motora física les inhabilite para la realización de ciertos ejercicios, de manera que, aunque el usuario no sea capaz de llevar a cabo por completo los movimientos necesarios para la consecución del ejercicio, el modelo 3D de la aplicación si los realice por completo. Este proyecto incluye en su fase final una aplicación generada en Unity 3D donde se
implementan todas estas características y que pretende ser una muestra de las posibilidades del diseño de videojuegos realizado desde este software.
Abstract:
The main objective of this project is the design of a set of software tools that allow the transmission of the information captured by the motion capture camera Microsoft Kinect V2 to the game design software Unity 3D, where this information should be processed and applied to a 3D model. These software tools are, on the one hand, a middleware which function is the communication (data transmission) between the hardware Microsoft Kinect V2 and Unity 3D, and on the other hand, a plug‐in for Unity 3D that allows the interpretation of the data received from the middleware and their subsequent use as a controller of the movements of a 3D model. The reason for the implementation of these software tools is their inclusion into the project BLEXER (Blender Exergames). In this proyect, over the past few years, a series of applications have been created that allow users with motor functional diversity, the performance of their usual rehabilitation exercises in support of video games.
As Microsoft Kinect V2 provides the spatial positions and rotations associated with twenty‐five joints of the human body, it is possible to capture in a very efficient way the user’s movements, such that it is possible to represent it in the 3D model, and, furthermore, the amplitude of this movements could be amplified in case of muscle weakness. In this way, it is possible to provide the video game to users whose physical motor
functionality does not allow the realization of certain exercises. And, even if the user is not capable of carrying out the movements necessary for the achievement of the exercise, the 3D model of the application will perform the full movements. This project includes an application generated in Unity 3D where all these characteristics are implemented and which is intended to be a demonstration of the possibilities to design exercise video games with help of this software.