Aprendizaje por refuerzo en sistemas robóticos

Rudkowskyj Hernanz, Sandra (2019). Aprendizaje por refuerzo en sistemas robóticos. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. Industriales (UPM).

Description

Title: Aprendizaje por refuerzo en sistemas robóticos
Author/s:
  • Rudkowskyj Hernanz, Sandra
Contributor/s:
  • Barrientos Cruz, Antonio
Item Type: Final Project
Degree: Grado en Ingeniería en Tecnologías Industriales
Date: September 2019
Subjects:
Faculty: E.T.S.I. Industriales (UPM)
Department: Automática, Ingeniería Eléctrica y Electrónica e Informática Industrial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only until 3 December 2019 - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (6MB)

Abstract

El desarrollo de inteligencia artificial es hoy en día uno de los temas más concurridos. El auge de este en campo de la ciencia se debe a la gran utilidad que demuestra tener para la mejora de la calidad de vida. Dentro de este ámbito se encuentra el aprendizaje automático, que aborda el gran enigma del aprendizaje inherente. Más concretamente, el aprendizaje por refuerzo trata el aprendizaje de unas buenas acciones a base de la experiencia y de las recompensas recibidas por el entorno que indican cuándo un comportamiento ante una situación concreta es buena o mala, y en base a esto poder tomar una decisión beneficiosa. Así, a base de ensayo y error, el agente o aprendiz aprende lo que se conoce como la política óptima, el comportamiento óptimo ante un entorno concreto o incierto. El estudio de este tipo de aprendizaje se hace siempre apoyado en el concepto de procesos de decisión de Markov, los cuales definen una seria de condiciones que se deben cumplir en todo sistema para poder aplicar los algoritmos estudiados en este proyecto. La gama de algoritmos del aprendizaje por refuerzo es bastante amplia, por lo que se ha elegido uno concreto, el QLearning, un tipo de algoritmo tabulado, que aunque sencillo, puede ser muy eficiente en problemas complejos, por lo que se ha creído más conveniente para el problema que se ha tratado. El análisis que se ha hecho se ha enfocado concretamente a la aplicación de este tipo de aprendizaje a un problema continuo sobre la navegación de un robot en un espacio real, a través del modelaje virtual de este mismo. Este problema que se ha intentado solucionar a través del Q-learning, es concretamente el del movimiento de un robot sencillo con unas ruedas diferenciales y que cuenta con 9 sensores infrarrojos de cercanía, a través de una sala o conjunto de salas, sin chocarse consiguiendo llegar a un punto concreto. Se ha enfocado este gran problema desde pequeños objetivos a cumplir, para lograr paso, a paso la meta final. Primero se han hecho varias pruebas dentro del simulador virtual, en las que el agente tuviese que lograr encontrar el camino más corto hacia un punto concreto. Este objetivo se ha planteado en diferentes escenarios o entornos con distinta complejidad. Después se le plantea al agente este mismo reto pero con más información del entorno, incorporando la señal de los sensores infrarrojos de los que dispone, para lograr de esta manera evitar la colisión con los objetos y paredes del entorno. Finalmente, los resultados de estas pruebas realizadas han sido evaluados, sacando algunas conclusiones de este tipo de inteligencia artificial y del algoritmo y herramientas concretas que se han utilizado. Se han propuesto algunas líneas futuras sobre le mismo tema, se han comentado los problemas surgido a lo largo de todo el proyecto y se ha hecho un estudio económico y temporal y de las repercusiones de este mismo.

More information

Item ID: 56678
DC Identifier: http://oa.upm.es/56678/
OAI Identifier: oai:oa.upm.es:56678
Deposited by: Biblioteca ETSI Industriales
Deposited on: 04 Oct 2019 08:07
Last Modified: 04 Oct 2019 08:07
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM