Navegación reactiva aplicada a agentes físicos en entornos domésticos usando el entorno Habitat

Jiménez Fernández, Luna (2021). Navegación reactiva aplicada a agentes físicos en entornos domésticos usando el entorno Habitat. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Navegación reactiva aplicada a agentes físicos en entornos domésticos usando el entorno Habitat
Author/s:
  • Jiménez Fernández, Luna
Contributor/s:
  • Molina González, Martín
  • Flores Gallego, María Julia
Item Type: Thesis (Master thesis)
Masters title: Inteligencia Artificial
Date: September 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

La navegación eficiente de robots físicos en entornos domésticos como domicilios es un área de gran interés en la actualidad, existiendo un gran desarrollo de propuestas y simuladores enfocados a resolver esta tarea. Una de los métodos que más peso ha ganado es el uso de técnicas de aprendizaje por refuerzo profundo, permitiendo el entrenamiento y desarrollo de agentes físicos capaces de navegar estos entornos de forma efectiva. El objetivo del trabajo consiste en el desarrollo de un agente físico basado en técnicas de campos de potenciales capaz de navegar entornos de interiores usando una cámara de profundidad e información sobre la posición de la meta, entrenado mediante Deep Q-Learning - un método de aprendizaje por refuerzo profundo - usando el entorno Habitat para su desarrollo. Se ha realizado una revisión de las principales técnicas relacionadas con el trabajo: Deep Learning, algunos de los principales métodos de aprendizaje por refuerzo actuales - centrándose en Deep Q-Learning, sus variantes y los métodos de actor-crítico - y los antecedentes al trabajo realizado. Se ha realizado además una tarea de documentación del entorno Habitat, explicando sus dos principales componentes: Habitat Sim, un simulador de agentes físicos de alto rendimiento, y Habitat Lab, una librería de alto nivel para Python. De esta librería se han expuesto y documentado los principales componentes y su uso, además de los pasos necesarios para la instalación del entorno. Para el desarrollo del agente se ha realizado una formalización del conocimiento necesario, detallando la definición del problema a resolver, las características físicas del agente y los conceptos de estado, acción y métodos de recompensas a utilizar. Se han propuesto dos arquitecturas para el agente, junto a sus métodos de actuación y entrenamiento: una basada en redes neuronales convolucionales y una arquitectura mixta basada en redes convolucionales y redes profundas, siendo ésta la arquitectura elegida. Finalmente, tras la experimentación realizada evaluando las variantes del agente propuestas y comparando su rendimiento con el de otros agentes ya existentes, se observa que el agente propuesto mejora su rendimiento frente a agentes de baseline básicos, pero pese a esto no es recomendable el uso del agente en interiores al ofrecer resultados inferiores a los de otros agentes ya existentes.---ABSRACT---Efficient navigation of embodied agents in indoor environments such as homes is a field of great interest currently, where new proposals and simulators designed for this task are proposed and developed frequently. One of the most successful approaches to this task is the use of deep reinforcement learning techniques, allowing the training and development of embodied agents able to traverse these environments efficiently. The goal of this project is the development of an embodied agent based on artificial potential fields able to navigate indoor environments using a depth camera and information about the position of the goal, trained by Deep Q-Learning - a popular deep reinforcement learning method - using the Habitat environment as a framework. A review of the state of the art has been performed, focusing on the main ideas behind this project: Deep Learning, the main Deep Reinforcement Learning methods used currently - focusing on Deep Q-Learning, its proposed improvements and actor-critic methods - and the direct precedents to this project in the autonomous navigation field. In addition, documentation of the Habitat environment has been developed, focusing on its two main components: Habitat Sim, an embodied agent high-performance simulator, and Habitat Lab, a high-level Python library. The main components of Habitat Lab have also been explained and documented, showing their usage and the installation steps. For the embodied agent development, some of the key concepts have been formalized: problem to solve, main physical characteristics of the embodied agent and the concepts of state, action and reward. Two architectures, along with their acting and training procedures have been proposed for the agent: one based on convolutional neural networks and another based on a mix of convolutional and dense neural networks. This second architecture has been chosen. After some experimentation evaluating the variants of the proposed agent and comparing their performance to other already existing agents, it has been shown that the proposed agent displays better performance than basic baseline agents. However, despite this, the proposed agent should not be used for the task, showcasing worse performance metrics than already existing agents.

More information

Item ID: 68592
DC Identifier: https://oa.upm.es/68592/
OAI Identifier: oai:oa.upm.es:68592
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 21 Sep 2021 10:36
Last Modified: 21 Sep 2021 10:36
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM