Aprendizaje por refuerzo mediante Deep Learning para las ciudades inteligentes

Escribá Pina, Ernesto (2021). Aprendizaje por refuerzo mediante Deep Learning para las ciudades inteligentes. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Aprendizaje por refuerzo mediante Deep Learning para las ciudades inteligentes
Author/s:
  • Escribá Pina, Ernesto
Contributor/s:
  • Serrano Fernández, Emilio
  • Bajo Pérez, Javier
Item Type: Thesis (Master thesis)
Masters title: Inteligencia Artificial
Date: 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (2MB) | Preview

Abstract

Las ciudades inteligentes surgen como un medio con el que crear grandes oportunidades de desarrollo para sus habitantes, gestionando las áreas urbanas de forma más eficiente y sostenible, logrando mejoras en el aspecto económico, social y ambiental y en la calidad de vida de los ciudadanos. Actualmente, el gran desarrollo de la Inteligencia Artificial (IA) y el Internet de las cosas (IoT) se debe principalmente a tres aspectos: el aumento de la cantidad de datos (Big Data), la aparición de algoritmos avanzados de IA y el aumento de la potencia de computación. En este contexto encontramos el Deep Learning (DL), el aprendizaje por refuerzo (RL) y su combinación (DRL), que han obtenido un gran éxito en distintos dominios de aplicación en los últimos años, con un interés creciente. Los objetivos de la tesis son: 1) el estudio detallado del estado del arte, definiendo el contexto con los conceptos de DL, RL y smart city y realizando una revisión sistemática de los trabajos relacionados; 2) la exploración de oportunidades y propuesta de aplicaciones novedosas no abordadas previamente con el uso de DRL, describiendo el rol que puede desempeñar en el futuro; y 3) el desarrollo de un caso de estudio sobre aplicaciones de movilidad urbana, con resultados experimentales en simulaciones para apoyar la hipótesis de que su uso es útil y viable. La contribución de este TFM es la revisión sistemática completa para todos los dominios de las ciudades inteligentes con el uso de DRL; la propuesta y descripción de diversas aplicaciones de DRL con potencial en distintos componentes de las ciudades inteligentes (más amplia y desarrollada que cualquier propuesta vista en la literatura); y la aplicación y validación de un mismo algoritmo de DRL para casos de usos distintos, además del desarrollo de un entorno de simulación en el que se pueden probar los experimentos realizados y ampliarlos. El caso de estudio implica el desarrollo de dos aplicaciones de DRL en entornos de movilidad urbana. Para cada uno se implementa y entrena un agente con el algoritmo Proximal Policy Optimization (PPO). El primer entorno (SmartCab) consiste en un vehículo autónomo cuya función es la de recoger y dejar pasajeros. Sirve como prueba de concepto, ya que sus resultados no son directamente aplicables. El segundo entorno (WasteNet), tiene como objetivo la optimización de la recogida de residuos urbanos para una red de contenedores. Los resultados son muy interesantes, ya que muestran una reducción notable de la ruta frente a las alternativas básicas, y en un entorno escalable.---ABSTRACT---Smart cities emerge as a means to create great development opportunities for their inhabitants, managing urban areas in a more efficient and sustainable way, achieving improvements in the economic, social and environmental aspects and in the quality of life of citizens. Currently, the great development of Artificial Intelligence (AI) and the Internet of Things (IoT) is mainly due to three aspects: the increase in the amount of data (Big Data), the emergence of advanced AI algorithms and the increased computing power. In this context, we find Deep Learning (DL), Reinforcement Learning (RL) and their combination (DRL), which have obtained great success in different application domains in recent years, with a growing interest. The aims of the thesis are: 1) a detailed study of the State of the Art, defining the context with the concepts of DL, RL and smart city and performing a systematic review of related work; 2) the exploration of opportunities and proposal of novel applications not previously addressed with the use of DRL, describing the role it can play in the future; and 3) the development of a case study on urban mobility applications, with experimental results in simulations in order to support the hypothesis that this approach is useful and feasible. The contribution of this TFM is the complete systematic review for all domains of smart cities with the use of DRL; the proposal and description of several DRL applications with potential in different components of smart cities (more extensive and developed than any proposal seen in the literature); and the application and validation of the same DRL algorithm for different case studies, in addition to the development of a simulation environment in which the experiments performed can be tested and extended. The case study involves the development of two DRL applications for urban mobility environments. For each one, an agent is implemented and trained with Proximal Policy Optimization (PPO) algorithm. The first environment (SmartCab) consists of an autonomous vehicle (AV) whose purpose is to pick up and drop off passengers. It serves as a proof of concept, as its results are not directly applicable. The second environment (WasteNet) aims at optimizing urban waste collection for a network of dumpsters. The results are very interesting, as they show a remarkable reduction of the route compared to the basic alternatives, and in a scalable environment.

More information

Item ID: 68733
DC Identifier: https://oa.upm.es/68733/
OAI Identifier: oai:oa.upm.es:68733
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 06 Oct 2021 13:17
Last Modified: 06 Oct 2021 13:17
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM