Aprendizaje por refuerzo profundo en simulación social basada en agentes

Fernández Pérez, Daniel (2020). Aprendizaje por refuerzo profundo en simulación social basada en agentes. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Aprendizaje por refuerzo profundo en simulación social basada en agentes
Author/s:
  • Fernández Pérez, Daniel
Contributor/s:
  • Manrique Gamo, Daniel
  • Serrano Fernández, Emilio
Item Type: Thesis (Master thesis)
Masters title: Inteligencia Artificial
Date: 2020
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (3MB) | Preview

Abstract

La simulación social basada en agentes es una herramienta muy útil para analizar y simular situaciones complejas relacionadas con la sociedad. En este tipo de simulaciones se pueden llevar a cabo acciones individuales, realizadas por cada agente con información local, y acciones globales, que afectan a todos los agentes y se utiliza información colectiva. En este trabajo se utiliza el modelo Sugarscape para observar la distribución de los recursos en la sociedad. Actualmente, en la simulación social basada en agentes, se emplean modelos muy especializados. Normalmente, estos modelos se utilizan para comprobar cómo afecta una posible solución en un entorno y se hace uso de metaheurísticas para optimizar los modelos. Sin embargo, se está comenzando a emplear técnicas de aprendizaje por refuerzo. El mayor problema de los trabajos actuales radica en el enfoque puramente individual o colectivo, sin tratar de utilizar ambos para observar cómo afecta, uno al otro. Tampoco tratan de extraer información sobre las estrategias seguidas por los sistemas inteligentes. Este trabajo contribuye mostrando cómo se puede emplear un sistema subsimbólico para extraer conocimiento y explicar de forma explícita los comportamientos adquiridos. También muestra cómo las acciones individuales afectan a la sociedad y cómo las acciones sociales pueden influir en los individuos. Este trabajo fin de máster tiene como objetivo explicar de forma explícita las estrategias utilizadas por un sistema subsimbólico, mediante la observación de las acciones realizadas por el sistema en una simulación social basada en agentes. Asimismo, muestra cómo las acciones individuales influyen en la sociedad y cómo las acciones aplicadas a toda la sociedad repercuten en los individuos. Para ello, se propone el uso del entrenamiento por refuerzo profundo, utilizando la técnica A2C en el modelo Sugarscape y, mediante la utilización de varias recompensas y penalizaciones, obtener diferentes comportamientos, tanto individuales como sociales, con el fin de disminuir la desigualdad social y la exclusión social. Se ha comprobado que en sociedades en las que los individuos ceden los puestos de trabajo y no buscan enriquecerse, se reduce la exclusión social, se reduce la desigualdad social y se aumenta la esperanza de vida. Para reducir la exclusión social en la población, se ha observado que se debe aplicar una edad de jubilación de entorno a 66 años y unos impuestos del 23 %. También se ha observado que no es posible reducir la exclusión social y la desigualdad de forma simultánea. ---ABSTRACT---Agent-based social simulation is a useful tool to analyze and simulate complex situations related to society. In this type of simulation, individual actions can be carried out, made by each agent with local information, and global actions, which affect all agents and, collective information. In this work, the Sugarscape model is used to observe the distribution of resources in society. Currently, highly specialized models are used in agent-based social simulation. Typically, these models are used to verify how a possible solution affects an environment, and metaheuristics are used to optimize the models. Reinforcement learning techniques are beginning to be used. The main problem in current work lies in the purely individual or collective approach, without trying to use both to observe how it affects each other. Nor is it about extracting information about the strategies followed by intelligent systems. This work helps to show how a subsymbolic system can be used to extract knowledge and explicitly explain acquired behaviors. It also shows how individual actions affect society and how social actions can influence individuals. This work aims to explain, the strategies carried out by a subsymbolic system, by observing the actions carried out by the system in an agent-based social simulation. It also shows how individual actions influence society and how actions applied to the entire society impact on individuals. For this purpose, the use of deep reinforcement learning is proposed, using the A2C technique in the Sugarscape model and, through the use of various rewards and penalties, obtaining different behaviors, both individual and social, to reduce social inequality and social exclusion. It has been shown that societies in which individuals give up jobs and do not seek to get rich reduce social exclusion, social inequality and increase life expectancy. Retirement age of around 66 and a tax of 23 % would reduce social exclusion in the population. It has also been observed that it is not possible to reduce social exclusion and social inequality simultaneously.

More information

Item ID: 63063
DC Identifier: http://oa.upm.es/63063/
OAI Identifier: oai:oa.upm.es:63063
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 23 Jul 2020 19:47
Last Modified: 23 Jul 2020 19:47
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM