Autoajuste de hiperparámetros para metaheurísticas

Domínguez Velad, Marcos (2021). Autoajuste de hiperparámetros para metaheurísticas. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Autoajuste de hiperparámetros para metaheurísticas
Author/s:
  • Domínguez Velad, Marcos
Contributor/s:
  • Mateos Caballero, Alfonso
  • Jiménez Martín, Antonio
Item Type: Thesis (Master thesis)
Masters title: Inteligencia Artificial
Date: July 2021
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (733kB) | Preview

Abstract

Las metaheurísticas son unos de los algoritmos actuales más populares para la resolución de problemas de optimización. Se inspiran en la simulación de fenómenos naturales, comportamientos sociales de especies, o el proceso evolutivo, obteniendo soluciones a problemas donde los métodos exactos y las heurísticas fallan al quedar atrapados en óptimos locales o ser demasiado costosos computacionalmente. Cada metaheurística tiene un comportamiento distinto que depende de unos hiperparámetros que son ajustados manualmente para la resolución eficaz de un problema específico. Sin embargo, la selección de valores adecuados para estos hiperparámetros es una tarea compleja y una de las principales vías de investigación en el campo de las metaheurísticas. En la literatura, el estudio del ajuste de estos hiperparámetros queda reducido a metaheurísticas concretas. En este Trabajo Fin de Máster se estudia en detalle el método de autoajuste propuesto por Bansal y Joshi para cualquier metaheurística y cualquier hiperparámetro, basado en el análisis del fitness de los individuos de la metaheurística y una matriz de pesos elementales que convierte la metaheurística en un método adaptativo respecto al valor del hiperparámetro. Se proponen variantes originales para el algoritmo tales como una versión con memoria, cambios en la asignación de pesos, generalización para el ajuste de múltiples parámetros, entre otros. Se realiza una revisión de las metaheurísticas Particle Swarm Optimization y Gravitatory Search Algorithm para optimización en dominios continuos, sobre las cuales se aplican los nuevos métodos de autoajuste desarrollados. Finalmente, se utiliza una librería de optimización desarrollada para validar las implementaciones de los métodos de ajuste automático y realizar experimentos con el benchmark CEC 2015, ampliamente utilizado para la validación de metaheurísticas. Se han aplicado contrastes estadísticos para comparar los resultados con el método de ajuste original y metaheurísticas con varios parámetros. Los resultados confirman que las variantes propuestas mejoran significativamente el rendimiento del algoritmo.---ABSTRACT---Metaheuristics are one of the most popular and modern algorithms for solving optimization problems. They are inspired by the simulation of natural events, social behaviors of species, the evolutionary process, and they achieve solutions to problems where exact methods and heuristics fail because getting stuck in local optimums or because of the high computational cost. Each metaheuristic has a different behavior which depends on some hyperparameters that are manually adjusted in order to solve efficiently a concrete problem. However, the assignment of values for these hyperparameters is a complex task and is considered one of the main topics of research in the field of metaheuristics. In the literature, the study of this kind of adjustment is reduced to specific metaheuristics and parameters. In this Master’s Thesis we study in detail the autotuning method proposed by Bansal and Joshi for any metaheuristics and any hyperparameter, which is based on the analysis of fitness of the individuals within the population of a metaheuristic, and also uses a matrix of elementary weights that converts the metaheuristics into an adaptive method respect to the hyperparameter. Some original variants are proposed for the algorithm such as a version with memory, changes in the assignment of elementary weights, an extension to adjust multiple parameters, among others. We do a review of the metaheuristics Particle Swarm Optimization and Gravitatory Search Algorithm for optimization in continuous domains, and we apply over them the new developed autotuning methods. Finally, we use an optimization library developed to validate the implementations of the proposed methods and carry out experiments with the benchmark CEC 2015, widely used for metaheuristics validation. Statistical tests have been applied to compare the results with the original autotuning method and metaheuristics with multiple parameters. The results confirm that the proposed variants significantly improve the performance of the original algorithm.

More information

Item ID: 68747
DC Identifier: https://oa.upm.es/68747/
OAI Identifier: oai:oa.upm.es:68747
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 08 Oct 2021 14:05
Last Modified: 08 Oct 2021 14:05
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM