Diseño y evaluación de modelos de aprendizaje automático no supervisado para la detección de anomalías en un sistema Spark

Abstract

En el presente artículo se muestran los resultados obtenidos al diseñar y evaluar un modelo de aprendizaje automático no supervisado como es el K-Means para la detección de anomalías en tiempo real sobre múltiples sensoresdentro de un sistema Spark utilizando un threshold para delimitar esas posibles anomalías. Los resultados obtenidos del modelo (aún en fase de desarrollo y mejora) demuestran la capacidad de poder detectar tres tipos de eventos: eventos no anómalos, eventos anómalos por características y eventos anómalos por aspectos temporales. Este comportamiento presenta características estimulantes para poder aplicar este tipo de algoritmos en un entorno real donde los datos no tienen ningún tipo de etiquetado. Todo ello, sumado a la capacidad que ofrece Spark para realizar el procesado de grandes volúmenes de datos en tiempo real, da como resultado un sistema prometedor capaz de clasificar eventos procedentes de diversos sensores de manera inmediata