Sistema de BI basado en datos abiertos para el análisis de los factores demográficos que inciden en la recogida separada de residuos en el municipio de Madrid

Abstract

Una de las tendencias globales que contribuyen al crecimiento insostenible es la generación de ingentes cantidades de residuos. La adecuada gestión y el aprovechamiento óptimo de los residuos urbanos es fundamental para el desarrollo sostenible de cualquier ciudad del mundo. Concretamente, la ciudad de Madrid dispone de un sistema de gestión de residuos de los más avanzados y completos de Europa. El principal objetivo de este proyecto es crear una solución de inteligencia de negocio o Business Intelligence que aporte conocimiento detallado sobre los factores demográficos y de recogida de residuos que permita apoyar la toma de decisiones en la gestión de la recogida de los residuos urbanos en la ciudad de Madrid. Para ello, se ha diseñado e implementado un sistema de análisis de datos basado en herramientas de software libre y datos abiertos formado por cinco capas: Fuentes de datos, Transformación, Almacenamiento, Explotación y Visualización de datos. La primera capa comprende el proceso de búsqueda e investigación de datasets. Mediante este proceso se seleccionaron los datasets del Portal de Datos Abiertos del Ayuntamiento de Madrid correspondientes a las toneladas de residuos recogidas, divisiones administrativas a nivel distrito, padrón municipal y la distribución de contenedores de residuos y puntos limpios de la ciudad de Madrid. En cuanto a la transformación de los datos de entrada, se han creado algoritmos que se encargan de aplicar los procesos ETL (extract, load and transform) para recopilar, procesar y extraer valor de las distintas fuentes de datos. El resultado de dichas transformaciones se almacena en un Data Warehouse cuyo diseño e implementación se comprende en la capa de Almacenamiento, donde se modela mediante varios diagramas su composición y la organización de las tablas que lo forman. A lo largo de la capa de Explotación de datos, se realizan consultas para crear vistas de tablas con contenido filtrado, reordenado, combinado o simplificado. Además, se les añaden métricas o indicadores de desempeño (KPIs) calculados para evaluar ciertos aspectos relevantes de los datos con los que extraer información detallada. Finalmente, en la última capa del sistema, se ha creado un Reporting Dashboard, una interfaz gráfica de visualización de datos que permite presentar de forma interactiva, clara e intuitiva la información y los KPIs relevantes del análisis para facilitar su interpretación y extraer conclusiones. Por último, el desarrollo de este proyecto ha sido concebido para poner en práctica todos los conocimientos adquiridos y habilidades aprendidas durante el grado. Además, se ha querido poner en valor la importancia de la gestión de residuos en una de las ciudades más pobladas de Europa, para proteger así el medio ambiente y la salud de las generaciones presentes y futuras.
Abstract:
One of the global trends that contribute to unsustainable growth is the generation of huge amounts of waste. The proper management and optimal use of urban waste is essential for the sustainable development of any city in the world. In particular, the city of Madrid has one of the most advanced and complete waste management systems in Europe. The main objective of this project is to develop a Business Intelligence solution that provides detailed knowledge on demographic and waste collection factors that will support decision-making in the management of urban waste collection in the municipality of Madrid. For that purpose, a data analysis system has been designed and implemented based on free software tools and open data. It consists of five layers or modules: Data Sources, Transformation, Storage, Exploitation and Data Visualization. The first layer comprises the dataset searching and investigation processes. This led to the selection of the datasets from the Open Data Portal of the Madrid City Council corresponding to the tons of urban waste collected within the municipality, its administrative divisions, municipal register data and the distribution of waste collection points in the city.
Regarding the transformation of input data, some algorithms have been created to apply ETL processes (Extract, Load and Transform) to collect, process and extract value from the different data sources. The result of this transformations is stored in a Data Warehouse whose design and implementation are comprised in the Storage layer, where its composition and organization of the tables that form it are modelled using diagrams.
Throughout the Data Exploitation layer, there were made queries to create table views with filtered, rearranged, combined or simplified content. In addition, metrics or KPIs (Key Performance Indicators) were added to evaluate certain aspects of the data and to extract detailed information. Finally, in the last module of the system, a Reporting Dashboard has been created. It is a graphical data visualization interface that allows the information and relevant KPIs to be presented interactively, clearly and intuitively to facilitate their interpretation and to draw conclusions. In conclusion, the development of this project has been conceived to put into practice all the skills and knowledge acquired during the university degree. Moreover, it has been developed to emphasize the importance of waste management in one of the most populated cities in Europe, in order to protect the environment and the health of present and future generations.