Exploration of learning techniques to improve the spatial resolution of orthoimages

Abstract

Las imágenes aéreas obtenidas por satélite y sensores aerotransportados, así como las ortoimágenes que se generan a partir de ellas, son instantáneas de la superficie terrestre con usos y aplicaciones muy variados. Hoy en día la tecnología con la que se obtienen estas imágenes ha mejorado enormemente y, con ello, su calidad y valor informativo. Las ortofotografías digitales se caracterizan por su resolución, es decir, la cantidad de detalle que se puede ver en ellas. Una mayor resolución implica un mayor número de píxeles por unidad de longitud, incrementando así el tamaño de la imagen, lo que supone un mayor uso de recursos para su almacenamiento y procesamiento. En este proyecto se presenta un estudio y análisis crítico de diferentes métodos de “upscaling” o mejora de la resolución de imágenes, implementados en Python. Estas arquitecturas de inteligencia artificial han ganado diferentes competiciones y, en este estudio, han sido modificadas y adaptadas para la mejora de la resolución en imágenes aéreas del PNOA (Plan Nacional de Ortofotografía Aérea), y otros vuelos. En el marco del proyecto SROADEX (PID2020-116448GB-I00) se han comparado métodos como los algoritmos clásicos de interpolación: bilineal, vecino más cercano, bicúbico y Lanczos; con los obtenidos al entrenar los algoritmos de inteligencia artificial: Redes Generativas Antagónicas y las Redes de Retroalimentación. El estudio y los experimentos se han realizado a partir de conjuntos de datos de entrenamiento, validación y evaluación, compuestos por ortoimágenes de alta resolución, 10 y 15 cm/píxel. Estas imágenes son representativas de la geografía de España con zonas costeras, urbanas y tanto con vegetación como sin ella. Para la evaluación y comparación de los diferentes métodos presentados, se utilizan dos métricas cuantitativas de medida de la calidad de las imágenes generadas: la Proporción Máxima de Señal a Ruido (Peak signal to noise ratio - PSNR) y el Índice de Similitud Estructural (Structural similarity index - SSIM). En función de los resultados obtenidos, se justifican los cambios generados en las arquitecturas y la influencia de los hiperparámetros, así como el comportamiento de los mismos. Finalmente, se han aplicado las redes entrenadas para generar imágenes de alta resolución a partir de imágenes de baja resolución, lo que implica un mayor aprovechamiento de los recursos disponibles y un aumento considerable del valor informativo del producto. Las redes mejoraron significativamente los valores de las métricas, y en la evaluación cualitativa observamos predicciones de alta calidad.
Abstract:
The aerial images obtained by satellite and airborne sensors, as well as their orthoimages, there are representations of the Earth's surface with very varied uses and applications. Nowadays, this capturing technology has strongly improved, and its quality and informative value too. The resolution of digital orthoimages represents the amount of detail that can be seen in them. A higher resolution implies a greater number of pixels per unit of length, thus increasing the size of the image, which means, a greater use of resources for its storage and processing. This project presents a study with a critical analysis of different upscaling methods, implemented in Python. The artificial neural networks applied for the upscaling procedure have won different computer vision competitions. However, in the project, the original architectures have been modified and adapted to our purpose, i.e., to improve the resolution of aerial images from PNOA (National Plan for Aerial Orthophotography) and other flights. In the framework of the SROADEX project (PID2020-116448GB-I00), some methods such as the classic interpolation algorithms: bilinear, nearest neighbor, bicubic, and Lanczos; have been compared with AI algorithms: Antagonic Generative Networks and Feedback Networks. The analysis and experiments were carried out using training, validation, and testing sets containing high resolution . These are made up of high-resolution orthoimages, with 10 and 15 cm/pixel. These images are representative of the Spanish geography, with coastal and urban areas, and with/without vegetation. For the evaluation and comparison of the mentioned upsampling methods, we are going to use two quantitative metrics used to measure the quality of the SR-generated images: the Maximum Signal to Noise Ratio (PSNR) and the Structural Similarity Index (SSIM). Depending on the obtained results, we propose some architecture modifications based on their hyperparameter influence and behavior. Finally, trained networks have been applied to generate high-resolution images from low resolution images, which implies a better use of available resources and a high increase in the informative value of the product. The networks significantly improved performance metrics and in the qualitative evaluation we observe high quality predictions.