eprintid: 25545
rev_number: 16
eprint_status: archive
userid: 2445
dir: disk0/00/02/55/45
datestamp: 2014-04-29 06:35:08
lastmod: 2022-09-26 09:40:04
status_changed: 2014-04-29 06:35:08
type: thesis
metadata_visibility: show
item_issues_count: 0
creators_name: Rejas Ayuga, Juan Gregorio
contributors_name: Martínez Marín, Rubén
title: Detección de patrones y anomalías espectrales del terreno mediante espectrometría de imagen de alta resolución : reconocimiento, optimización y evaluación multiescenario
ispublished: unpub
subjects: topografia
abstract: El objeto de esta Tesis doctoral es el desarrollo de una metodologia para la
deteccion automatica de anomalias a partir de datos hiperespectrales o
espectrometria de imagen, y su cartografiado bajo diferentes condiciones
tipologicas de superficie y terreno. La tecnologia hiperespectral o espectrometria de
imagen ofrece la posibilidad potencial de caracterizar con precision el estado de los
materiales que conforman las diversas superficies en base a su respuesta espectral.
Este estado suele ser variable, mientras que las observaciones se producen en un
numero limitado y para determinadas condiciones de iluminacion. Al aumentar el
numero de bandas espectrales aumenta tambien el numero de muestras necesarias
para definir espectralmente las clases en lo que se conoce como Maldicion de la
Dimensionalidad o Efecto Hughes (Bellman, 1957), muestras habitualmente no
disponibles y costosas de obtener, no hay mas que pensar en lo que ello implica en la
Exploracion Planetaria. Bajo la definicion de anomalia en su sentido espectral como
la respuesta significativamente diferente de un pixel de imagen respecto de su
entorno, el objeto central abordado en la Tesis estriba primero en como reducir la
dimensionalidad de la informacion en los datos hiperespectrales, discriminando la
mas significativa para la deteccion de respuestas anomalas, y segundo, en establecer
la relacion entre anomalias espectrales detectadas y lo que hemos denominado
anomalias informacionales, es decir, anomalias que aportan algun tipo de
informacion real de las superficies o materiales que las producen.
En la deteccion de respuestas anomalas se asume un no conocimiento previo de los
objetivos, de tal manera que los pixeles se separan automaticamente en funcion de
su informacion espectral significativamente diferenciada respecto de un fondo que
se estima, bien de manera global para toda la escena, bien localmente por
segmentacion de la imagen. La metodologia desarrollada se ha centrado en la
implicacion de la definicion estadistica del fondo espectral, proponiendo un nuevo enfoque que permite discriminar anomalias respecto fondos segmentados en
diferentes grupos de longitudes de onda del espectro, explotando la potencialidad
de separacion entre el espectro electromagnetico reflectivo y emisivo. Se ha
estudiado la eficiencia de los principales algoritmos de deteccion de anomalias,
contrastando los resultados del algoritmo RX (Reed and Xiaoli, 1990) adoptado como
estandar por la comunidad cientifica, con el metodo UTD (Uniform Targets Detector),
su variante RXD-UTD, metodos basados en subespacios SSRX (Subspace RX) y
metodo basados en proyecciones de subespacios de imagen, como OSPRX
(Orthogonal Subspace Projection RX) y PP (Projection Pursuit). Se ha desarrollado un
nuevo metodo, evaluado y contrastado por los anteriores, que supone una variacion
de PP y describe el fondo espectral mediante el analisis discriminante de bandas del
espectro electromagnetico, separando las anomalias con el algortimo denominado
Detector de Anomalias de Fondo Termico o DAFT aplicable a sensores que registran
datos en el espectro emisivo. Se han evaluado los diferentes metodos de deteccion de anomalias en rangos del espectro electromagnetico del visible e infrarrojo cercano (Visible and Near Infrared-VNIR), infrarrojo de onda corta (Short Wavelenght Infrared-SWIR), infrarrojo medio
(Meadle Infrared-MIR) e infrarrojo termico (Thermal Infrared-TIR). La respuesta de
las superficies en las distintas longitudes de onda del espectro electromagnetico
junto con su entorno, influyen en el tipo y frecuencia de las anomalias espectrales
que puedan provocar. Es por ello que se han utilizado en la investigacion cubos de
datos hiperepectrales procedentes de los sensores aeroportados cuya estrategia y
diseno en la construccion espectrometrica de la imagen difiere. Se han evaluado
conjuntos de datos de test de los sensores AHS (Airborne Hyperspectral System),
HyMAP Imaging Spectrometer, CASI (Compact Airborne Spectrographic Imager),
AVIRIS (Airborne Visible Infrared Imaging Spectrometer), HYDICE (Hyperspectral
Digital Imagery Collection Experiment) y MASTER (MODIS/ASTER Simulator). Se han
disenado experimentos sobre ambitos naturales, urbanos y semiurbanos de
diferente complejidad. Se ha evaluado el comportamiento de los diferentes
detectores de anomalias a traves de 23 tests correspondientes a 15 areas de estudio
agrupados en 6 espacios o escenarios: Urbano - E1, Semiurbano/Industrial/Periferia
Urbana - E2, Forestal - E3, Agricola - E4, Geologico/Volcanico - E5 y Otros Espacios
Agua, Nubes y Sombras - E6.
El tipo de sensores evaluados se caracteriza por registrar imagenes en un amplio
rango de bandas, estrechas y contiguas, del espectro electromagnetico. La Tesis se
ha centrado en el desarrollo de tecnicas que permiten separar y extraer
automaticamente pixeles o grupos de pixeles cuya firma espectral difiere de manera
discriminante de las que tiene alrededor, adoptando para ello como espacio
muestral parte o el conjunto de las bandas espectrales en las que ha registrado
radiancia el sensor hiperespectral. Un factor a tener en cuenta en la investigacion ha
sido el propio instrumento de medida, es decir, la caracterizacion de los distintos
subsistemas, sensores imagen y auxiliares, que intervienen en el proceso. Para
poder emplear cuantitativamente los datos medidos ha sido necesario definir las
relaciones espaciales y espectrales del sensor con la superficie observada y las
potenciales anomalias y patrones objetivos de deteccion. Se ha analizado la repercusion que en la deteccion de anomalias tiene el tipo de
sensor, tanto en su configuracion espectral como en las estrategias de diseno a la
hora de registrar la radiacion prodecente de las superficies, siendo los dos tipos
principales de sensores estudiados los barredores o escaneres de espejo giratorio
(whiskbroom) y los barredores o escaneres de empuje (pushbroom). Se han definido
distintos escenarios en la investigacion, lo que ha permitido abarcar una amplia
variabilidad de entornos geomorfologicos y de tipos de coberturas, en ambientes
mediterraneos, de latitudes medias y tropicales.
En resumen, esta Tesis presenta una tecnica de deteccion de anomalias para datos
hiperespectrales denominada DAFT en su variante de PP, basada en una reduccion
de la dimensionalidad proyectando el fondo en un rango de longitudes de onda del
espectro termico distinto de la proyeccion de las anomalias u objetivos sin firma
espectral conocida. La metodologia propuesta ha sido probada con imagenes
hiperespectrales reales de diferentes sensores y en diferentes escenarios o espacios,
por lo tanto de diferente fondo espectral tambien, donde los resultados muestran los
beneficios de la aproximacion en la deteccion de una gran variedad de objetos cuyas
firmas espectrales tienen suficiente desviacion respecto del fondo. La tecnica resulta
ser automatica en el sentido de que no hay necesidad de ajuste de parametros,
dando resultados significativos en todos los casos. Incluso los objetos de tamano
subpixel, que no pueden distinguirse a simple vista por el ojo humano en la imagen
original, pueden ser detectados como anomalias. Ademas, se realiza una
comparacion entre el enfoque propuesto, la popular tecnica RX y otros detectores
tanto en su modalidad global como local.
El metodo propuesto supera a los demas en determinados escenarios, demostrando
su capacidad para reducir la proporcion de falsas alarmas. Los resultados del
algoritmo automatico DAFT desarrollado, han demostrado la mejora en la definicion
cualitativa de las anomalias espectrales que identifican a entidades diferentes en o
bajo superficie, reemplazando para ello el modelo clasico de distribucion normal con
un metodo robusto que contempla distintas alternativas desde el momento mismo
de la adquisicion del dato hiperespectral. Para su consecucion ha sido necesario
analizar la relacion entre parametros biofisicos, como la reflectancia y la emisividad
de los materiales, y la distribucion espacial de entidades detectadas respecto de su
entorno.
Por ultimo, el algoritmo DAFT ha sido elegido como el mas adecuado para sensores
que adquieren datos en el TIR, ya que presenta el mejor acuerdo con los datos de
referencia, demostrando una gran eficacia computacional que facilita su
implementacion en un sistema de cartografia que proyecte de forma automatica en
un marco geografico de referencia las anomalias detectadas, lo que confirma un
significativo avance hacia un sistema en lo que se denomina cartografia en tiempo
real.  The aim of this Thesis is to develop a specific methodology in order to be applied in
automatic detection anomalies processes using hyperspectral data also called
hyperspectral scenes, and to improve the classification processes. Several scenarios,
areas and their relationship with surfaces and objects have been tested. The spectral
characteristics of reflectance parameter and emissivity in the pattern recognition of
urban materials in several hyperspectral scenes have also been tested. Spectral ranges
of the visible-near infrared (VNIR), shortwave infrared (SWIR) and thermal infrared
(TIR) from hyperspectral data cubes of AHS (Airborne Hyperspectral System), HyMAP
Imaging Spectrometer, CASI (Compact Airborne Spectrographic Imager), AVIRIS
(Airborne Visible Infrared Imaging Spectrometer), HYDICE (Hyperspectral Digital
Imagery Collection Experiment) and MASTER (MODIS/ASTER Simulator) have been
used in this research.
It is assumed that there is not prior knowledge of the targets in anomaly detection.
Thus, the pixels are automatically separated according to their spectral information,
significantly differentiated with respect to a background, either globally for the full
scene, or locally by the image segmentation. Several experiments on different scenarios
have been designed, analyzing the behavior of the standard RX anomaly detector and
different methods based on subspace, image projection and segmentation-based
anomaly detection methods. Results and their consequences in unsupervised
classification processes are discussed.
Detection of spectral anomalies aims at extracting automatically pixels that show
significant responses in relation of their surroundings. This Thesis deals with the
unsupervised technique of target detection, also called anomaly detection. Since this
technique assumes no prior knowledge about the target or the statistical
characteristics of the data, the only available option is to look for objects that are differentiated from the background. Several methods have been developed in the last
decades, allowing a better understanding of the relationships between the image
dimensionality and the optimization of search procedures as well as the subpixel
differentiation of the spectral mixture and its implications in anomalous responses.
In other sense, image spectrometry has proven to be efficient in the characterization of
materials, based on statistical methods using a specific reflection and absorption
bands. Spectral configurations in the VNIR, SWIR and TIR have been successfully used
for mapping materials in different urban scenarios.
There has been an increasing interest in the use of high resolution data (both spatial
and spectral) to detect small objects and to discriminate surfaces in areas with urban
complexity. This has come to be known as target detection which can be either
supervised or unsupervised. In supervised target detection, algorithms lean on prior
knowledge, such as the spectral signature. The detection process for matching
signatures is not straightforward due to the complications of converting data airborne
sensor with material spectra in the ground. This could be further complicated by the
large number of possible objects of interest, as well as uncertainty as to the reflectance
or emissivity of these objects and surfaces.
An important objective in this research is to establish relationships that allow linking
spectral anomalies with what can be called informational anomalies and, therefore,
identify information related to anomalous responses in some places rather than simply
spotting differences from the background.
The development in recent years of new hyperspectral sensors and techniques, widen
the possibilities for applications in remote sensing of the Earth. Remote sensing
systems measure and record electromagnetic disturbances that the surveyed objects
induce in their surroundings, by means of different sensors mounted on airborne or
space platforms. Map updating is important for management and decisions making
people, because of the fast changes that usually happen in natural, urban and semi
urban areas. It is necessary to optimize the methodology for obtaining the best from
remote sensing techniques from hyperspectral data.
The first problem with hyperspectral data is to reduce the dimensionality, keeping the
maximum amount of information. Hyperspectral sensors augment considerably the
amount of information, this allows us to obtain a better precision on the separation of
material but at the same time it is necessary to calculate a bigger number of
parameters, and the precision lowers with the increase in the number of bands. This is
known as the Hughes effects (Bellman, 1957) .
Hyperspectral imagery allows us to discriminate between a huge number of different
materials however some land and urban covers are made up with similar material and
respond similarly which produces confusion in the classification. The training and the
algorithm used for mapping are also important for the final result and some properties
of thermal spectrum for detecting land cover will be studied. In summary, this Thesis presents a new technique for anomaly detection in
hyperspectral data called DAFT, as a PP's variant, based on dimensionality reduction
by projecting anomalies or targets with unknown spectral signature to the
background, in a range thermal spectrum wavelengths. The proposed methodology has
been tested with hyperspectral images from different imaging spectrometers
corresponding to several places or scenarios, therefore with different spectral
background. The results show the benefits of the approach to the detection of a variety
of targets whose spectral signatures have sufficient deviation in relation to the
background. DAFT is an automated technique in the sense that there is not necessary
to adjust parameters, providing significant results in all cases. Subpixel anomalies
which cannot be distinguished by the human eye, on the original image, however can
be detected as outliers due to the projection of the VNIR end members with a very
strong thermal contrast. Furthermore, a comparison between the proposed approach
and the well-known RX detector is performed at both modes, global and local.
The proposed method outperforms the existents in particular scenarios, demonstrating
its performance to reduce the probability of false alarms.
The results of the automatic algorithm DAFT have demonstrated improvement in the
qualitative definition of the spectral anomalies by replacing the classical model by the
normal distribution with a robust method. For their achievement has been necessary
to analyze the relationship between biophysical parameters such as reflectance and
emissivity, and the spatial distribution of detected entities with respect to their
environment, as for example some buried or semi-buried materials, or building covers
of asbestos, cellular polycarbonate-PVC or metal composites.
Finally, the DAFT method has been chosen as the most suitable for anomaly detection
using imaging spectrometers that acquire them in the thermal infrared spectrum,
since it presents the best results in comparison with the reference data, demonstrating
great computational efficiency that facilitates its implementation in a mapping system
towards, what is called, Real-Time Mapping.
date: 2014
date_type: completed
id_number: 10.20868/UPM.thesis.25545
full_text_status: public
pages: 295
institution: Caminos
department: Ingenieria_Terreno
thesis_type: phd
refereed: TRUE
rights: by-nc-nd
citation:   Rejas Ayuga, Juan Gregorio  (2014).  Detección de patrones y anomalías espectrales del terreno mediante espectrometría de imagen de alta resolución : reconocimiento, optimización y evaluación multiescenario.  Thesis (Doctoral), E.T.S.I. Caminos, Canales y Puertos (UPM) <https://oa.upm.es/view/institution/Caminos/>.   https://doi.org/10.20868/UPM.thesis.25545 <https://doi.org/10.20868/UPM.thesis.25545>. 
document_url: https://oa.upm.es/25545/1/Juan_Gregorio_Rejas_Ayuga.pdf