Visual Object Tracking in Challenging Situations using a Bayesian Perspective = Seguimiento visual de objetos en situaciones complejas mediante un enfoque bayesiano

Abstract

The increasing availability of powerful computers and high quality video cameras has allowed the proliferation of video based systems, which perform tasks such as vehicle navigation, traffic monitoring, surveillance, etc. A fundamental component in these systems is the visual tracking of objects of interest, whose main goal is to estimate the object trajectories in a video sequence. For this purpose, two different kinds of information are used: detections obtained by the analysis of video streams and prior knowledge about the object dynamics. However, this information is usually corrupted by the sensor noise, the varying object appearance, illumination changes, cluttered backgrounds, object interactions, and the camera ego-motion. While there exist reliable algorithms for tracking a single object in constrained scenarios, the object tracking is still a challenge in uncontrolled situations involving multiple interacting objects, heavily-cluttered scenarios, moving cameras, and complex object dynamics. In this dissertation, the aim has been to develop efficient tracking solutions for two complex tracking situations. The first one consists in tracking a single object in heavily-cluttered scenarios with a moving camera. To address this situation, an advanced Bayesian framework has been designed that jointly models the object and camera dynamics. As a result, it can predict satisfactorily the evolution of a tracked object in situations with high uncertainty about the object location. In addition, the algorithm is robust to the background clutter, avoiding tracking failures due to the presence of similar objects. The other tracking situation focuses on the interactions of multiple objects with a static camera. To tackle this problem, a novel Bayesian model has been developed, which manages complex object interactions by means of an advanced object dynamic model that is sensitive to object interactions. This is achieved by inferring the occlusion events, which in turn trigger different choices of object motion. The tracking algorithm can also handle false and missing detections through a probabilistic data association stage. Excellent results have been obtained using publicly available databases, proving the efficiency of the developed Bayesian tracking models. La creciente disponibilidad de potentes ordenadores y cámaras de alta calidad ha permitido la proliferación de sistemas basados en vídeo para la navegación de vehículos, la monitorización del tráfico, la vídeo-vigilancia, etc. Una parte esencial en estos sistemas es seguimiento de objetos, siendo su principal objetivo la estimación de las trayectorias en secuencias de vídeo. Para tal fin, se usan dos tipos de información: las detecciones obtenidas del análisis del vídeo y el conocimiento a priori de la dinámica de los objetos. Sin embargo, esta información suele estar distorsionada por el ruido del sensor, la variación en la apariencia de los objetos, los cambios de iluminación, escenas muy estructuradas y el movimiento de la cámara. Mientras existen algoritmos fiables para el seguimiento de un único objeto en escenarios controlados, el seguimiento es todavía un reto en situaciones no restringidas caracterizadas por múltiples objetos interactivos, escenarios muy estructurados y cámaras en movimiento. En esta tesis, el objetivo ha sido el desarrollo de algoritmos de seguimientos eficientes para dos situaciones especialmente complicadas. La primera consiste en seguir un único objeto en escenas muy estructuradas con una cámara en movimiento. Para tratar esta situación, se ha diseñado un sofisticado marco bayesiano que modela conjuntamente la dinámica de la cámara y el objeto. Esto permite predecir satisfactoriamente la evolución de la posición de los objetos en situaciones de gran incertidumbre. Además, el algoritmo es robusto a fondos estructurados, evitando errores por la presencia de objetos similares. La otra situación considerada se ha centrado en las interacciones de objetos con una cámara estática. Para tal fin, se ha desarrollado un novedoso modelo bayesiano que gestiona las interacciones mediante un avanzado modelo dinámico. éste se basa en la inferencia de oclusiones entre objetos, las cuales a su vez dan lugar a diferentes tipos de movimiento de objeto. El algoritmo es también capaz de gestionar detecciones pérdidas y falsas detecciones a través de una etapa de asociación de datos probabilística. Se han obtenido excelentes resultados en diversas bases de datos, lo que prueba la eficiencia de los modelos bayesianos de seguimiento desarrollados.