Video based vehicle detection and tracking for driver assistance systems

Abstract

This work addresses the use of image analysis and computer vision in the context of Advance Driver Assistance Systems (ADAS). Video-based systems stand as a powerful complement to classical active-sensor based approaches, as their being non-intrusive avoids interferences between sensors. They also allow a deeper understanding of the scene and offer better perspectives in terms of cost and flexibility. The main challenges in this field are the huge within class variability of vehicles, the complexity of the background induced by camera movement, and the effect of illumination and weather conditions on their appearance. Particularly, automatic vehicle detection and tracking from an on-board forward looking camera is considered in this work. A unified approach using statistical methods is proposed as the main contribution, so that the vehicles can be identified from the background irrespective of the scene conditions (e.g., weather, time of the day, own vehicle velocity) and vehicle appearance. The approach is divided into three primary tasks: vehicle hypothesis generation, hypothesis verification and vehicle tracking. Hypothesis generation is based on the use of a rectified domain in which the perspective is removed from the original image. A supervised classification strategy is adopted for the verification of the hypothesized vehicle locations, evaluating the performance of different methods for feature extraction. Finally, a Bayesian tracking framework using particle filters is proposed, in which a constant velocity dynamic model is used together with a multi-cue observation model based on appearance analysis on the rectified and original domains. The evaluation on real sequences demonstrates the robustness of the proposed framework. The exchange of information between processing blocks is fostered so that the maximum degree of adaptation to changes in the environment can be achieved and the computational cost is alleviated, rendering high detection rates in the verification phase, while reducing the number of tracking failures.

Resumen

El presente trabajo se centra en el uso de las técnicas análisis de imagen y visión artificial en el ámbito de los sistemas avanzados de ayuda a la conducción, comúnmente conocido por sus siglas en inglés, ADAS (Advanced Driver Assistance Systems). Los sistemas basados en visión artificial suponen un complemento muy potente a los sistemas clásicos que usan sensores activos, ya que su carácter no-intrusivo evita posibles interferencias entre vehículos, ofreciendo una mayor riqueza de información con un coste más asequible. Los principales retos para la visión por ordenador en este campo son la gran heterogeneidad de los vehículos y su entorno, el efecto de la iluminación y las condiciones meteorológicas en su apariencia. Particularmente, se aborda la detección y el seguimiento automático de vehículos con una cámara monocular embarcada y apuntando en la dirección de avance del vehículo. Se plantea como contribución principal un marco global con un enfoque estadístico que tenga en cuenta la variabilidad del entorno, de manera que los vehículos se puedan identificar independientemente de su apariencia y de las condiciones de la escena. El marco se compone de tres bloques: generación de hipótesis, verificación de hipótesis, y seguimiento. La generación de hipótesis, detección de regiones donde potencialmente hay vehículos, se basa en una estimación robusta de la perspectiva de la escena que permite generar una imagen rectificada del plano de la imagen. En la verificación de hipótesis se explora un método de aprendizaje supervisado evaluando el rendimiento de diferentes características. Finalmente, el seguimiento propuesto está constituido por un método Bayesiano basado en filtros de partículas, donde se define un modelo dinámico de velocidad constante, y se propone un modelo de observación combinando modelos de apariencia en el dominio original y transformado. Los resultados obtenidos sobre secuencias reales demuestran la robustez del marco propuesto. Se potencia el intercambio de información entre los diferentes bloques con objeto de obtener el mayor grado posible de adaptación a cambios en el entorno y reducir el coste computacional, permitiendo elevadas tasas de acierto en la fase de verificación y reduciendo el número de fallos en el seguimiento.