Adversarial attacks on semantic segmentation in the physical world

Eitel, Fabian (2017). Adversarial attacks on semantic segmentation in the physical world. Thesis (Master thesis), E.T.S. de Ingenieros Informáticos (UPM).

Description

Title: Adversarial attacks on semantic segmentation in the physical world
Author/s:
  • Eitel, Fabian
Contributor/s:
  • Baumela Molina, Luis
  • Metzen, Jan Hendrik
Item Type: Thesis (Master thesis)
Masters title: Data Science
Date: 21 July 2017
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB) | Preview

Abstract

Los sistemas de aprendizaje automático y especialmente las redes neuronales profundas han demostrado ser vulnerables a las "perturbaciones adversarias". Éstas son un tipo de ruido que se obtiene a través de la optimización y se agrega a las imágenes para engañar a un sistema de aprendizaje automático. Estas perturbaciones son capaces de atacar una amplia variedad de tareas, incluyendo clasificación de imágenes, detección de objetos y segmentación semántica. Además, se ha demostrado que se pueden elaborar ejemplos adversarios que cuando se imprimen engañan a los clasificadores que actúan sobre sus imágenes y que, además, pueden engañar a los sistemas de reconocimiento facial cuando se imprimen sobre la montura de unas gafas utilizadas por usuario adversario. En otras palabras, se pueden transferir ejemplos al mundo físico. Debido a que hoy en día hay vehículos autodirigidos y otras aplicaciones de seguridad crítica desplegadas utilizando modelos de segmentación semántica de última generación, el objetivo de esta tesis es investigar si las perturbaciones adversarias para la segmentación semántica pueden transferirse al mundo físico también.---ABSTRACT---Machine Learning systems and especially deep neural networks have shown to be vulnerable to adversarial perturbations. Adversarial perturbations are a kind of noise that is obtained through optimization and added to images in order to fool a machine learning system. These perturbations are able to attack a variety of tasks including image classification, object detection and semantic segmentation. Furthermore it has been shown that adversarial examples can be crafted so that they fool classifiers acting on them when printed and that they can also fool face recognition systems when being printed on a frame of glasses and worn by the adversary. In other words, adversarial examples can be transferred to the physical world. Because today there are self-driving vehicles and other safety critical applications deployed using state of the art semantic segmentation models, the goal of this thesis is to investigate whether adversarial perturbations for semantic segmentation can be transferred to the physical world as well.

More information

Item ID: 55875
DC Identifier: http://oa.upm.es/55875/
OAI Identifier: oai:oa.upm.es:55875
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 19 Jul 2019 06:51
Last Modified: 19 Jul 2019 06:51
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM