Diseño e implementación de un sistema de captura y procesado de audio en tiempo real, sobre Raspberry PI

Moreno Ledesma, Ignacio (2021). Diseño e implementación de un sistema de captura y procesado de audio en tiempo real, sobre Raspberry PI. Thesis (Master thesis), E.T.S.I. y Sistemas de Telecomunicación (UPM).

Description

Title: Diseño e implementación de un sistema de captura y procesado de audio en tiempo real, sobre Raspberry PI
Author/s:
  • Moreno Ledesma, Ignacio
Contributor/s:
  • Fraile Muñoz, Rubén
Item Type: Thesis (Master thesis)
Masters title: Ingeniería Acústica
Date: September 2021
Subjects:
Freetext Keywords: Acústica
Faculty: E.T.S.I. y Sistemas de Telecomunicación (UPM)
Department: Ingeniería Telemática y Electrónica
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only until 14 March 2022 - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB)
[img] Archive (ZIP) - Users in campus UPM only
Download (171kB)

Abstract

El presente proyecto trata sobre la captura y procesado de señales acústicas en tiempo real. Se contextualiza en el marco de un proyecto de investigación mayor, llevado a cabo el Grupo de Aplicaciones Multimedia y Acústica (GAMMA) sobre la detección y clasificación de eventos acústicos. El objetivo es, partiendo de un modelo de clasificación de eventos mediante una red neuronal artificial previamente entrenada, diseñar un sistema que sea capaz de utilizar este de tal manera que la captura y el procesado del audio se lleve a cabo de manera simultánea, y se proporcionen resultados en tiempo real. El diseño de la solución, por lo tanto, gira en torno a la concurrencia entre las tareas, para ello se emplean diversas herramientas que nos ofrece el lenguaje de programación Python, implementando un sistema multiproceso, o multihilo, mediante la librería Threading. La caracterización de los eventos se lleva a cabo mediante las propiedades de cada segmento de audio capturado, obtenidas a través de los coeficientes MFCC que son introducidos al modelo para conseguir el resultado de la caracterización. La aplicación final del sistema consiste en detectar eventos acústicos que representen el paso de un vehículo, y clasificar este como ligero o pesado. Por lo tanto, durante el diseño de la solución se debe tener en cuenta la aplicación final del proyecto, que posiblemente conlleve instalar el sistema en un lugar a la intemperie entorno a una carretera. Por ello, la ejecución del software diseñado se lleva a cabo sobre un dispositivo portable como es la Raspberry Pi. Una vez se ha diseñado el código se realizan una serie de pruebas sobre este para comprobar su correcto funcionamiento, y se altera el valor de varios parámetros de audio para ver cómo afecta esto a la capacidad de procesamiento del sistema. A través de estas pruebas se determinan también las limitaciones del programa y se comparan los resultados de estas para diferentes dispositivos. Con ellas se concluye que el sistema diseñado tiene robustez suficiente para llevar a cabo las tareas objetivo en tiempo real. Por último, se procede a realizar una serie de modificaciones sobre la versión prototipo del código para diseñar una segunda solución optimizada y con nuevas funcionalidades. Además, se exponen las ideas y líneas de investigación que han ido surgiendo durante la realización del presente proyecto, con el objetivo de orientar la posible continuación de este. Abstract: This project deals with the capture and processing of acoustic signals in real time. It is contextualized in the framework of a larger research project carried out by the Multimedia Applications and Acoustics Group (GAMMA, Grupo de Aplicaciones Multimedia y Acústica), on the detection and classification of acoustic events. The objective is, starting from an event classification model using a previously trained artificial neural network (ANN), to design a system capable of using it in such a way that the capture and processing of the audio is done simultaneously, and results are provided in real time. The design of the solution, therefore, revolves around the concurrency between tasks, using various tools offered by Python, implementing a multiprocessing system, through the Threading library. The characterization of the events is carried out by means of the properties of each captured audio segment, which are obtained through the MFCC coefficients that are introduced to the model to obtain the result of the characterization. The final application of the system consists of detecting acoustic events that represents the passage of a vehicle and classifying it as light or heavy. Therefore, during the design of the solution, the final application of the project must be considered, which possibly involves installing the system in an outdoor location around a road. Thus, the execution of the designed software is carried out on a portable device such as the Raspberry Pi. Once the code has been designed, a series of tests are performed on it to check its correct operation, and the value of several audio parameters is altered to observe how this affects the processing capacity of the system. Through these tests the limitations of the program are determined, and the results are compared for different devices. Then it is concluded that the designed system is robust enough to perform the target tasks in real time. Finally, several modifications are made to the prototype version of the code to design a second optimized solution with new functionalities. In addition, the ideas and lines of research that have emerged during the realization of this project are presented with the aim of guiding the possible continuation of this project.

More information

Item ID: 69460
DC Identifier: https://oa.upm.es/69460/
OAI Identifier: oai:oa.upm.es:69460
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 15 Jan 2022 16:14
Last Modified: 15 Jan 2022 16:14
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM