Estimación del tamaño de peces en imágenes estereoscópicas con aprendizaje automático y procesado de la imagen

Resumen

La estimación del tamaño de los peces es un tema fundamental para los procesos productivos que tienen lugar en el campo de la acuicultura. Su relevancia radica en que, mediante este dato, se puede conocer el calibre del pienso que se le suministrará a un determinado tanque de peces.

Este trabajo parte del sistema de visión estereoscópica desarrollado por María Castillo Moral en su Trabajo Fin de Máster: “Sistema de estimación de la biomasa en piscifactorías mediante imágenes RGB” [1]. Este sistema consiste en segmentar y detectar la cabeza, cola y centroide de los peces, estimar la inclinación y profundidad a las que están ubicados y finalmente hallar su tamaño en base a estos parámetros.

La aportación original de este proyecto consiste en extrapolar la estimación de tamaño de objetos con forma de pez impresos en 3D, a peces reales ubicados en tanques, en concreto, rodaballos. Para ello, se ha empleado un sistema de Machine Learning, particularmente el modelo SAM (Segment-Anything-Model) desarrollado por Meta-AI, en su versión MobileSAM. Este modelo ha sido combinado con técnicas de procesado de imagen para conseguir segmentar rodaballos aislados en tanques acuícolas.

El proceso ha sido integrado mediante una serie de algoritmos en los que se detectan los rodaballos, se encuentran las correspondencias de los peces entre las dos imágenes correspondientes a cada una de las cámaras estereoscópicas, y finalmente se estima el tamaño conociendo el contorno de los peces y los parámetros de calibración de las cámaras de visión estereoscópica.

El sistema desarrollado permite visualizar la distribución del tamaño de los peces en el tanque. Para comprobar el funcionamiento del sistema se han analizado 20 imágenes, en las que los resultados obtenidos son coherentes con el tamaño real de los objetos presentes en estas.

Abstract:

Estimating the size of fish is a crucial issue for the production processes in the field of aquaculture. Its relevance lies in the fact that this data allows for determining the appropriate feed size for a specific tank of fish.

This work builds on the stereoscopic vision system developed by María Castillo Moral in her master’s Thesis: "Biomass Estimation System in Fish Farms Using RGB Images." This system involves segmenting and detecting the head, tail, and centroid of the fish, estimating the inclination and depth at which they are located, and finally determining their size based on these parameters.

The original contribution of this project consists of extrapolating the size estimation of 3D-printed fish-shaped objects to real fish located in tanks, specifically turbot. To achieve this, a Machine Learning system has been employed, particularly the SAM (Segment-Anything-Model) model developed by Meta-AI, in its MobileSAM version. This model has been combined with image processing techniques to segment isolated turbot in aquaculture tanks.

The process has been integrated through a series of algorithms that detect the turbot, find the correspondences of the fish between the two images from each of the stereoscopic cameras, and finally estimate the size by knowing the contour of the fish.

The developed system allows visualization of the size distribution of fish in the tank. To verify the functionality of the system, 20 images have been analyzed, and the results obtained are consistent with the actual size of the objects present in them.