Reconocimiento de especie de peces aplicando extracción de características morfológicas mediante feature enineering y deep learning

Abstract

En esta tesis de magíster se apunta a entregar una solución que contribuya en la incorporación de tecnología y trazabilidad al proceso pesquero llevado a cabo en Chile, respecto de la discriminación automática y en línea de la composición de especies en los desembarques utilizando técnicas de visión computacional y deep learning. Adicional-mente, se entregan las bases necesarias para refinar a los modelos de discriminación, incorporando un análisis morfológico y geométrico de las características de los peces para mejorar la clasificación entre las especies de interés que son visualmente parecidas entre sí. La etapa clave del sistema de reconocimiento implementado fue la discriminación de peces, donde se utilizó el modelo YOLOv7 para la detección y clasificación automática de 6 especies pelágicas en tiempo real. Este modelo se adaptó para operar dentro del ambiente industrial en dos plantas pesqueras de la región del Biobío. Posteriormente, en un ambiente de laboratorio y con el objetivo de aumentar la precisión en la identificación de especies problemáticas como la anchoveta, la caballa, el jurel y la sardina común, se experimentó con la detección de keypoints utilizando el modelo Keypoint R-CNN para automatizar la extracción de características morfológicas de los peces. Esto condujo al desarrollo de un modelo de clasificación jerárquico que adapta una taxonomía en base a las características más específicas de las especies de peces problemáticas. Los resultados obtenidos probaron ser sobresalientes para ambos ambientes de trabajo. En el ambiente industrial, a pesar de que el sistema se enfrentó a desafíos como la detección en condiciones ambientales variables y una alta aparición de oclusiones entre los peces, se lograron pre-cisiones sobre el 90% para 4 de las 6 especies, logrando un sistema que puede operar en promedio a 54.1 imágenes por segundo, ajustándose a los estándares mínimos requeridos por el personal de Sernapesca para disponer de una herramienta que sirva de apoyo para llevar a cabo su labor. En el entorno de laboratorio, el sistema logró precisiones de hasta 1.00 para predecir especies de peces pequeñas, y 0.98 para predecir especies de peces grandes, demostrando que la identificación de keypoints es la clave para enfrentar problemas donde se puede explotar de mejor forma la taxonomía de las especies de interés.

This master's thesis aims to provide a solution that contributes to the incorporation of technology and traceability to the fishing process carried out in Chile, regarding the automatic and online discrimination of species composition in landings using computer vision and deep learning techniques. In addition, the necessary bases are provided to refine the discrimination models, incorporating a morphological and geometric analysis of the characteristics of the fish to improve the classification between the species of interest that are visually similar to each other. The key stage of the implemented recognition system was fish discrimination, where the YOLOv7 model was used for the automatic detection and classification of 6 pelagic species in real time. This model was adapted to operate within the industrial environment of two fishing plants in the Biobío region. Subsequently, in a laboratory setting and with the aim of increasing the accuracy in identifying problematic species such as anchovy, mackerel, jack mackerel, and sardine, experiments were conducted with keypoint detection using the Keypoint R-CNN model to automate the extraction of morphological features of the fish. This led to the development of a hierarchical classification model that adapts a taxonomy based on more specific characteristics of the problematic fish species. The results obtained proved to be outstanding for both work environments. In the industrial environment, despite the fact that the system faced challenges such as detection in variable environmental conditions and a high occurrence of occlusions among fishes, precisions of over 90% were achieved for 4 of the 6 species, achieving a system that can operate on average at 54.1 images per second, adjusting to the minimum standards required by Sernapesca inspectors to have a tool that serves as support to carry out their work. In the laboratory environment, the system achieved accuracies of up to 1.00 to predict small fish species, and 0.98 to predict big fish species, demonstrating that the identification of keypoints is the key to facing problems where the taxonomy of the species of interest can be better exploited.