Classificació de gènere i identificació d'exemplars de Trencalòs a partir d'imatges

Objectiu del projecte

L'objectiu principal d'aquest projecte és el desenvolupament d’un sistema d'intel·ligència artificial (IA) capaç de:

1. Retallar imatges de trencalossos mitjançant la tècnica YOLO (You Only Look Once) per extreure les àrees on es troben els exemplars.
2. Entrenar una IA per reconèixer si un trencalòs és mascle o femella a partir d'imatges retallades.
3. Segmentant les imatges utilitzant Mask R-CNN o DeepLabv3+ o similars.
4. Identificar de quin exemplar es tracta mitjançant autoencoders

Dades disponibles

Les imatges dels trencalossos seran proporcionades per Naturfer Pirineus, S.L. del  Parc Natural de les Capçaleres del Ter i el Freser. Aquestes imatges es capturen a través del sistema de vigilància, obtenint dades visuals de qualitat sobre els trencalossos que utilitzen el punt d'alimentació.

Metodologia

1. Detecció d'exemplars amb YOLO:

   • El primer pas serà utilitzar YOLO per identificar i retallar les imatges dels trencalossos. YOLO permetrà extreure les regions d'interès (ROIs) que contenen els ocells, eliminant el fons i altres elements irrellevants.

2. Classificació de gènere (Mascle/Femella):

   • Un cop retallades les imatges, s'entrenarà una xarxa neuronal convolucional (CNN) per classificar el gènere de l'exemplar.
   • CNNs o, si escau, image transformers s'utilitzaran per analitzar els trets característics que permeten distingir entre mascles i femelles, aprofitant dades d'imatges etiquetades.

3. Identificació de l'exemplar (Identitat):

   • Per identificar específicament cada exemplar de trencalòs,  despres de segmentar les imatges, es proposa utilitzar autoencoders, que poden capturar les característiques úniques de cada individu en una representació comprimida i així permetre la seva identificació.
   • Es proposa utilitzar lCNNs o image transformers per l'autoencoder, per tal de poder ajudar a extreure patrons més complexes de les imatges i millorar el rendiment en la tasca d'identificació.

4. Validació del sistema:

   • El sistema serà avaluat a través de tests amb les imatges disponibles per determinar la precisió tant en la classificació de gènere com en la identificació de cada exemplar.
   • Es realitzaran iteracions per ajustar els models fins a aconseguir una taxa d'encert elevada.

Requisits tècnics

• Coneixements necessaris:

  • Xarxes neuronals artificials, especialment CNNs, autoencoders i image transformers.
  • Detecció d'objectes amb YOLO.
  • Segmentació d'imatges.

• Tecnologies i eines a utilitzar:

  • Llibreries de deep learning com TensorFlow o PyTorch.
  • YOLO per a la detecció d'objectes.
  • Autoencoders, CNNs i image transformers per a la classificació i segmentació.

Resultats esperats

• Classificació automàtica del gènere: El sistema podrà classificar correctament si un trencalòs és mascle o femella amb una alta precisió.
• Identificació automàtica d'exemplars: El sistema podrà segmentar i identificar específicament cada exemplar de trencalòs present a les imatges.
• Contribució a la conservació: Aquest projecte proporcionarà una eina innovadora per monitoritzar i estudiar els trencalossos, millorant la gestió d'aquesta espècie en perill d'extinció.
•  

Aquest projecte combina tècniques avançades d’IA amb l’aplicació pràctica en la conservació de la fauna, proporcionant una eina per al seguiment i estudi dels trencalossos al Pirineu.

3105M0121 - Màster Universitari en Ciència de Dades

Josep Suy Franch

22/10/2024

28/02/2025