Registro multimodal de imágenes VIS, SWIR y LWIR en hardware dedicado

Abstract

El registro de imágenes se define como el proceso de alinear imágenes de una misma escena capturadas bajo diferentes condiciones. Cuando estas imágenes corresponden a distintos espectros se denomina registro multimodal. El proceso de registro se basa en encontrar una transformación geométrica que permita proyectar la imagen objetivo sobre el espacio de coordenadas de la imagen de referencia, obteniendo una correspondencia punto a punto entre ellas. El registro consta de cuatro componentes: espacio de características, medida de similitud, espacio de búsqueda, y estrategia de búsqueda. El registro multimodal permite apreciar información complementaria sobre una escena, habilitando la utilización de técnicas de análisis de imágenes más potentes y robustas, pero debido a la complejidad de los algoritmos este alineamiento se realiza típicamente en computadores de propósito general, lo que conlleva un alto uso de energía, tiempo, y espacio en comparación a los dispositivos usados para la adquisición de imágenes. En este trabajo se diseñó un algoritmo de registro multimodal entre imágenes visible (Vis), infrarrojo de onda corta (SWIR) e infrarrojo de onda larga (LWIR) compuesto de una fase de calibración inicial y un proceso de registro cuadro a cuadro. El algoritmo utiliza una versión modificada de histograma de gradientes orientados (HOG) como extractor de características, la medida de similitud Chi-cuadrado para emparejarlas, y transformación proyectiva en conjunto con interpolación bilineal para registrar las imágenes. Se diseñó una arquitectura heterogénea software/hardware del algoritmo propuesto, ejecutando la fase de calibración en el núcleo software y el proceso de registro cuadro a cuadro en el núcleo hardware, con un montaje experimental propuesto que integra una cámara Vis, SWIR y LWIR, cada una con su propio núcleo de procesamiento, registrando las imágenes Vis-SWIR y SWIR-LWIR a medida que son obtenidas por los distintos dispositivos de adquisición. El sistema fue implementado en un sistema-en-un-chip (SoC) Zynq XC7Z020 de Xilinx. El prototipo ejecuta de forma separada la fase de calibración inicial y el proceso de registro de imágenes cuadro a cuadro en el procesador embebido y lógica programable respectivamente. La fase de calibración incluye la extracción y emparejamiento de características en conjunto con el cálculo de los parámetros de la transformación. El proceso de registro cuadro a cuadro aplica la transformación proyectiva e interpolación a cada cuadro de la imagen objetivo. El núcleo hardware puede operar a más de 60fps en imágenes de 640 × 512 pixeles a una frecuencia de reloj de 66.6MHz, utilizando el 20% de los recursos lógicos y cerca del 55% de los recursos de memoria del SoC. El sistema consume 1.888W de potencia, de los cuales 1.541W corresponden a la potencia consumida por el procesador y sólo 0.180W al núcleo de registro implementado en hardware.