Vision circuits architecture with on-chip spatial window operations.
Loading...
Date
2024
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad de Concepción
Abstract
CMOS Image Sensors (CIS) are crucial components in multimedia applications for the Internet of the Things (IoT). They allow IoT devices to perceive, interpret, and respond to the physical world, improving efficiency, safety, and convenience across various industries. The images captured by these sensors are sent to an external digital device for processing. Additionally, the images produced by CMOS sensors may contain defective pixels due to noise, manufacturing errors, or device malfunction. These defects need to be detected and corrected close to the sensor before the images are processed, which is essential for ensuring the images are helpful for human users as well as for image-processing and machine-vision algorithms.
This thesis reports the design and evaluation of two Smart Image Sensor (SIS) of 128×128 pixels using a 0.35 μm CMOS process, one for kernel-based spatial filtering calculation and the other for detecting and correcting defective pixels. The SISs are based on custom smart pixels that can perform some image processing algorithms in the analog domain. The remaining processing, including machinevision algorithms and machine-learning methods, is handled by an external digital device. The focus of this thesis does not extend to this latter aspect.
The first SIS enables spatial filtering using a single kernel, two different kernels on the same image, or two cascaded kernels. The circuit calculates the absolute value of each convolution on-pixel in parallel at each pixel using simple neighborhood arithmetic during photocurrent integration. This process is repeated when the filter requires more than one kernel. According to post-layout simulation, this SIS processes images at frame rates ranging from 743 to 752 frames per second (fps) and achieves a fill factor of 20.6 %. Our SIS outperforms state-of-the-art circuits in denoising, being the best result with a Mean Square Error (MSE) of 0.90, Peak Signal to Noise Ratio (PSNR) of 48.55 dB, and Structural Similarity Index Measure (SSIM) of 0.99, configured as the mean filter. Additionally, it demonstrates comparable edge detection performance to state-of-the-art circuits. The best results were achieved with a MSE of 4.68, PSNR of 41.42 dB, and SSIM of 0.97, using the y-direction Robert filter. Our proposed circuit demonstrated good edge-location accuracy of 0.99 % with the Sobel filter, which is one of the best results according to the Pratt Figure of Merit.
During photocurrent integration, the second SIS detects defective pixels in parallel at each pixel using simple arithmetic operations within a neighborhood. At the column level, the circuit replaces the defective pixels with the median value of their neighborhood. According to post-layout simulation, this SIS processes images at 694 fps, achieving a fill factor of 35.4 %. Our SIS produces better results than current state-of-the-art algorithms: it achieves a PSNR and Image Enhancement Factor (IEF) of 45 dB and 198.4, respectively, in images with 0.5 % random defective pixels, and a PSNR of 44.4 dB and IEF of 194.2, respectively, in images with 1.0 % random defective pixels.
The results demonstrate that, in a vision system, transferring part of the computation to the CIS can be beneficial. In this setup, an analog circuit performs computations at the pixel level using arithmetic operations within a pixel window while integrating photodiode current. This approach leverages the parallel architecture of the pixel array, enabling high frame rates, low power consumption, and compact size. Additionally, it minimizes the impact on fill factor and data accuracy.
Thanks to the results obtained in this thesis, our contributions are that a SIS is developed with on-pixel computing capabilities to perform kernel-based spatial filtering, allowing external configuration for various kernels and executing computations during photocurrent integration, achieving performance comparable to other SISs. Additionally, an algorithm from the literature for detecting defective pixels is modified for analog hardware implementation, yielding superior results compared to existing methods. Furthermore, another SIS is developed to detect defective pixels at the pixel level during photocurrent integration, implementing correction at the column level. This SIS is the first instance reported in the state of the art that combines detection and correction processes in the analog domain using CMOS technology on the same chip, achieving better outcomes than other implementations.
Los sensores de imagen CMOS (CIS) son componentes cruciales en las aplicaciones multimedia del Internet de las cosas (IoT). Permiten a los dispositivos IoT percibir, interpretar y responder al mundo físico, mejorando la eficiencia, la seguridad y la comodidad en diversos sectores. Las imágenes captadas por estos sensores se envían a un dispositivo digital externo para su procesamiento. Además, las imágenes producidas por los sensores CMOS pueden contener píxeles defectuosos debido a ruido, errores de fabricación o mal funcionamiento del dispositivo. Estos defectos deben detectarse y corregirse cerca del sensor antes de procesar las imágenes, lo que es esencial para garantizar que las imágenes sean útiles tanto para los usuarios humanos como para los algoritmos de procesamiento de imágenes y visión artificial. Esta tesis reporta el diseño y evaluación de dos sensores de imagen inteligentes (SIS) de 128 × 128 píxeles utilizando un proceso CMOS de 0.35 μm, uno para el cálculo de filtrado espacial basado en kernel y el otro para la detección y corrección de píxeles defectuosos. Los SIS se basan en píxeles inteligentes personalizados que pueden realizar algunos algoritmos de procesamiento de imágenes en el dominio analógico. El resto del procesamiento, incluidos los algoritmos de visión artificial y los métodos de aprendizaje automático, es gestionado por un dispositivo digital externo. El enfoque de esta tesis no se extiende a este último aspecto. El primer SIS permite el filtrado espacial utilizando un único kernel, dos kernels diferentes en la misma imagen o dos kernels en cascada. El circuito calcula el valor absoluto de cada convolución en paralelo en cada píxel utilizando simple aritmética en la vecindad durante la integración de la fotocorriente. Este proceso se repite cuando el filtro requiere más de un kernel. Según la simulación postlayout, este SIS procesa imágenes a frecuencias de cuadro que varían entre 743 y 752 fotogramas por segundo (fps) y alcanza un fill factor de 20.6 %. Nuestro SIS supera a los circuitos del estado del arte en la eliminación de ruido, siendo el mejor resultado con un Error Cuadrático Medio (MSE) de 0.90, una Relación Peak Señal a Ruido (PSNR) de 48.55 dB, y una Medida del Índice de Similitud Estructural (SSIM) de 0.99, configurado como el filtro mean. También demuestra un rendimiento en la detección de bordes comparable al de los circuitos del estado del arte. Los mejores resultados se obtuvieron con un MSE de 4.68, PSNR de 41.42 dB, y SSIM de 0.97, utilizando el filtro Robert de dirección y. Nuestro circuito propuesto demostró una buena exactitud de localización de bordes del 0.99 % con el filtro Sobel, que es uno de los mejores resultados según la figura de mérito de Pratt. Durante la integración de la fotocorriente, el segundo SIS detecta los píxeles defectuosos de forma paralela en cada píxel utilizando operaciones aritméticas simples dentro de una vecindad. A nivel de columna, el circuito sustituye los píxeles defectuosos por el valor medio de su vecindario. Según la simulación post-layout, este SIS procesa las imágenes a 694 fps, alcanzando un fill factor del 35.4 %. Nuestro SIS muestra mejores resultados que los algoritmos del estado del arte, alcanzando una PSNR y un factor de mejora de la imagen (IEF) de 45 dB y 198.4, respectivamente, en imágenes con un 0.5 % de píxeles defectuosos aleatorios, y una PSNR de 44.4 dB y un IEF de 194.2, respectivamente, en im´agenes con un 1.0 % de píxeles defectuosos aleatorios. Los resultados demuestran que, en un sistema de visión, transferir parte del cálculo al CIS puede ser beneficioso. En esta configuración, un circuito analógico realiza cálculos a nivel de píxel utilizando operaciones aritméticas dentro de una ventana de píxel mientras integra la corriente del fotodiodo. Este enfoque aprovecha la arquitectura paralela de la matriz de píxeles, lo que permite altas frecuencias de cuadro, un bajo consumo de energía y un tamaño compacto. Además, minimiza el impacto sobre el fill factor y la exactitud de los datos. Gracias a los resultados obtenidos en esta tesis, nuestras aportaciones son que se desarrolla un SIS con capacidad de cómputo sobre el píxel para realizar filtrado espacial basado en kernels, permitiendo la configuración externa para varios kernels y ejecutando los cálculos durante la integración de la fotocorriente, consiguiendo un rendimiento comparable a otros SISs. Además, un algoritmo de la literatura para la detección de píxeles defectuosos se modifica para la implementación de hardware análogo, dando resultados superiores en comparación con los métodos existentes. Además, se desarrolla otro SIS para detectar píxeles defectuosos a nivel de píxel durante la integración de fotocorriente, implementando la corrección a nivel de columna. Este SIS es el primer caso reportado en el estado del arte que combina procesos de detección y corrección en el dominio análogo utilizando tecnología CMOS en el mismo chip, consiguiendo mejores resultados que otras implementaciones.
Los sensores de imagen CMOS (CIS) son componentes cruciales en las aplicaciones multimedia del Internet de las cosas (IoT). Permiten a los dispositivos IoT percibir, interpretar y responder al mundo físico, mejorando la eficiencia, la seguridad y la comodidad en diversos sectores. Las imágenes captadas por estos sensores se envían a un dispositivo digital externo para su procesamiento. Además, las imágenes producidas por los sensores CMOS pueden contener píxeles defectuosos debido a ruido, errores de fabricación o mal funcionamiento del dispositivo. Estos defectos deben detectarse y corregirse cerca del sensor antes de procesar las imágenes, lo que es esencial para garantizar que las imágenes sean útiles tanto para los usuarios humanos como para los algoritmos de procesamiento de imágenes y visión artificial. Esta tesis reporta el diseño y evaluación de dos sensores de imagen inteligentes (SIS) de 128 × 128 píxeles utilizando un proceso CMOS de 0.35 μm, uno para el cálculo de filtrado espacial basado en kernel y el otro para la detección y corrección de píxeles defectuosos. Los SIS se basan en píxeles inteligentes personalizados que pueden realizar algunos algoritmos de procesamiento de imágenes en el dominio analógico. El resto del procesamiento, incluidos los algoritmos de visión artificial y los métodos de aprendizaje automático, es gestionado por un dispositivo digital externo. El enfoque de esta tesis no se extiende a este último aspecto. El primer SIS permite el filtrado espacial utilizando un único kernel, dos kernels diferentes en la misma imagen o dos kernels en cascada. El circuito calcula el valor absoluto de cada convolución en paralelo en cada píxel utilizando simple aritmética en la vecindad durante la integración de la fotocorriente. Este proceso se repite cuando el filtro requiere más de un kernel. Según la simulación postlayout, este SIS procesa imágenes a frecuencias de cuadro que varían entre 743 y 752 fotogramas por segundo (fps) y alcanza un fill factor de 20.6 %. Nuestro SIS supera a los circuitos del estado del arte en la eliminación de ruido, siendo el mejor resultado con un Error Cuadrático Medio (MSE) de 0.90, una Relación Peak Señal a Ruido (PSNR) de 48.55 dB, y una Medida del Índice de Similitud Estructural (SSIM) de 0.99, configurado como el filtro mean. También demuestra un rendimiento en la detección de bordes comparable al de los circuitos del estado del arte. Los mejores resultados se obtuvieron con un MSE de 4.68, PSNR de 41.42 dB, y SSIM de 0.97, utilizando el filtro Robert de dirección y. Nuestro circuito propuesto demostró una buena exactitud de localización de bordes del 0.99 % con el filtro Sobel, que es uno de los mejores resultados según la figura de mérito de Pratt. Durante la integración de la fotocorriente, el segundo SIS detecta los píxeles defectuosos de forma paralela en cada píxel utilizando operaciones aritméticas simples dentro de una vecindad. A nivel de columna, el circuito sustituye los píxeles defectuosos por el valor medio de su vecindario. Según la simulación post-layout, este SIS procesa las imágenes a 694 fps, alcanzando un fill factor del 35.4 %. Nuestro SIS muestra mejores resultados que los algoritmos del estado del arte, alcanzando una PSNR y un factor de mejora de la imagen (IEF) de 45 dB y 198.4, respectivamente, en imágenes con un 0.5 % de píxeles defectuosos aleatorios, y una PSNR de 44.4 dB y un IEF de 194.2, respectivamente, en im´agenes con un 1.0 % de píxeles defectuosos aleatorios. Los resultados demuestran que, en un sistema de visión, transferir parte del cálculo al CIS puede ser beneficioso. En esta configuración, un circuito analógico realiza cálculos a nivel de píxel utilizando operaciones aritméticas dentro de una ventana de píxel mientras integra la corriente del fotodiodo. Este enfoque aprovecha la arquitectura paralela de la matriz de píxeles, lo que permite altas frecuencias de cuadro, un bajo consumo de energía y un tamaño compacto. Además, minimiza el impacto sobre el fill factor y la exactitud de los datos. Gracias a los resultados obtenidos en esta tesis, nuestras aportaciones son que se desarrolla un SIS con capacidad de cómputo sobre el píxel para realizar filtrado espacial basado en kernels, permitiendo la configuración externa para varios kernels y ejecutando los cálculos durante la integración de la fotocorriente, consiguiendo un rendimiento comparable a otros SISs. Además, un algoritmo de la literatura para la detección de píxeles defectuosos se modifica para la implementación de hardware análogo, dando resultados superiores en comparación con los métodos existentes. Además, se desarrolla otro SIS para detectar píxeles defectuosos a nivel de píxel durante la integración de fotocorriente, implementando la corrección a nivel de columna. Este SIS es el primer caso reportado en el estado del arte que combina procesos de detección y corrección en el dominio análogo utilizando tecnología CMOS en el mismo chip, consiguiendo mejores resultados que otras implementaciones.
Description
Tesis presentada para optar al grado de Doctor en Ciencias de la Ingeniería con mención en
Ingeniería Eléctrica
Keywords
Sensores, Internet de las cosas, Imágenes