Intense data reduction techniques for digital-based riometers.
Loading...
Date
2024
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad de Concepción
Abstract
Advances in geophysical and astronomical instrumentation have continuously increased receiving sensivity, bandwidth, and number of sensing channels, consequently raising data throughput. Current digital technologies have exponentially increased the observed data volume, posing significant challenges in performing tasks related to data storage, retrieval and analysis. In this context, a new imaging FPGA-based multispectral riometer, currently under construction, known as Ionospheric Spectral Imager (ISI), will generate a very large amount of daily data that will require considerable storage and intense real-time analytical procedures. As means of efficient pre-processing of the data, new Machine learning (ML)-based algorithms for dimensional reduction and clustering are proposed to then rapidly analyze Cosmic Noise Absorption (CNA) images. Opacity functions of the CNA are generated over the images, on which Principal Component Analysis (PCA) projections are obtained providing estimations of variance explained in function of number of components. As a verification of the functionality of this new data analysis method, the CNA has been calculated over a sample of data extracted from Trelew’s 2D SARINET riometer, and there has been applied dimensionality reduction and clustering algorithms to separate and track the temporal evolution of the principal components from the measurements that show the effects from the March 11, 2015 solar flare in the ionosphere, for which there was no a-priori information and therefore it was an event blindly identified from the data.
Los avances en la instrumentación geofísica y astronómica han aumentado la sensibilidad de recepción y el ancho de banda para señales extraterrestres, incrementando el rendimiento y la eficiencia de la observación. Además, las tecnologías digitales actuales han incrementado exponencialmente el volumen de los datos registrados, planteando desafíos significativos en el almacenamiento y análisis de datos. En este contexto, un nuevo riómetro multiespectral basado en tecnología FPGA, conocido como Ionospheric Spectral Imager (ISI), generará una gran cantidad de datos diarios. Por esta razón, se propone el uso de algoritmos de aprendizaje automático (ML) para la reducción de dimensionalidad y el agrupamiento de mediciones riométricas, con el fin de analizar rápidamente los nexos entre mediciones de Absorción de Ruido Cósmico de Radio (CNA). Se ha simulado la radiación de ruido cósmico de radio esperada (CRN) y su evolución diaria para construir las “Curvas Quietas Diarias"(QDC) a partir de mapas del Low Frequency Sky Model (LFSM). Se han generado funciones de opacidad de CNA sobre estas simulaciones y se han obtenido proyecciones de dos y tres componentes principales mediante Análisis de Componentes Principales (PCA). Finalmente, se ha calculado el CNA sobre una muestra de datos extraídos del riómetro bidimensional de Trelew, de un canal espectral a 38.2 MHz, perteneciente a la red sudamericana de riómetros SARINET. A estos datos se les ha aplicado PCA y tres algoritmos de agrupamiento por similitud: K-means, Agglomerative Hierarchical y DBSCAN, para separar y rastrear la evolución temporal de las componentes principales de las mediciones que muestran el efecto de la llamarada solar del 11 de marzo de 2015 en la ionósfera, de las mediciones que no contienen información atípica de CNA vinculada al evento. Se ha discutido el rendimiento de cada secuencia de algoritmos, así como cómo se esperaba que funcionaran en un entorno simulado, en comparación con cómo funcionaron en un caso de interés real para un canal espectral.
Les progrès en instrumentation géophysique et astronomique ont continuellement amélioré la sensibilité de réception, la largeur de bande et le nombre de canaux de détection, augmentant ainsi le débit des données. Les technologies numériques actuelles ont exponentiellement accru le volume de données observées, posant des défis significatifs en matière de stockage, récupération et analyse des données. Dans ce contexte, un nouveau riomètre multispectral d’imagerie basé sur FPGA, actuellement en construction et connu sous le nom d’Ionospheric Spectral Imager (ISI), générera une très grande quantité de données quotidiennes nécessitant un stockage considérable et des procédures analytiques en temps réel intensives. Afin de prétraiter efficacement ces données, de nouveaux algorithmes basés sur l’apprentissage automatique (ML) pour la réduction dimensionnelle et le regroupement sont proposés, permettant ainsi une analyse rapide des images d’absorption du bruit cosmique (CNA). Les fonctions d’opacité du CNA sont générées à partir des images, sur lesquelles des projections par analyse en composantes principales (ACP) sont obtenues, fournissant des estimations de la variance expliquée en fonction du nombre de composantes. En guise de vérification de la fonctionnalité de cette nouvelle méthode d’analyse des données, le CNA a été calculé sur un échantillon de données extrait du riomètre 2D SARINET de Trelew. Des algorithmes de réduction dimensionnelle et de regroupement ont été appliqués pour séparer et suivre l’évolution temporelle des composantes principales à partir des mesures, mettant en évidence les effets de l’éruption solaire du 11 mars 2015 dans l’ionosphère. Cet événement a été identifié aveuglément à partir des données, en l’absence d’informations a priori.
Los avances en la instrumentación geofísica y astronómica han aumentado la sensibilidad de recepción y el ancho de banda para señales extraterrestres, incrementando el rendimiento y la eficiencia de la observación. Además, las tecnologías digitales actuales han incrementado exponencialmente el volumen de los datos registrados, planteando desafíos significativos en el almacenamiento y análisis de datos. En este contexto, un nuevo riómetro multiespectral basado en tecnología FPGA, conocido como Ionospheric Spectral Imager (ISI), generará una gran cantidad de datos diarios. Por esta razón, se propone el uso de algoritmos de aprendizaje automático (ML) para la reducción de dimensionalidad y el agrupamiento de mediciones riométricas, con el fin de analizar rápidamente los nexos entre mediciones de Absorción de Ruido Cósmico de Radio (CNA). Se ha simulado la radiación de ruido cósmico de radio esperada (CRN) y su evolución diaria para construir las “Curvas Quietas Diarias"(QDC) a partir de mapas del Low Frequency Sky Model (LFSM). Se han generado funciones de opacidad de CNA sobre estas simulaciones y se han obtenido proyecciones de dos y tres componentes principales mediante Análisis de Componentes Principales (PCA). Finalmente, se ha calculado el CNA sobre una muestra de datos extraídos del riómetro bidimensional de Trelew, de un canal espectral a 38.2 MHz, perteneciente a la red sudamericana de riómetros SARINET. A estos datos se les ha aplicado PCA y tres algoritmos de agrupamiento por similitud: K-means, Agglomerative Hierarchical y DBSCAN, para separar y rastrear la evolución temporal de las componentes principales de las mediciones que muestran el efecto de la llamarada solar del 11 de marzo de 2015 en la ionósfera, de las mediciones que no contienen información atípica de CNA vinculada al evento. Se ha discutido el rendimiento de cada secuencia de algoritmos, así como cómo se esperaba que funcionaran en un entorno simulado, en comparación con cómo funcionaron en un caso de interés real para un canal espectral.
Les progrès en instrumentation géophysique et astronomique ont continuellement amélioré la sensibilité de réception, la largeur de bande et le nombre de canaux de détection, augmentant ainsi le débit des données. Les technologies numériques actuelles ont exponentiellement accru le volume de données observées, posant des défis significatifs en matière de stockage, récupération et analyse des données. Dans ce contexte, un nouveau riomètre multispectral d’imagerie basé sur FPGA, actuellement en construction et connu sous le nom d’Ionospheric Spectral Imager (ISI), générera une très grande quantité de données quotidiennes nécessitant un stockage considérable et des procédures analytiques en temps réel intensives. Afin de prétraiter efficacement ces données, de nouveaux algorithmes basés sur l’apprentissage automatique (ML) pour la réduction dimensionnelle et le regroupement sont proposés, permettant ainsi une analyse rapide des images d’absorption du bruit cosmique (CNA). Les fonctions d’opacité du CNA sont générées à partir des images, sur lesquelles des projections par analyse en composantes principales (ACP) sont obtenues, fournissant des estimations de la variance expliquée en fonction du nombre de composantes. En guise de vérification de la fonctionnalité de cette nouvelle méthode d’analyse des données, le CNA a été calculé sur un échantillon de données extrait du riomètre 2D SARINET de Trelew. Des algorithmes de réduction dimensionnelle et de regroupement ont été appliqués pour séparer et suivre l’évolution temporelle des composantes principales à partir des mesures, mettant en évidence les effets de l’éruption solaire du 11 mars 2015 dans l’ionosphère. Cet événement a été identifié aveuglément à partir des données, en l’absence d’informations a priori.
Description
Tesis presentada para optar al grado académico de Magíster en Astronomía
Keywords
Riómetros, Aprendizaje de máquina, Erupciones solares