Diseño e implementación de un prototipo de una base de datos no relacional con manejo de flujo eficiente en el contexto de alertas astronómicas.

Abstract

Dado que en la actualidad el avance de la tecnología en los telescopios modernos genera más y más datos, la forma de trabajar con estos debe cambiar. Es necesario contar con sistemas que vayan a la par con las nuevas formas de observar el universo, que puedan procesar, manejar, clasificar y ayudar al seguimiento de las alertas generadas por la nueva generación de telescopios de rastreo, que escanean el cielo obteniendo imágenes de regiones en el espacio. Actualmente se está desarrollando un nuevo sistema de procesamiento de alertas astronómicas (estos sistemas se conocen como broker ) llamado ALeRCE (Automatic Learning for the Rapid Classification of Events). En el contexto de este sistema, el objetivo de esta memoria de título fue evaluar mediante la implementación de un prototipo, la eficiencia del sistema gestor de bases de datos no relacional Apache Cassandra para el almacenamiento y consultas de un stream de datos en tiempo real de un telescopio. Se simuló el stream de datos del telescopio Zwicky Transient Facility (ZTF) a través del software de streaming Apache Kafka y se realizó un análisis experimental sobre el rendimiento de la base de datos con respecto al tiempo de respuesta tanto de ingestión y consultas. Los resultados muestran que Cassandra puede soportar la ingestión del stream de datos del telescopio Zwicky Transient Facility, y responder a las consultas para la clasificación de ALeRCE de los objetos astronómicos con un tiempo de respuesta que permite procesarlas en tiempo real.