Explicit feedback for congestion control in Science DMZ cyberinfrastructures based on programable data-plane switches.

Abstract

Diariamente, se genera una gran cantidad de datos científicos en diferentes áreas del conoci-miento. Los desafíos de investigación son cada vez más sofisticados y demandan una mayor cantidad de información para tomar decisiones, y además, las herramientas tecnológicas están cada vez más al alcance de los investigadores. En muchos casos, esta información debe ser recopilada y procesada, y transmitida entre diferentes centros de investigación ubicados a considerable distancia. Se recurre Internet y otras ciber infraestructuras dedicadas para lograr este objetivo. La transferencia de información científica entre sitios remotos implica desafíos en el rendimiento, la seguridad, la coexistencia y la asignación de recursos. Por lo tanto, ESnet propuso el concepto de Science DMZ que proporciona patrones de diseño para un entorno de red optimizado para intercambiar datos científicos. Debido a su naturaleza, los flujos de datos científicos masivos son orientados a la conexión, demandando un alto y constante tasa de transmisión, con baja latencia y variabilidad deseables, para alcanzar tiempos de transmisión razonables. Esto impone desafíos fundamentales al diseño de la red, especialmente en los mecanismos de control de congestión, estimación de los buffers y detección de anomalías, temas objeto de estudio de la presente tesis. Esta disertación aborda dos tecnologías disruptivas para responder a estos desafíos: modelos impulsados por datos y dispositivos programables en el plano de datos. Las soluciones fueron evaluadas empleando redes de producción y testbeds utilizando dispositivos reales de enrutamiento y procesamiento en el plano de datos. Los resultados mostraron que las soluciones desarrolladas podrían mejorar efectivamente el rendimiento de las redes académicas y adaptar efectivamente los patrones de diseño de Science DMZ a redes no dedicadas.

A massive amount of scientific data is generated daily in different areas of knowledge. The challenges of research are increasingly sophisticated and demand a higher amount of information to make decisions, and also technological tools are increasingly more available for researchers. In many cases, this information, in addition to being collected and processed, must be transmitted among different research centers located over considerable distances. Internet and other dedicated cyberinfrastructures are needed to achieve this goal. Transferring scientific information between remote sites involves challenges in performance, security, coexistence, and resource allocation. Therefore, Energy Science Network (ESnet) proposed the concept of Science DMZ that provides design patterns for an optimized network environment to exchange scientific data. Due to their nature, the Scientific Big Data (SBD) flows are connection-oriented, demanding high and constant throughput under low delay and jitter to reach reasonable transmission times. This imposes fundamental challenges to network design, especially congestion control mechanisms, buffer estimation, and anomaly detection, which are tackled in this thesis. This dissertation addresses two disruptive technologies to respond to these challenges: data-driven models and data-plane programmable devices. We evaluated our solutions through production networks and testbeds using a hardware-based data plane and routing devices. Results showed that the proposed solutions could effectively improve the networks’ performance and effectively adapt the Science DMZ design to non-dedicated networks.