Aplicación de Reinforcement Learning para los problemas de Survivable-Routing, Modulation Level and Spectrum Assigment

Abstract

En el presente documento se propone una solución para el problema de sobrevivencia, enrutamiento, modulación y asignación de recursos (S-RMLSA) dentro de las redes ópticas elásticas (EON) mediante la aplicación de algoritmo de “Deep Reinforcement learning” (DRL). Las EON corresponden a un esquema de manejo de los recursos de redes ópticas, el cual trabaja con grillas de frecuencia de menor separación comparada con redes tradicionales. Además, permiten el uso flexible del espectro para acomodar conexiones de diferentes tasas, de esta manera flexibilizando y optimizando la asignación de los recursos espectrales de la red. El problema de RMLSA consiste en la asignación de recursos espectrales, donde el usuario pide requerimientos de bit rate indicando los nodos fuente-destino. Mientras que un algoritmo busca encontrar un formato de modulación y una longitud de onda que sea capaz de transportar todos los datos requeridos en el tiempo que transcurren estas demandas. Las cuales se ven limitadas por los “Frequency slot unit” (FSU) disponibles. Este problema se ha visto solucionados por heurísticas tales como “K Shortest Path” (KSP), “First Fit” (FF). Por otra parte, la sobrevivencia(S) de la red óptica permite la transmisión de datos aun cuando esta red presente una falla, como la ruptura de un enlace. Lo anterior, indica que el problema a resolver presenta un gran dinamismo por la cantidad de requerimientos que deben ser seleccionados para su envío y los factores externos que pueden afectar la red. Actualmente, estos problemas se solucionan mediante la aplicación de heurísticas, tales como, las protecciones dedicadas 1+1, las cuales necesitan una gran cantidad de recursos para su implementación. Debido al crecimiento de demanda de datos, las redes deben ser capaces de soportar el aumento de tráfico, por lo que la incorporación de nuevas tecnologías y herramientas como la inteligencia artificial proponen una solución al problema de S-RMLSA. Los algoritmos de “Machine Learning” (ML) son dinámicos y útiles en sistemas de gran complejidad. Estos han sido recientemente implementados dentro de las redes ópticas, modificando el panorama actual, el cual consiste en la aplicación de heurísticas y controladores. 4 En este trabajo un agente de DRL fue entrenado bajo 3 escenarios de fallas y sin fallas, evaluando su desempeño y comparándolo con diferentes heurísticas de protección y restauración. Se observo una reducción en la probabilidad de bloqueo en 14.99, 26.23 y 53,99% comparado con la heurística de protección y en donde los agentes entrenados con fallas fueron los que presentaron mejor desempeño. Por otra parte, cuando se evalúan los agentes versus la heurística de restauración se obtiene que la heurística supera al agente sin fallas en un promedio del 8 % con respecto a la probabilidad de bloqueo, mientras que en los casos de los agentes con fallas se presenta una mejora promedio del 25.32, 57.62% respectivamente, obteniendo una mejora considerable con respecto a la probabilidad de bloqueo de la red e indicando que entrenando a los agentes en entornos con fallas, estos serán capaces de posicionar los recursos solicitados aun cuando se presenten falla de enlace en la red.