Implementación de modelo de lenguaje basado en RAG para asistencia en CityLab Biobío.
Loading...
Date
2025
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad de Concepción
Abstract
City Lab Biobío es una iniciativa del MIT, auspiciada por la Gobernación del Biobío, que desarrolla y utiliza diversas herramientas para apoyar la toma de decisiones en el ámbito de la planificación urbana y el diseño espacial. La herramienta principal en este contexto es Cityscope, una maqueta de una porción de la ciudad sobre la cual se proyecta un mapa de colores que permite visualizar y comprender cómo se distribuyen distintos indicadores a lo largo del territorio urbano. Este proyecto despierta el interés de varias entidades, por lo que el laboratorio recibe visitas frecuentemente.
Para gestionar este flujo de visitas, se decide crear un asistente virtual capaz de responder de manera autónoma y eficaz a las preguntas de los visitantes. El asistente es una aplicación web en la cual un modelo de lenguaje (LLM) gestiona las preguntas y respuestas. A través de técnicas de Recuperación Aumentada con Generación (RAG), el modelo recibe documentos relevantes sobre City Lab, lo que le permite responder con información precisa y actualizada. Toda la lógica de las respuestas se maneja desde un servidor desarrollado en Python con la librería FastAPI, mientras que la interfaz del asistente está implementada en HTML, JavaScript y CSS.
Para verificar el correcto funcionamiento de la aplicación, se propone una prueba de estrés que simula un escenario donde múltiples dispositivos se conectan al mismo tiempo. Además, los integrantes de City Lab responsables de supervisar el proyecto validan las respuestas entregadas por el modelo. En el primer caso, se producen instancias donde no se generan respuestas, pero este problema se debe a fallos en la API de OpenAI y no a la lógica del servidor. Por ello, se implementan medidas para detectar cuándo ocurre este problema y notificar al usuario. Con respecto a la validación realizada por City Lab, se busca que las respuestas sean coherentes con la información existente y que no se revele información privada del laboratorio. Los casos en los que el modelo no responde de manera correcta ocurren por una falta de documentos o porque la recuperación de estos no es satisfactoria. Sin embargo, esto no se considera un error inherente del asistente, sino simplemente una falta de información. Ademas, el asistente no es capaz de revelar información privada, pues los documentos son seleccionados directamente por el laboratorio.
City Lab Biobío is an initiative of MIT, sponsored by the Biobío Regional Government, that develops and utilizes various tools to support decision-making in urban planning and spatial design. The primary tool in this context is Cityscope, a model of a portion of the city on which a color-coded map is projected to visualize and understand how different indicators are distributed throughout the urban area. This project has garnered the interest of several entities, and the lab frequently receives visitors. To manage this flow of visits, a virtual assistant is created to respond autonomously and effectively to visitors’ questions. The assistant is a web application in which a language mo del (LLM) handles questions and answers. Through Retrieval-Augmented Generation (RAG) techniques, the model receives relevant documents about City Lab, enabling it to respond with accurate and up-to-date information. All response logic is handled by a server developed in Python with the FastAPI library, while the assistant’s interface is implemented in HTML, Ja vaScript, and CSS. To verify the correct functioning of the application, a stress test is proposed, simulating a scenario where multiple devices connect at the same time. Additionally, the City Lab team members responsible for overseeing the project validate the responses provided by the model. In both cases, the results are satisfactory.
City Lab Biobío is an initiative of MIT, sponsored by the Biobío Regional Government, that develops and utilizes various tools to support decision-making in urban planning and spatial design. The primary tool in this context is Cityscope, a model of a portion of the city on which a color-coded map is projected to visualize and understand how different indicators are distributed throughout the urban area. This project has garnered the interest of several entities, and the lab frequently receives visitors. To manage this flow of visits, a virtual assistant is created to respond autonomously and effectively to visitors’ questions. The assistant is a web application in which a language mo del (LLM) handles questions and answers. Through Retrieval-Augmented Generation (RAG) techniques, the model receives relevant documents about City Lab, enabling it to respond with accurate and up-to-date information. All response logic is handled by a server developed in Python with the FastAPI library, while the assistant’s interface is implemented in HTML, Ja vaScript, and CSS. To verify the correct functioning of the application, a stress test is proposed, simulating a scenario where multiple devices connect at the same time. Additionally, the City Lab team members responsible for overseeing the project validate the responses provided by the model. In both cases, the results are satisfactory.
Description
Tesis presentada para optar al título de Ingeniero/a Civil en Telecomunicaciones.
Keywords
Mapas Procesamiento de datos, Aprendizaje de máquina, Aplicaciones informáticas