Exploring prompt engineering strategies for LLM-based math assessments: enhancing performance and adaptability.
Loading...
Date
2025
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad de Concepción
Abstract
This research proposes a scalable prompt engineering framework for the resolution of math Multiple Choice Questions. The framework integrates two systems: a baseline, composed of a single Large Language Model (LLM) that directly solves problems; and a Multi-Agent System (MAS), composed of six agents: a problem analyzer that extracts essential information; a router agent that decides the resolution strategy for the problems; a direct answer agent; a planner agent; an executor agent, which integrates tools; and an answer refiner agent. This framework is designed utilizing vanguard libraries for the handling of LLMs, which mainly allow the management of workflows, and the integration of data validation schemas. The core concept behind every decision is modularity, allowing easy access to the configuration and addition of prompts, agents, and tools. The baseline system performs decently with respect to metrics such as accuracy, execution time, and token usage, establishing itself as an efficient alternative for the direct resolution of problems. The MAS proposes a more complex approach, which delivers useful insights for problems, and enhances accuracy in some cases. This research proposes a solid foundation as a problem-solving automation, allowing for further developments and experimentation.
Esta investigación propone un framework de ingeniería de prompts escalable para la resolución de problemas de matemáticas de opción múltiple. El framework integra dos sistemas: una baseline, compuesta de un solo modelo de lenguaje de gran escala (LLM) que resuelve problemas de forma directa; y un sistema multi-agentes (MAS), compuesto por seis agentes: un analizador de problemas que extrae información esencial; un agente router que decide la estrategia de resolución para los problemas; un agente de respuesta directa; un agente planificador; un agente ejecutor, que integra herramientas; y un agente refinador de respuestas. Este framework está diseñado utilizando librerías de vanguardia para el manejo de LLMs, lo que principalmente permite la gestión de flujos de trabajo, y la integración de esquemas de validación de datos. El concepto principal detrás de cada decisión es la modularidad, permitiendo fácil acceso a la configuración y adición de prompts, agentes, y herramientas. El sistema de baseline se desempeña decentemente con respecto a métricas como exactitud, tiempo de ejecución, y uso de tokens, estableciéndose a sí mismo como una alternativa eficiente para resolver problemas de forma directa. El MAS propone un enfoque más complejo, el cual entrega insights útiles para los problemas, y mejora la exactitud en algunos casos. Esta investigación propone una base sólida como una automatización de resolución de problemas, permitiendo futuros desarrollos y experimentación.
Esta investigación propone un framework de ingeniería de prompts escalable para la resolución de problemas de matemáticas de opción múltiple. El framework integra dos sistemas: una baseline, compuesta de un solo modelo de lenguaje de gran escala (LLM) que resuelve problemas de forma directa; y un sistema multi-agentes (MAS), compuesto por seis agentes: un analizador de problemas que extrae información esencial; un agente router que decide la estrategia de resolución para los problemas; un agente de respuesta directa; un agente planificador; un agente ejecutor, que integra herramientas; y un agente refinador de respuestas. Este framework está diseñado utilizando librerías de vanguardia para el manejo de LLMs, lo que principalmente permite la gestión de flujos de trabajo, y la integración de esquemas de validación de datos. El concepto principal detrás de cada decisión es la modularidad, permitiendo fácil acceso a la configuración y adición de prompts, agentes, y herramientas. El sistema de baseline se desempeña decentemente con respecto a métricas como exactitud, tiempo de ejecución, y uso de tokens, estableciéndose a sí mismo como una alternativa eficiente para resolver problemas de forma directa. El MAS propone un enfoque más complejo, el cual entrega insights útiles para los problemas, y mejora la exactitud en algunos casos. Esta investigación propone una base sólida como una automatización de resolución de problemas, permitiendo futuros desarrollos y experimentación.
Description
Tesis presentada para optar al título de Ingeniero/a Civil Industrial.
Keywords
MATHEMATICS, Multi-agent systems, Prompt engineering