Ensamble de modelos sintácticos y semánticos para la evaluación automática de ensayos

Abstract

La evaluación automática de ensayos (descriptivos y argumentativos) es el problema de determinar de forma automática la calificación que un humano le daría a dicho ensayo bajo una rúbrica dada. Ello se logra mediante la detección de elementos específicos del texto. Una evaluación con tales características debe ser capaz de considerar las propiedades fundamentales de los textos que son la coherencia y la cohesión. Hasta ahora se han desarrollado métodos que permiten hacer esto de forma parcial, principalmente basados en propiedades estadísticas de los textos, siendo la más común el conteo de palabras. En este trabajo, se propone un nuevo método de evaluación automática que considere las distintas componentes de la coherencia textual. La propuesta incorpora métodos basados en teoría linguística para el análisis de discursos. Trabajos anteriores mostraron que integrando componentes de la semántica de un texto se pueden obtener mejores resultados que sólo considerando propiedades estadísticas, sin embargo, no se han utilizado combinaciones de métodos basados en teoría de discurso para esta tarea. Los resultados experimentales mostraron que el método propuesto supera en términos de correlación con humanos a un método que utilice puramente características superficiales. Además, el método propuesto es competitivo con sistemas actuales de evaluación de ensayos, superando a la mayoría de los enfoques tradicionales.