Texto completo
|
PDF (Portable Document Format)
- Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB) |
| Título: | Automatización de procesos con Docker, n8n y modelos de IA: generación y evaluación automática de exámenes basada en RAG y modelos de IA para entornos educativos |
|---|---|
| Autor/es: |
|
| Director/es: |
|
| Tipo de Documento: | Trabajo Fin de Grado o Proyecto Fin de Carrera |
| Grado: | Grado en Ingeniería Informática |
| Fecha: | Junio 2025 |
| Materias: | |
| ODS: | |
| Escuela: | E.T.S. de Ingenieros Informáticos (UPM) |
| Departamento: | Lenguajes y Sistemas Informáticos e Ingeniería del Software |
| Licencias Creative Commons: | Reconocimiento - Sin obra derivada - No comercial |
|
PDF (Portable Document Format)
- Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (1MB) |
Este Trabajo de Fin de Grado presenta el diseño y desarrollo de un sistema automatizado para la generación y evaluación de exámenes, utilizando tecnologías modernas como Docker, n8n, modelos de lenguaje de OpenAI y un sistema RAG (Retrieval-Augmented Generation). El objetivo principal ha sido reducir la carga de trabajo del profesorado en la elaboración y corrección de pruebas, al tiempo que se mejora la experiencia de aprendizaje del alumnado a través de una retroalimentación automatizada y personalizada. El sistema se ha implementado en forma de un prototipo funcional que simula el entorno de una asignatura ficticia. Este enfoque ha permitido trabajar con un temario inventado y autocontenido, lo cual garantiza que cualquier contenido generado por el sistema se base exclusivamente en la información cargada mediante el sistema RAG, descartando la posibilidad de que el modelo utilice datos aprendidos previamente. Esto ha sido clave para verificar que el modelo accede correctamente al contexto proporcionado por la base vectorial, confirmando el funcionamiento efectivo del sistema RAG. Para el desarrollo de este sistema se han integrado distintas tecnologías. Por un lado, Docker permite desplegar los componentes del sistema de forma modular y escalable, asegurando su portabilidad. n8n actúa como motor de automatización, con flujos que gestionan tareas como la segmentación del temario, la consulta al sistema RAG o la comunicación con los modelos de IA. Para la generación y evaluación de exámenes se ha utilizado el modelo GPT-4.1- mini de OpenAI, junto con el modelo text-embedding-3-small para la vectorización de los contenidos del temario. Por último, se ha desarrollado una aplicación web con Angular, que sirve de interfaz visual para que el usuario pueda interactuar con el sistema de forma intuitiva y eficaz. El funcionamiento del sistema ha sido validado mediante diversas pruebas. En el proceso de generación de exámenes se ha comprobado que las preguntas generadas se alinean correctamente con los temas seleccionados, y que el modelo respeta las instrucciones contenidas en los “prompts”. Asimismo, en la evaluación de respuestas, el sistema ha demostrado ser capaz de generar valoraciones realistas, justificadas y coherentes, especialmente en el caso de preguntas de desarrollo, donde se proporciona además un comentario explicativo por cada calificación asignada. Aunque se han obtenido resultados satisfactorios, también se han identificado diversas limitaciones. El sistema RAG implementado en n8n resulta eficaz para temarios sencillos, pero no está optimizado para gestionar contenidos complejos o muy extensos. Además, el modelo de lenguaje, pese a su rendimiento, sigue presentando algunas limitaciones como la sensibilidad al “prompt” o la posibilidad de generar respuestas incorrectas (“alucinaciones”). Por otro lado, la integración con plataformas educativas como Moodle todavía no ha sido posible, debido a la falta de una API accesible directamente desde n8n. En cuanto al impacto, en el proyecto se ha reflexionado sobre el uso responsable de la inteligencia artificial en el ámbito educativo, incluyendo una evaluación de su posible huella ecológica y su alineación con los Objetivos de Desarrollo Sostenible (ODS). Se ha destacado que, aunque el sistema actual utiliza modelos ligeros y no tiene un uso intensivo, su escalado podría tener un impacto considerable en términos de consumo energético, emisiones de carbono o generación de residuos electrónicos. En resumen, este TFG demuestra la viabilidad de automatizar parte del proceso de evaluación educativa mediante tecnologías actuales, y presenta las bases para su evolución futura hacia sistemas más complejos.
ABSTRACT
This Final Degree Project presents the design and development of an automated system for the generation and evaluation of exams, using modern technologies such as Docker, n8n, OpenAI language models, and a Retrieval-Augmented Generation (RAG) architecture. The main goal of the project is to reduce the workload of teaching staff in exam preparation and grading, while also improving the student experience through fast, personalized, and automated feedback. The system has been implemented as a functional prototype built around a fictional subject. This approach has enabled the use of a custom, self-contained syllabus, ensuring that all content generated by the system is based solely on the information loaded into the RAG system. This guarantees that the language model does not rely on any previously learned knowledge, thus allowing for proper validation of the RAG-based retrieval mechanism. Multiple technologies were combined to develop the system. Docker was used to deploy system components in a modular and scalable way. n8n served as the workflow orchestrator, managing tasks such as syllabus segmentation, vector database access, and model interaction. OpenAI's GPT-4.1-mini was used for text generation and exam evaluation, while the text-embedding-3-small model was employed for content vectorization. An Angular-based web application was developed to serve as the user interface, offering a clear and responsive way to interact with the system. The system's performance was evaluated through several tests. In the exam generation process, it was confirmed that the questions generated always aligned with the selected topics, and that the model adhered to the instructions defined in the prompts. Regarding evaluation, the system provided realistic and coherent feedback, particularly in open-ended questions, where each score was accompanied by a justification comment. Although the results were positive, several limitations were identified. The RAG system implemented with n8n is suitable for simple syllabi but is not optimized for complex or hierarchical content. Moreover, while the language model delivered good performance, it still exhibits typical limitations such as sensitivity to prompt design and occasional inaccuracies or hallucinations. Additionally, full integration with educational platforms such as Moodle is not yet feasible, as there is no accessible API that allows n8n to retrieve course data automatically. Finally, the project also reflects on the responsible use of artificial intelligence in educational contexts, analyzing its environmental impact and its relevance to the Sustainable Development Goals (SDGs). Although the current system operates with lightweight models and limited usage, its future scalability may have a greater carbon footprint, energy demand, and electronic waste implications. In conclusion, this project demonstrates the technical viability of automating parts of the educational assessment process using current AI technologies and provides a foundation for future development.
| ID de Registro: | 90131 |
|---|---|
| Identificador DC: | https://oa.upm.es/90131/ |
| Identificador OAI: | oai:oa.upm.es:90131 |
| Depositado por: | Biblioteca Facultad de Informatica |
| Depositado el: | 23 Jul 2025 06:04 |
| Ultima Modificación: | 23 Jul 2025 06:04 |
Publicar en el Archivo Digital desde el Portal Científico