LLMProfiler: Herramienta para la caracterización del despliegue de LLMs

Resumen

Este Trabajo de Fin de Grado se enmarca en el ámbito de la inteligencia artificial (IA) y se ha enfocado principalmente como un proyecto de investigación. El objetivo principal ha sido analizar el coste y el rendimiento de los modelos de lenguaje de gran taman o (LLMs) ejecutados en entornos locales (on-premise) frente a soluciones en la nube (cloud).

Durante las primeras etapas del proyecto, se realizó un estudio de diferentes repositorios y herramientas existentes con la intención de extender alguna de ellas para adaptarla a los objetivos planteados. Sin embargo, tras evaluar sus limitaciones, se optó por desarrollar una herramienta propia: LLMProfiler.

LLMProfiler permite conectarse a un sistema bajo prueba (System Under Test, SUT), instalar automáticamente el entorno necesario para trabajar con distintos LLMs, y monitorizar el comportamiento del sistema mientras se ejecutan una serie de prompts. A través de herramientas como Ollama y Prometheus, la aplicación proporciona me tricas detalladas que permiten comparar el rendimiento de los modelos en diferentes contextos.

Este proyecto no solo ha permitido extraer conclusiones relevantes sobre la ejecución de LLMs, sino que también ha supuesto una valiosa oportunidad de aprendizaje en a reas como la monitorización de sistemas, la automatización con Bash, el uso de modelos de IA y el diseño de interfaces interactivas con Streamlit.

Abstract:

This Bachelor's Thesis focuses on the field of artificial intelligence (AI) and has been approached primarily as a research-oriented project. The main objective has been to analyze the cost and performance trade-offs of running large language models (LLMs) locally (on-premise) versus using cloud-based solutions.

In the early stages of the project, several existing repositories and tools were explored with the aim of extending them to fit our goals. However, due to their limitations, we ultimately decided to develop our own tool: LLMProfiler.

LLMProfiler connects to a System Under Test (SUT), installs the necessary components to work with different LLMs, and collects detailed system metrics while executing a series of prompts.

Leveraging tools such as Ollama and Prometheus, the application provides insights into the system's behavior during LLM execution.

This project not only delivers relevant conclusions about LLM deployment strategies, but it has also been an enriching learning experience in areas such as system monitoring, automation with Bash, artificial intelligence workflows, and interactive interface design using Streamlit.