Análisis sobre la utilización de transformers y modelos generativos para generación de anuncios

Resumen

En este trabajo se desarrolla un sistema para la generación y mejora de anuncios de video mediante la utilización de modelos de inteligencia artificial generativa. La propuesta se divide en dos etapas, un primer acercamiento dónde el usuario introduce una descripción (prompt) inicial corta (sencilla, ya que está enfocado a usuarios no especializados en inteligencia artificial) que describe la idea del anuncio a generar y su objetivo (lo que trata de conseguir el usuario/empresa con el anuncio). Este prompt se refina y amplia utilizando unagente RAG (que utiliza distintos LLMs a elección del usuario implementados a través de la API de groq), adaptándolo a las características específicas del anuncio. Una vez realizado este proceso, se da la segunda etapa, donde la descripción (prompts) final (respuesta del agente) pasa por un modelo de generación de video (externo a la herramienta) para la creación final del anuncio, ofreciendo la herramienta un espacio para visualizar el resultado final. Durante el desarrollo del trabajo, se estudian diferentes estructuras de modelos de lenguaje, buscando los mejores prompts o la identificación de un estilo óptimo en la redacción del prompt para la generación de anuncios. A su vez, se examinan los aspectos de diseño necesarios para optimizar la generación de los prompts (como la introducción de un prompt del sistema o system prompt y la evaluación de los métodos de aprendizaje de few-shot learnig y zero-shotlearning). Además, se construye una interfaz gráfica sencilla e intuitiva para acercar la herramienta ausuarios no expertos de una manera simple. Cabe destacar la implementación de un sistema interactivo, estilo “ChatBot” con memoria, que permite al usuario validar los prompts generados o proporcionar nueva información para así construir un prompt final adecuado. Los resultados a lo largo de la evolución del trabajo fueron demostrando mejoras significativas en la generación de texto y tiempos de respuesta, sobre todo con la eliminación de las herramientas de resumen y la unificación de la base de conocimiento del agente RAG a un único documento. Esto optimizo el sistema tanto en precisión de los textos generados en cuanto a textos esperados como en eficiencia del sistema. Aún así la herramienta tiene infinidad de mejoras empezando por la integración de modelos de video en la propia herramienta y siguiendo por la reducción de los tiempos de carga del agente RAG. En conclusión, este enfoque proporciona una herramienta valiosa para los profesionales de marketing y publicidad que buscan optimizar el proceso de desarrollo de anuncios.

ABSTRACT

In this work we develop a system for the generation and improvement of video advertisements using generative artificial intelligence models. The proposal is divided into two stages, a first approach where the user introduces a short initial prompt (simple, as it is focused on users not specialised in artificial intelligence) that describes the idea of the ad to be generated and its objective (what the user/company is trying to achieve with the ad). This prompt is refined and extended using a RAG agent (which uses different LLMs of the user's choice implemented through the groq API), adapting it to the specific characteristics of the advertisement. Once this process has been carried out, the second stage takes place, where the final description (prompts) (agent response) goes through a video generation model (external to the tool) for the final creation of the advertisement, with the tool offering a space to visualise the final result. During the development of the work, different language model structures are studied, looking for the best prompts or the identification of an optimal style in the writing of the prompt for the generation of advertisements. At the same time, the design aspects necessary to optimise the generation of prompts are examined (such as the introduction of a system prompt and the evaluation of the few-shot learnig and zero-shot-learning methods). In addition, a simple and intuitive graphical interface is built to bring the tool closer to non-experts in a simple way. It is worth mentioning the implementation of an interactive system, ‘ChatBot’ style with memory, which allows the user to validate the prompts generated or to provide new information in order to build a suitable final prompt. The results throughout the evolution of the work demonstrated significant improvements in text generation and response times, especially with the elimination of summarisation tools and the unification of the RAG agent's knowledge base into a single document. This optimised the system both in terms of accuracy of the generated texts in terms of expected texts and system efficiency. Even so, the tool has many improvements starting with the integration of video models in the tool itself and continuing with the reduction of the loading times of the RAG agent. In conclusion, this approach provides a valuable tool for marketing and advertising professionals looking to optimise the ad development process.