Speed and Conversational Large Language Models: Not All Is About Tokens per Second

Conde Díaz, Javier ORCID: https://orcid.org/0000-0002-5304-0626, González Saiz, Miguel ORCID: https://orcid.org/0009-0008-6709-938X, Reviriego Vasallo, Pedro ORCID: https://orcid.org/0000-0003-2540-5234, Gao, Zhen ORCID: https://orcid.org/0000-0001-9887-1418, Liu, Shanshan ORCID: https://orcid.org/0000-0001-6226-2880 and Lombard, Fabrizio (2024). Speed and Conversational Large Language Models: Not All Is About Tokens per Second. "Computer", v. 57 (n. 8); pp. 74-80. https://doi.org/10.1109/MC.2024.3399384.

Descripción

Título: Speed and Conversational Large Language Models: Not All Is About Tokens per Second
Autor/es:
Tipo de Documento: Artículo
Título de Revista/Publicación: Computer
Fecha: 2024
Volumen: 57
Número: 8
Materias:
ODS:
Palabras Clave Informales: Large language models; Chatbots; Artificial intelligence; User interfaces; Business; Open source software; Source coding; Performance evaluation; Costs; Investment; Modeling
Escuela: E.T.S.I. Telecomunicación (UPM)
Departamento: Ingeniería de Sistemas Telemáticos
Grupo Investigación UPM: Internet de Nueva Generación
Licencias Creative Commons: Ninguna

Texto completo

[thumbnail of 90614.pdf] PDF (Portable Document Format) - Se necesita un visor de ficheros PDF, como GSview, Xpdf o Adobe Acrobat Reader
Descargar (260kB)

Resumen

The speed of open-weights large language models
(LLMs) and its dependency on the task at hand, when run
on GPUs, is studied to present a comparative analysis of
the speed of the most popular open LLMs.

Proyectos asociados

Tipo
Código
Acrónimo
Responsable
Título
Gobierno de España
PID2022-136684OB-C22
FUN4DATE
Sin especificar
Sin especificar
Horizonte Europa
101140087
SMARTY
Sin especificar
Sin especificar

Más información

ID de Registro: 90614
Identificador DC: https://oa.upm.es/90614/
Identificador OAI: oai:oa.upm.es:90614
URL Portal Científico: https://portalcientifico.upm.es/es/ipublic/item/10245875
Identificador DOI: 10.1109/MC.2024.3399384
URL Oficial: https://ieeexplore.ieee.org/document/10632720
Depositado por: Javier Conde Díaz
Depositado el: 09 Sep 2025 05:39
Ultima Modificación: 09 Sep 2025 05:39