Mejoras al proceso de elaboración de Systematic Literature Review en el área de Ingeniería del Software

Villegas García, Andrea (2019). Mejoras al proceso de elaboración de Systematic Literature Review en el área de Ingeniería del Software. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S.I. de Sistemas Informáticos (UPM), Madrid.

Description

Title: Mejoras al proceso de elaboración de Systematic Literature Review en el área de Ingeniería del Software
Author/s:
  • Villegas García, Andrea
Contributor/s:
  • Pérez Martínez, Jorge E.
Item Type: Final Project
Degree: Grado en Ingeniería del Software
Date: 29 April 2019
Subjects:
Freetext Keywords: Coeficiente Kappa de Cohen; Medidas estadísticas; Checklist; Métrica de calidad
Faculty: E.T.S.I. de Sistemas Informáticos (UPM)
Department: Sistemas Informáticos
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img] PDF - Users in campus UPM only - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (1MB)
[img] Archive (ZIP) (Anexos) - Users in campus UPM only
Download (52kB)

Abstract

Uno de los procesos al realizar un Systematic Literature Review (SLR) es la selección de estudios primarios. Si dos investigadores intervienen en dicho proceso, es frecuente que los resultados estén sesgados además de que es un proceso de revisión dual que consume mucho tiempo. Es conveniente y oportuno elaborar estrategias que disminuyan el sesgo y el tiempo empleado en dicho proceso. Por otro lado, otro factor que influye en la calidad de un SLR es la calidad de los estudios primarios que ha procesado. Para medir dicha calidad, diversos autores han propuesto diferentes métricas, todas ellas basadas en check-list. La elaboración de estas listas, que pueden tener desde unas pocas cuestiones a decenas de preguntas, no solo es una actividad farragosa y que consume mucho tiempo, sino que también es propensa a generar sesgos dada la subjetividad del investigador que la realiza. Si se aplica un proceso dual para medir dicha calidad, se puede disminuir el sesgo, pero aumentará en consonancia el tiempo a dedicar a esta tarea. En este trabajo se propone utilizar el Kappa de Cohen para reducir el sesgo y el tiempo en el proceso de selección de estudios primarios. Su uso, en repetidas iteraciones, permite refinar los criterios de inclusión/exclusión hasta que los dos investigadores llegan a un acuerdo sobre su interpretación (se reduce el sesgo) y puede eliminarse la revisión dual (ahorro de tiempo). En este mismo sentido, en este trabajo se propone el uso de métricas alternativas a las check-list para medir la calidad de un estudio primario. La obtención de estas métricas es automática y su interpretación está libre de sesgos. La viabilidad de la propuesta se mostrará mediante la realización de un estudio terciario. Se revisarán los SLR sobre Ingeniería del Software (IS) desde el 1 de enero de 2005 hasta el 31 de julio de 2018. Se analizan 4 bases de datos, 13 revistas y 3 conferencias especializadas en el área. Se aplicará el método propuesto en el proceso de selección de estudios primarios. La amplitud temporal del análisis permite poner en perspectiva cómo se realiza el proceso de selección de estudios primarios en el dominio de IS y contrastarlo con esta propuesta. Para el caso de las métricas de calidad, se elaborará un prototipo de programa que ataque la base de datos de Scopus y recupere las métricas de calidad que deseamos. Abstract: One of the processes when performing a Systematic Literature Review (SLR) is the selection of primary studies. If two researchers take part in this process, the results are often biased. In addition, this dual review process is a high time-consuming one. It is convenient and suitable to develop strategies that reduce the bias and the time spent in the process mentioned before. On the other hand, another factor that influences the quality of an SLR is the quality of the primary studies it has processed. To measure this quality, several authors have proposed different metrics, all based on check-list. The elaboration of these lists, which can range from a few questions to dozens of questions, is not only a cumbersome and time-consuming activity but is also prone to generate biases given the subjectivity of the researcher who carries it out. If a dual process is applied to measure this quality, the bias can be reduced, but the time devoted to this task will increase accordingly. In this paper, we propose to use Cohen's Kappa to reduce bias and time in the selection process of primary studies. Its use, in repeated iterations, allows to refine the inclusion/exclusion criteria until the two researchers reach an agreement on its interpretation (the bias is reduced) and the dual review (time-saving) can be omitted. In this same thought, this paper proposes the use of alternative metrics to the check-list to measure the quality of a primary study. Obtaining these metrics is automatic and their interpretation is free from bias. The feasibility of the proposal will be shown through the completion of a tertiary study. The SLR on Software Engineering will be reviewed from January 1, 2005, to July 31, 2018. Four databases, 13 journals and 3 specialized conferences in the area are analyzed. The proposed method will be applied in the selection process of primary studies. The temporal amplitude of the analysis allows us to put into perspective how the selection process of primary studies in the Software Engineering domain is carried out and contrast it with this proposal. In the case of quality metrics, a program prototype will be developed that attacks the Scopus database and retrieves the quality metrics that we require.

More information

Item ID: 54985
DC Identifier: http://oa.upm.es/54985/
OAI Identifier: oai:oa.upm.es:54985
Deposited by: Biblioteca Universitaria Campus Sur
Deposited on: 14 May 2019 08:19
Last Modified: 14 May 2019 08:19
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM