A comparative study of structured prediction methods for sequence labeling

Palacios Cuesta, Aitor (2016). A comparative study of structured prediction methods for sequence labeling. Proyecto Fin de Carrera / Trabajo Fin de Grado, E.T.S. de Ingenieros Informáticos (UPM), Estocolmo, Suecia.

Description

Title: A comparative study of structured prediction methods for sequence labeling
Author/s:
  • Palacios Cuesta, Aitor
Contributor/s:
  • Minock, Michael
Item Type: Final Project
Degree: Grado en Matemáticas e Informática
Date: May 2016
Subjects:
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Otro
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (633kB) | Preview

Abstract

Algunas tareas de aprendizaje automático tienen un resultado complejo, en lugar de un número real o una clase. Esos resultados están compuestos de elementos que tienen interdependencias y propiedades estructurales. Los métodos que tienen en cuenta la forma del resultado se conocen como técnicas de predicción estructurada. Este trabajo se centra en esas técnicas, evaluando su rendimiendo sobre tareas de etiquetado de secuencias y comparándolas. En concreto, tareas pertenecientes al procesado del lenguaje natural son usadas como referencia. El principal problema evaluado es el etiquetado gramatical. Conjuntos de datos de diferentes idiomas (inglés, español, portugués y holandés) y entornos (periódicos, twitter y chats) son usados para lograr un análisis general. También son examinadas las tareas de análisis sintáctico superficial y el reconocimiento de nombres de entidades. Los algoritmos usados son el perceptrón estructurado, campos aleatorios condicionales, máquinas de vectores de soporte estructuradas y modelos ocultos de Markov con trigramas. Esos algoritmos también son comparados con otros enfoques para resolver esos problemas. Los resultados muestran que, en general, el perceptrón estructurado tiene el mejor rendimiento para el etiquetado de secuencias con las condiciones evaluadas. Sin embargo, con datos de entrenamiento más escasos, las máquinas de vectores de soporte estructuradas pueden lograr un rendimiento similar o superior. Además, los resultados para los campos aleatorios condicionales son cercanos a esos dos métodos. Los resultados relativos entre los algoritmos son similares para los diferentes conjuntos de datos, pero la precisión absoluta depende de sus particularidades.---ABSTRACT---Some machine learning tasks have a complex output, rather than a real number or a class. Those outputs are composed by elements which have interdependences and structural prop- erties. Methods which take in to account the form of the output are known as structured prediction techniques. This study focuses on those techniques, evaluating their performance for tasks of sequence labeling and comparing them. Specically, tasks of natural language processing are use das benchmarks. The principal problem evaluated is part-of-speech tagging. Datasets of different lan- guages (English, Spanish, Portuguese and Dutch) and environments (newspapers, twitter and chats) are used for a general analysis. Shallow parsing and named entity recognition are also examined. The algorithms treated are structured perceptron, conditional random fields, structured support vector machines and trigram hidden Markov models. They are also compared to different approaches to solve these problems. The results show that, in general, structured perceptron has the best performance for sequence labeling with the conditions evaluated. However, with few training examples, structured support vector machines can achieve a similar or superior accuracy. Moreover, the results for conditional ranom fields is near those two methods. The relative results of the algorithms are similar across different datasets, but the absolute accuracies are dependent on their specicities.

More information

Item ID: 54919
DC Identifier: http://oa.upm.es/54919/
OAI Identifier: oai:oa.upm.es:54919
Deposited by: Biblioteca Facultad de Informatica
Deposited on: 09 May 2019 12:15
Last Modified: 09 May 2019 12:15
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM