Knowledge-based approach to Winograd Schema Challenge

Boguslavskiy Margolin, Igor and Frolova, Tatiana I. and Iomdin, Leonid L. and Lazursky, Alexander V. and Rygaev, Ivan P. and Timoshenko, Svetlana P. (2019). Knowledge-based approach to Winograd Schema Challenge. In: "Annual International Conference "Dialogue" (2019) “Computational Linguistics and Intellectual Technologies”", 29 May - 01 Jun 2019, Moscú, Rusia. pp. 86-103.

Description

Title: Knowledge-based approach to Winograd Schema Challenge
Author/s:
  • Boguslavskiy Margolin, Igor
  • Frolova, Tatiana I.
  • Iomdin, Leonid L.
  • Lazursky, Alexander V.
  • Rygaev, Ivan P.
  • Timoshenko, Svetlana P.
Item Type: Presentation at Congress or Conference (Article)
Event Title: Annual International Conference "Dialogue" (2019) “Computational Linguistics and Intellectual Technologies”
Event Dates: 29 May - 01 Jun 2019
Event Location: Moscú, Rusia
Title of Book: Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference "Dialogue 2019"
Date: 2019
Subjects:
Freetext Keywords: Winograd Schema Challenge; knowledge-based approach; knowledge representation; Inference; Etalog language; Anaphora resolution
Faculty: E.T.S. de Ingenieros Informáticos (UPM)
Department: Inteligencia Artificial
Creative Commons Licenses: Recognition - No derivative works - Non commercial

Full text

[img]
Preview
PDF - Requires a PDF viewer, such as GSview, Xpdf or Adobe Acrobat Reader
Download (469kB) | Preview

Abstract

We propose a method to resolve anaphoric pronouns in the framework of Winograd Schema Challenge (WSC) by means of SemETAP –a knowledge-based semantic analyzer. WSC is a modern version of the famous Turing test. Its objective is to check a machine’s ability to exhibit intelligent behavior indistinguishable from that of a human. In contrast to other approaches to WSC, which are based on machine learning, our method uses explicit knowledge. An important advantage of this approach is that it gives an opportunity to provide an explanation of the result understandable for humans. SemETAP interprets the text using both linguistic and extralinguistic (background) knowledge. The former is stored in the grammar and the dictionary of the ETAP-4 system, and the latter is provided by the SemETAP ontology, inference rules and the repository of individuals. We show how this knowledge is used for resolving WSC. At the moment, the performanceof the algorithm is not high –54%. This is due to the incompleteness of the background knowledge supplied to the system. It is shown, however, that if the background knowledge is complete and accurate enough, the WSC test is resolved well and it is easily understandable why the system arrived at a particular conclusion.---Аннотация---Предлагается метод разрешения анафоры в рамках теста WinogradSchemaChallenge(WSC) с помощью семантического анализатора SemETAP, основанного на знаниях. Тест WSCпредставляет собой современный вариант теста Тьюринга и предназначен для проверки того, в какой степени компьютер владеет фоновыми знаниями и некоторыми мыслительными операциями, свойственными человеку. В отличие от других подходов к WSC, использующих машинное обучение, наш метод основан на эксплицитных знаниях. Важное преимущество такого подхода состоит в том, что он позволяет дать обоснование полученного результата, понятное человеку. Для интерпретации текста SemETAPиспользует как лингвистические, так и внелингвистические (фоновые) знания. Лингвистические знания собраны в словарях и грамматике системы ETAP-4, а фоновые знания –в онтологии, массиве правил вывода и в базе индивидов. Мы показываем, какиезнания и как используются для WSC-теста. Проведенная оценка алгоритма показала невысокий результат –54%. Этообъясняетсянедостаточнополнымифоновымизнаниями, вложеннымивсистему. Тем не менее, показано, что,если фоновые знания системы достаточно детальны, WSC-тест дает хороший результат, обоснование которого легко понимается человеком.

More information

Item ID: 65046
DC Identifier: http://oa.upm.es/65046/
OAI Identifier: oai:oa.upm.es:65046
Official URL: http://www.dialog-21.ru/media/4589/boguslavskyimplusetal-111.pdf
Deposited by: Memoria Investigacion
Deposited on: 27 Oct 2020 11:00
Last Modified: 27 Oct 2020 11:00
  • Logo InvestigaM (UPM)
  • Logo GEOUP4
  • Logo Open Access
  • Open Access
  • Logo Sherpa/Romeo
    Check whether the anglo-saxon journal in which you have published an article allows you to also publish it under open access.
  • Logo Dulcinea
    Check whether the spanish journal in which you have published an article allows you to also publish it under open access.
  • Logo de Recolecta
  • Logo del Observatorio I+D+i UPM
  • Logo de OpenCourseWare UPM