Methods of speech and text databases development for QA-systems

Бесплатный доступ

The paper is devoted to the problems of question-answer systems development (QA-systems). The subject of the study is discussion of approaches to the automatic filling of the database of the QA-system based on the analysis of the unstructured text sources currently available in the public domain of the Internet. The analysis reveals that the following ways of implementing QA-systems are distinguished: based on inference for ontologies, rules and syntax, using artificial neural networks. The methods for automatically search of question-answer pairs based on the structure of sentences and on the basis of associative-ontological analysis has been developed and tested in the research. The method based on the analysis of the structure of sentences is effective for texts such as lists of frequently asked questions (FAQ), as well as literature texts containing dialogs, direct speech, based on preliminary processing of the text, expressed in the form of a heuristic rule. The method based on associative-ontological analysis is focused to the class of reference and dictionary texts and is based on the assumption that in the descriptive text there is a sentence (or a group of sentences) containing the main idea of the text. In this case, the title of the text can be considered a question, and this sentence (or a group of sentences) is the answer. We need to make the selection of meaning-generating sentences due to the semantic reduction of the text automation. For this purpose, algorithms of self-referencing are applied based on the associative-ontological approach to the processing of texts in natural language. For the experimental verification of the possibility of creating an open QA-system based on the automatic collection of question-answer pairs from the Internet, a prototype of a collection module for the database of the QA-system has been developed.

Еще

Question-answer pair, associative-ontological analysis, text, automatic text processing, natural language, speech recognition

Короткий адрес: https://readera.org/147232787

IDR: 147232787   |   DOI: 10.14529/mmph180307

Список литературы Methods of speech and text databases development for QA-systems

  • Кипяткова, И.С. Автоматическое распознавание русской речи с применением факторных языковых моделей/И.С. Кипяткова, А.А. Карпов//Искусственный интеллект и принятие решений. -2015. -№ 3. -С. 62-69.
  • Богомолов, А.В. Автоматизация персонифицированного мониторинга условий труда/А.В. Богомолов, Ю.А. Кукушкин//Автоматизация. Современные технологии. -2015. -№ 3. -С. 6-8.
  • Гигиеническая оценка условий труда работников «шумовых» профессий авиаремонтных заводов/Зинкин В.Н., Солдатов С.К., Кукушкин Ю.А. и др.//Медицина труда и промышленная экология. -2008. -№ 4. -С. 40-42.
  • Методико-методологические рекомендации авторам инноваций по диагностике функционального состояния человека-оператора/Т.Г. Горячкина, И.Б. Ушаков, В.И. Евдокимов, А.В. Богомолов//Технологии живых систем. -2006. -Т. 3, № 3. -С. 33-38.
  • Кукушкин, Ю.А. Принципы построения системы обеспечения жизнедеятельности операторов систем «человек-машина», адаптивных к их функциональному состоянию/Ю.А. Кукушкин, А.В. Богомолов, А.Г. Гузий//Мехатроника, автоматизация, управление. -2005. -№ 3. -С. 50-54.
  • Лапшин, В.А. Вопросно-ответные системы: развитие и перспективы/В.А. Лапшин//Научно-техническая информация. Серия 2. Информационные процессы и системы. -2012. -№ 6. -С. 1-9.
  • Rodrigo, A. study about the future evaluation of Question-Answering systems/A. Rodrigo, A.A. Peñas//Knowledge-Based Systems. -2017. -Vol. 137. -P. 83-93.
  • Natural Language Question Answering over RDF: A Graph Data Driven Approach/L. Zou, R. Huang, H. Wang et al.//Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data, SIGMOD'14. -Snowbird, Utah, USA, June 22-27, 2014. -P. 313-324.
  • Fader, A. Open Question Answering over the Curated and Extracted Knowledge Bases/A. Fader, L. Zettlemoyer, O. Etzioni//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, KDD '14, New York, New York, USA, August 24-27, 2014, pp. 1156-1165.
  • A Health QA with Enhanced User Interfaces/J. Li, H. Liu, Y. Zhang, C. Xing//Proceedings of the 13th Web Information Systems and Applications Conference (WISA). -September 23-25, 2016. -P. 173-178.
  • Liu, Y. Predicting Information Seeker Satisfaction in Community Question Answering/Y. Liu, J. Bian, E. Agichtein//Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, SIGIR '08. -2008. -P. 483-490.
  • Сутягин И.В. Методы формализации экспертных знаний для наполнения базы знаний/И.В. Сутягин//Молодой ученый. -2012. -№ 1-1. -С. 151-153.
  • Федоркова, Г.С. Краудсорсинговые технологии в российских социальных медиа/Г.С. Федоркова//Материалы Всероссийской научно-практической конференции «Коммуникация в современном мире». -Воронеж, 11-13 мая 2017 г. -С. 154-155.
  • https://www.wolframalpha.com/(Date of access: 27.12.2017).
  • Никитин, А. Вопросно-ответные системы/А. Никитин, П. Райков//URL: http://yury.name/internet/06ia-seminar.ppt (Date of access 27.12.2017)
  • Кулешов, С.В. Ассоциативно-онтологический подход к обработке текстов на естественном языке/С.В. Кулешов, А.А. Зайцева, В.С. Марков//Интеллектуальные технологии на транспорте. -2015. -№ 4. -С. 40-43.
  • Первушин, А. Модуль графематического анализа в системе обработки русскоязычных текстов/А. Первушин//Новые информационные технологии в автоматизированных системах. -2012. -№ 15. -С. 187-190.
  • Александров, В.В. Аналитический мониторинг Internet контента. Инфологический подход/В.В. Александров, С.В. Кулешов//Качество. Инновации. Образование. -2008. -№ 3(34). -С. 68-70.
  • Михайлов, С.Н. Экспертный мониторинг неструктурированных информационных ресурсов в интересах информационно-аналитического обеспечения космических исследований/С.Н. Михайлов, С.В. Кулешов//Известия Юго-Западного государственного университета. -2013. -№ 6-2 (51). -С. 40-43.
Еще
Статья научная