Статистический метод выделения временных паттернов из естественных языков

Статистический метод выделения временных паттернов из естественных языков

Автор: Калимолдаев Максат Нурадилович, Пак Александр Александрович, Нарынов Сергазы Сакенович

Журнал: Проблемы информатики @problem-info

Рубрика: Средства и системы обработки и анализа данных

Статья в выпуске: 3 (24), 2014 года.

Бесплатный доступ

Рассматривается алгоритм рекурсивной самоорганизующейся карты (Recursive Self Organizing Map, RSOM) для выделения статистически значимых временных паттернов из символьного потока контекстно-зависимых грамматик. Главной идеей метода является, предложенное Thomas Voegtlin в 2002, объединение классического алгоритма Teuvo Kohonen и неявного представления времени в виде комбинации текущего входа и контекстного отклика сети. В статье приведены результаты экспериментов над текстами на казахском и английском языках.

Обработка естественных языков, нейронные сети, самоорганизация

Короткий адрес: https://sciup.org/14320253

IDR: 14320253

Список литературы Статистический метод выделения временных паттернов из естественных языков

  • SHUMSKY S. Selforganizing semantic networks/Neuroinformatics-2001 III All-Russian Scientific Conf. Lect.on Neuroinformatics. Moscow, 2001.
  • LANG, K. J., WAIBEL A. H., & HINTON, G. E. A time-delay neural network architecture for isolated word recognition.//Neural Networks. 1990. N 3, P. 23-43.
  • ELMAN, J. L. Finding structure in time.//Cognitive Science. 1990. N 14. P. 179-211.
  • BENGIO Y., SIMARD P., & FRASCONI P. Learning long-term dependencies with gradient descent is difficult//IEEE Transactions on Neural Networks. 1994. N 5(2). P. 157-166.
  • KANGAS J. On the analysis of pattern sequences by self-organizing maps//PhD Thesis, Helsinki University of Technology. 1994.
  • VESANTO J. Using the SOM and local models in time-series prediction/Proc. of the Workshop on Self-Organizing Maps’97 Espoo, Finland: Helsinki University of Technology. 1997. P. 209-214.
  • EULIANO N., & PRINCIPE J. Spatio-temporal self-organizing feature maps/Proc. of the Inter. Conf. on Neural Networks. 1996. P. 1900-1905.
  • HOEKSTRA A., & DROSSAERS M. An extended Kohonen feature map for sentence recognition/Proc. of the Inter. Conf. on Artificial Neural Networks. 1993. P. 404-407.
  • CHAPPELL G. J. & TAYLOR J. G. The temporal Kohonen map//Neural Networks. 1993. N 6. P. 441-445.
  • PRIVITERA C. M. & MORASSO P. The analysis of continuous temporal sequences by a map of sequential leaky integrators/Proc. of Intern. Conf.on Neural Networks. 1994. P. 3127-3130.
  • JAMES D. L. & MIIKKULAINEN R. SARDNET: A self-organizing feature map for sequences//Advances in Neural Information Processing Systems. 1995. N 7. P. 577-584.
  • KOSKELA T., VARSTA M., HEIKKONEN J. & KASKI K. Time series prediction using recurrent SOM with local linear models//Intern. J. of Knowledge-based Intelligent Eng. Sys. 1998. N 2(1). P. 60-68.
  • MOZAYYANI N., ALANOU V., DREYFUS J. & VAUCHER G. A spatiotemporal data coding applied to Kohonen maps/Proc. of the Intern. Conf. on Artificial Neural Networks. 1995. P. 75-79.
  • VOEGTLIN T. Recursive Self-Organizing Maps//Neural Networks. 2002. V. 15 N. 8-9. P. 979-992.
  • http://radio.feld.cvut.cz/matlab/toolbox/wavelet/mexihat.html.
  • http://www5a.wolframalpha.com/Calculate/MSP/MSP6701h6a8290ga 35bb8600003afghd1hgga79088?MSPStoreType=image/gif&s=61&w= 304.&h=124.&cdf=RangeControl
  • BRISCOE G. & CAELLI T. (1997). Learning temporal sequences in recurrent self-organising neural nets. In A. Sattar (Ed.), Advanced topics in artificial intelligence/Proc. of the 10th Australian Joint Conf. on Artificial Intell. Berlin: Springer. 1997. P. 427-435.
  • SCHOLTES J. C. Kohonen feature maps in natural language processing/Tech. Rep. CL-1991-01, Institute for Language, Logic and Information, University of Amsterdam. 1991.
  • VARSTA M., HEIKKONEN J. & MILLAN, J. D. R. Context-learning with the self-organizing map/Proc. of the Workshop on Self-Organizing Maps’97. Espoo, Finland: Helsinki University of Technology. 1997. P. 197-202.
  • KOHONEN T. Self-Organizing Maps. Springer Verlag. 2001.
  • http://acs.lbl.gov/software/colt/
  • http://pajek.imfm.si/doku.php
Еще
Статья научная
SciUp 2024 © 2024 ©