Выделение главных направлений в задаче аппроксимации на основе гауссовских процессов

Автор: Бурнаев Е.В., Ерофеев П.Д., Приходько П.В.

Журнал: Труды Московского физико-технического института @trudy-mipt

Рубрика: Математика, информатика, управление, экономика

Статья в выпуске: 3 (19) т.5, 2013 года.

Бесплатный доступ

Для решения множества прикладных задач необходимо уметь восстанавливать неизвестную зависимость по выборке ее значений. Одним из наиболее эффективных методов восстановления зависимостей является метод построения аппроксимации на основе гауссовских процессов. Зачастую ковариационную функцию гауссовского процесса моделируют с помощью гауссовской ковариационной функции на основе взвешенного евклидова расстояния. Однако такое априорное предположение о ковариационной структуре источника данных означает, что направления наиболее значимого изменения аппроксимируемой функции и направления координатных осей в пространстве данных совпадают, что редко выполняется на практике. В работе предложен эффективный способ моделирования ковариационной структуры данных для более общего случая. Разработан эффективный алгоритм настройки параметров ковариационной функции. Показано, что разработанный алгоритм также позволяет решать задачу эффективного снижения размерности. Предложен статистический тест, позволяющий оценить сниженную размерность данных. Все основные утверждения подкреплены экспериментальными результатами на тестовых задачах. Общая эффективность разработанного подхода продемонстрирована на примере решения реальной задачи из области самолетостроения.

Еще

Эффективное снижение размерности, гауссовские процессы, расстояние махалонобиса

Короткий адрес: https://sciup.org/142185925

IDR: 142185925

Список литературы Выделение главных направлений в задаче аппроксимации на основе гауссовских процессов

  • Burnaev E., Erofeev P., Prikhodko P. Extraction of the most sensitive directions via Gaussian process modelling//Uncertainty in Computer Models Conference. -2012. -Sheffield, UK.
  • Ferrari S. and Stengel R.F. Smooth function approximation using neural networks//IEEE Transaction on neural network. -2005. -V. 16. -P. 24-38.
  • Dolan E., More J. Benchmarking optimization software with performance profiles//Mathematical Programmming. Ser. A 91. -2002. -P. 201-213.
  • Donoho D.L. Aide-Memoire. High-Dimensional Data Analysis: The Curses and Blessings of Dimensionality. -2000.
  • Hastie T., Tibshirani R., Friedman J. The elements of statistical learning: data mining, inference, and prediction. -Berlin: Springer, 2008. -763 p.
  • Rasmussen C.E., Williams C.K.I. Gaussian Processes for Machine Learning. -MIT Press, 2006.
  • Vivarelli F. and Williams C. K. Discovering hidden features with Gaussian processes regression//Advances in Neural Information Processing Systems 11, ed. by Kearns M. S. and Solla S. A., and Cohn D. A. -MIT Press, 1999.
  • Li Ker-Chau. Sliced Inverse Regression for Dimension Reduction//Journal of the American Statistical Association. -1991. -V. 86, N 414. -P. 316-327. Published by: American Statistical Association. http://www.jstor.org/stable/2290563.
  • Yehua Li and Tailen Hsing. Deciding the dimension of effective dimension reduction space for functional and high-dimensional data//Ann. Statist. -2010. -V. 38, N 5. -P. 3028-3062.
  • Bura E., Yang J. Dimension Estimation in Sufficient Dimension Reduction: A Unifying Approach//Journal of Multivariate Analysis. -2011.
  • Tenenhaus M., Vinzia V.E., Chatelinc Y-M., Laurob C. PLS path modeling, Computational Statistics and Data Analysis. -2005. -V. 48. -P. 159-205.
  • Yingcun Xia, Howell Tong, W. K. Li, and Li-Xing Zhu. An adaptive estimation of dimension reduction space//Journal of the Royal Statistical Society: Series B (Statistical Methodology). -2002. -V. 64(3). -P. 363-410.
  • Louis Ferre. Determining the dimension in Sliced Inverse Regression and related methods//Journal of the American Statistical Association. -1997.
  • Peres-Neto P., Jackson D., Somers K. How many principal components stopping rules for determining the number of non-trivial axes revisited. Computational Statistics and Data Analysis 49. -2005. -P. 974-997.
  • Ruben Daniel and Pedro Valero-Mora. Determining the Number of Factors to Retain in EFA: An easy-to-use computer program for carrying out Parallel Analysis Ledesma. -2007.
  • Buja A., Eyuboglu N. Remarks on parallel analysis//Mult. Beh. Res. 27. -1992. -P. 509-540.
  • Seghouane A. and Cichocki A. Bayesian estimation of the number of principal components. Signal Processing, -2007. -V. 87(3). -P. 562-568.
  • Ratsimalahelo Z. Strongly Consistent Determination of the Rank of Matrix//Econometrics. -2003.
  • Dalalyan A. S., Juditsky A., Spokoiny V. A new algorithm for estimating the effective dimension reduction subspace//Journal of Machine Learning Research. -2008. -V. 9. -P. 1647-1678.
  • Zhu Y. and Zeng P. Fourier methods for estimating the central subspace and the central mean subspace in regression//Journal of the American Statistical Association. -2006. -V. 101. -P. 1638-1651.
  • GoProblems http://www-optima.amp.i.kyoto-u.ac.jp/member/student/hedar/Hedar_files/TestGO.htm
Еще
Статья научная