Комбинаторные оценки переобучения с сублогарифмическим темпом роста
Автор: Животовский Н.К.
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Информатика, вычислительная техника и упровление
Статья в выпуске: 3 (27) т.7, 2015 года.
Бесплатный доступ
В рамках комбинаторной теории переобучения получены верхние оценки математического ожидания переобученности, имеющие в худшем случае порядок роста (︀√︀ )︀𝑂log |𝐴|, где |𝐴| - число алгоритмов в семействе. Также получены оценки, зависящие от характеристик расслоения и связности семейства алгоритмов, которые являются ещё более точными.
Теория статистического обучения, комбинаторная теория переобучения, обобщающая способность, переобучение, расслоение, связность
Короткий адрес: https://sciup.org/142186083
IDR: 142186083
Список литературы Комбинаторные оценки переобучения с сублогарифмическим темпом роста
- Вапник В.Н., Червоненкис А.Я. О равномерной сходимости частот появления событий к их вероятностям. ДАН СССР. 1968. Т. 181, 4. C. 781-784
- Воронцов К.В., Решетняк И.М. Точные комбинаторные оценки обобщающей способности онлайнового обучения. Интеллектуализация обработки информации (ИОИ-2010): Докл. М.: МАКС Пресс, 2010. С. 24-27
- Животовский Н.К., Воронцов К.В. Критерий точности комбинаторных оценок вероятности переобучения//Сборник докладов 9-й международной конференции «Интеллектуализация обработки информации». М.: Торус Пресс, 2012. С. 25-28
- Прудников А.П., Брычков Ю.А., Маричев О.И Интегралы и ряды. Том 3. Специальные функции. Дополнительные главы. M.: Физматлит, 2003
- Bartlett P.L., Bousquet O., Mendelson S. Local Rademacher complexities. Annals of Statistics//33(4):1497-1537, 2005
- Boucheron S., Bousquet O., Lugosi G. Theory of classification: A survey of some recent advances//ESAIM: Probability and Statistics. 2005. N9. P. 323-375
- Gr¨atzer G. General Lattice Theory. Basel, Switzerland: Birkh¨auser, 1978. ISBN 978-0-12-295750-5
- Devroye L., Lugosi G. Combinatorial Methods in Density Estimation. Springer Series in Statistics. Springer-Verlag, 2001
- Koltchinskii V. Oracle Inequalities in Empirical Risk Minimization and Sparse Recovery ´ Problems. Ecole d’ ´ e de Probabilit´ Et´es de Saint-Flour XXXVIII-2008. Lecture Notes in Mathematics. Springer-Verlag, 2011
- Serfling R.J. Probability inequalities for the sum in sampling without replacement//Ann. Statist. V. 2, N 1 (1974), 39-48
- Vapnik V. Statistical Learning Theory. New York: John Wiley and Sons, 1998
- Vorontsov K.V. Combinatorial probability and the tightness of generalization bounds//Pattern Recognition and Image Analysis. 2008. V. 18, N 2. P. 243-259
- Vorontsov K.V. Splitting and similarity phenomena in the sets of classifiers and their effect on the probability of overfitting//Pattern Recognition and Image Analysis. 2009. V. 19, N 3. P. 412-420
- Vorontsov K. V. Exact combinatorial bounds on the probability of overfitting for empirical risk minimization//Pattern Recognition and Image Analysis. 2010. V. 20, N 3. P. 269-285
- Vorontsov K.V., Ivahnenko A.A. Tight combinatorial generalization bounds for threshold conjunction rules//4th International Conference on Pattern Recognition and Machine Intelligence (PReMI’11). June 27 -July 1, 2011. Lecture Notes in Computer Science. Springer-Verlag. 2011. P. 66-73
Статья научная
