Probabilistic interpretation of the distillation problem

AV Grabovoy, VV Strijov - Automation and Remote Control, 2022 - Springer
The article deals with methods for reducing the complexity of approximating models.
Probabilistic substantiation of distillation and privileged teaching methods is proposed …

[PDF][PDF] Deep Learning Model Selection With Parametric Complexity Control.

OS Grebenkova, OY Bakhteev, VV Strijov - ICAART (2), 2023 - scitepress.org
The paper is devoted to deep learning model complexity. It is estimated by Bayesian
inference and based on a computational budget. The idea of the proposed method is to …

[PDF][PDF] Variational deep learning model optimization with complexity control

O Grebenkova, OY Bakhteev, V Strijov - Informatika i Ee Primeneniya …, 2021 - m1p.org
This paper investigates the problem of the deep learning model optimization. We propose a
method to control the model complexity. The minimum description length is interpreted as …

Вариационная оптимизация модели глубокого обучения с контролем сложности

ОС Гребенькова, ОЮ Бахтеев… - Информатика и её …, 2021 - mathnet.ru
Исследуется задача построения модели глубокого обучения. Предлагается способ
контроля ее сложности. Под сложностью модели понимается минимальная длина …

[PDF][PDF] Порождение моделей заданной сложности с использованием байесовских гиперсетей

ОС Гребенькова, ОЮ Бахтеев - machinelearning.ru
В работе рассматривается задача оптимизации модели глубокого обучения. Под
моделью глубокого обучения понимается суперпозиция дифференцируемых по …

Оптимизация структуры сетей глубокого обучения

МС Потанин, КО Вайсер, ВА Жолобов… - Информатика и её …, 2020 - mathnet.ru
Исследуется проблема выбора оптимальной структуры модели. Моделью служит
суперпозиция обобщенных линейных моделей, элементами которой являются …

[引用][C] СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ ДЛЯ ОБУЧЕНИЯ ГЛУБОКИХ ИНС

АБ Муравник - Радиолокация, навигация, связь, 2019 - elibrary.ru
Для задач обучения глубоких искусственных нейронных сетей сравниваются два
класса алгоритмов поиска экстремума: методы первого порядка и методы первого …