Фичей побольше, лямбду поменьше, еще dropout и batchsize... - "играемся" с гиперпараметрами для практического понимания смысла значений и терминов. Полезно при изучении обучения нейронных сетей. Читать далее
Специально к старту курса «Машинное обучение» в этом материале представляем сравнение BOHB и HyperBand — двух передовых алгоритмов оптимизации гиперпараметров нейронной сети и простого случайного поиска оптимальных гиперпараметров. Сравнение выполняется с помощью платформы neptune.ai — инструмента для управления экспериментами в области ИИ. Рисунки, графики, таблицы результатов сравнения — всё это вы найдете под катом. Приятного чтения!
В статье приводятся примеры результатов обучения нейронной сети (FNN с одним скрытом слоем, распознавание MNIST) сериями по 10 запусков на каждой паре (количество нейронов скрытого слоя, размера батча) и соответствующий вывод, связанный с вариативностью результатов. Читать далее
С целью автоматизации процесса подбора гиперпараметров автором данной статьи разработан алгоритм Helena.4.0. Конечной целью является создание автоматической системы построения моделей (auto-ML), которая бы подбирала гиперпараметры за минимальное время.С помощью алгоритма Helena.4.0…