www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Искусственный интеллект: гиперпараметры

Дата публикации Oct 11, 2017

Глубокое обучение нейронной сетимоделиесть многопараметры(например, веса и уклоны), а также немалогиперпараметры, Мы знаем чтопараметрыиз средней школы. Это числа, которые вы вставляете в функцию. Но каковыгиперпараметры? Ну, это в основном варианты, используемые для создания модели, которая содержит параметры.

Требуется некоторое время, чтобы узнать, какая настройка гиперпараметра подходит для какой модели поведения. К счастью, настройки Keras по умолчанию являются действительно хорошей отправной точкой.

Во-первых, давайте вспомним изпредыдущие статьичто наши модели глубокого обучения пытаются приблизить функциюекоторый отображает входные функцииИксвыводить решенияY, Или, другими словами, мы пытаемся найти функцию, которая подходитY = f (X)с низкой ошибкой, но без запоминания данных тренировки (переобучения).

параметрыв нашей модели вродевеса и уклонынастраиваются во время процесса оптимизации параметров (т.е. обратного распространения), чтобы получить лучшую и лучшую версию нашей функции отображенияе, На основесупер захватывающая недавняя работаоказывается, что нейронные сети на самом деле делают своего рода сжатие информации, поскольку они учатся приближатьсяе, Это связывает нашего старого другатеория информациив наш новый друг глубокие нейронные сети.

гиперпараметрымета-настройки, которые мы можем выбрать (надеюсь, каким-то умным способом), чтобы настроить форму моделие, Другими словами, мы устанавливаем гиперпараметры, чтобы выбрать тип модели, которую мы хотим. Например,t-SNE имеет настройки гиперпараметраназывается недоумение, эпсилон (скорость обучения),и несколько других, как количество итераций.

Подумайте о настройке и создании моделей глубокого обучения, таких какзаказ сушиСуши в рулонах. Некоторые рулоны имеют 8 штук, а другие 6 или 4 штуки. Гиперпараметр, управляющий вкусом и количеством кусочков, которые вы получите, когда попросите рулет из меню, является типом рулона. Вы можете выбрать пряный рулет, вегетарианский рулет, жареный рулет и так далее. Во всех случаях вы все еще получаете суши. Что изменится, так это конфигурация, которую суши-повар использует для приготовления своих суши. Каждый рулет имеет разные вкусы. Возвращаясь к миру машинного обучения, нам нужно принимать очень важные решения, когда мы выбираем гиперпараметры (например, регрессор или классификатор, CNN или LSTM, DNN или GaN), а также множество небольших решений (например, размер партии, тест / поезд). сплит, регуляризаторы, отсев, шум и т. д.). В некоторых случаях предварительно обученная нейронная сеть (как VGG-19) или предопределенная форма нейронной сети (как автоэнкодер) приблизят вас к решению, чем начинать с нуля. Для полностью настраиваемых конфигураций нейронной сети мы получаем множество интересных параметров гиперпараметра вkerasнапример, регуляризаторы для L1 и L2, ширина слоя DNN, форма сети (авто-кодер, фиксированная ширина, ...), скорость обучения и многое другое.

Проходя исследование пространства проектирования, вы обнаружите, что многие из возможных настроек гиперпараметраочень бесполезный,

Программисты любят использовать параметры конфигурации, например настройки prod / dev. Мы используемConfigParser для этого, Однако гиперпараметры в глубоком обучении больше похожи на рядвложенный в петлив поисках «хорошей» конфигурации, прежде чем вырваться. Поиск должен сканировать доступные модели машинного обучения, чтобы найти модель с низкой ошибкой (или любой другой целевой функцией). Вы можете думать об этих гиперпараметрах модели как о конфигурациях. Тем не менее, это более правильно думать о поиске выбора гиперпараметра какОптимизация Паретогде ограничения - это, например, размер графического процессора, а цели - потеря / точность, универсальность (точность, отзыв, F-оценка) и другие критерии производительности модели. Наличие множества модельных ограничений - не проблема. Это та часть, где у вас есть несколько целей, и некоторые ограничения целочисленные, что действительно разрушает. Когда вы сталкиваетесь с несколькими задачами в задаче оптимизации, вам нужно либо создать линейную комбинацию этих целей (линейная модель), либо, возможно, выполнить какую-то сумасшедшую математику (см.смешанное целочисленное линейное программирование), или просто бросьте это какметауровневое машинное обучениепроблема (исследование!). Потому что многоцелевой материал Парето такой уродливый и медленный (читай какexpen $ ив), правило заключается в том, чтобы пробовать то, что имеет смысл, пока вы не достигнете приемлемого уровня производительности модели. Моя степень магистра была посвящена исследованию космического пространства, поэтому я воочию знаю, как сложно выбрать данную конфигурацию при множестве ограничений.

Прежде чем подписаться, сегодня я получил несколько действительно интересных новостей.API.AI, изменил свое имя наDialogflow, Они перенаправили доменное имя и все. Я думаю, что в какой-то момент Google собирается установить его как dialogflow.google.com, как они сделали сAdWordsи другие продукты Google, такие как входящие Кроме того, он может попасть в облачную платформу Google, как это делает Amazon со своими облачными сервисами AWS.

ХОРОШО. Вернуться к работе! Если вам понравилась эта статья об искусственном интеллекте, то, пожалуйста, попробуйтеинструмент хлопать, Нажмите на это. Следуйте за нами в среду. Действуй. Я также рад услышать ваши отзывы в комментариях. Что вы думаете? Я использую слишком многоскобки? О чем мне писать? Я написал кучу статей по вопросам бизнеса, и в последнее время интерес стал больше с технической стороны. Как насчет этого: присылайте мне ваши случаи или проблемы использования науки о данных, и я выберу запись, о которой буду писать статью. Действуй:[email protected]

Удачного кодирования!

-Daniel
[email protected]← Скажи привет.
Lemay.ai
1 (855) Lemay-А.И.

Другие статьи, которые вам могут понравиться:

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map