www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Нежное введение в трансферное обучение для глубокого обучения

Дата публикации 2017-12-20

Трансферное обучение - это метод машинного обучения, в котором модель, разработанная для задачи, повторно используется в качестве отправной точки для модели для второй задачи.

Это популярный подход в глубоком обучении, когда предварительно обученные модели используются в качестве отправной точки в задачах компьютерного зрения и обработки естественного языка, учитывая огромные вычислительные и временные ресурсы, необходимые для разработки моделей нейронных сетей для решения этих проблем и огромных скачков в навыках. что они предоставляют по связанным проблемам.

В этом посте вы узнаете, как вы можете использовать трансферное обучение для ускорения обучения и повышения производительности вашей модели глубокого обучения.

Прочитав этот пост, вы узнаете:

  • Что такое трансферное обучение и как его использовать.
  • Типичные примеры трансферного обучения в глубоком обучении.
  • Когда использовать трансферное обучение для решения собственных задач прогнозного моделирования.

Давайте начнем.

Что такое трансферное обучение?

Трансферное обучение - это техника машинного обучения, при которой модель, обученная по одному заданию, переопределяется по второму связанному заданию.

Трансферное обучение и адаптация предметной области относятся к ситуации, в которой то, что было изучено в одном сеттинге… используется для улучшения обобщения в другом сеттинге.

- Страница 526,Глубокое обучение, 2016

Трансферное обучение - это оптимизация, которая позволяет быстро прогрессировать или улучшать производительность при моделировании второй задачи.

Трансферное обучение - это улучшение обучения в новой задаче путем передачи знаний из связанной задачи, которая уже изучена.

-Глава 11: Передача обучения,Справочник исследований по применению машинного обучения, 2009.

Трансферное обучение связано с такими проблемами, как многозадачное обучение и дрейф понятий, и не является исключительно областью изучения для глубокого обучения.

Тем не менее, трансферное обучение популярно в сфере глубокого обучения, учитывая огромные ресурсы, необходимые для обучения моделям глубокого обучения или большим и сложным наборам данных, на которых обучаются модели глубокого обучения.

Трансферное обучение работает только при глубоком обучении, если особенности модели, полученные из первого задания, являются общими.

При обучении с переносом мы сначала обучаем базовую сеть базовому набору данных и задаче, а затем перенаправляем изученные функции или переносим их во вторую целевую сеть для обучения набору целевых данных и задаче. Этот процесс будет работать, если функции являются общими, то есть подходящими как для базовых, так и для целевых задач, а не специфическими для базовой задачи.

-Насколько переносимы функции в глубоких нейронных сетях?

Эта форма трансферного обучения, используемая в глубоком обучении, называется индуктивным переводом. Это где область возможных моделей (смещение модели) выгодно сужается путем использования модели, подходящей для другой, но связанной задачи.

Хотите лучших результатов с глубоким обучением?

Пройдите мой бесплатный 7-дневный курс по электронной почте сейчас (с примером кода).

Нажмите, чтобы зарегистрироваться, а также получите бесплатную PDF-версию курса Ebook.

Загрузите БЕСПЛАТНЫЙ мини-курс

Как использовать трансферное обучение?

Вы можете использовать трансферное обучение в своих собственных задачах прогнозного моделирования.

Два общих подхода следующие:

  1. Разработать модельный подход
  2. Предварительно обученный модельный подход

Разработать модельный подход

  1. Выберите исходную задачу, Вы должны выбрать связанную проблему прогнозного моделирования с обилием данных, где есть некоторая связь во входных данных, выходных данных и / или концепциях, изученных во время отображения из входных данных в выходные данные.
  2. Разработать исходную модель, Далее вы должны разработать умелую модель для этой первой задачи. Модель должна быть лучше наивной модели, чтобы гарантировать, что было выполнено обучение некоторым функциям.
  3. Повторное использование модели, Подгонка модели к исходной задаче может затем использоваться в качестве отправной точки для модели на второй интересующей задаче. Это может включать использование всей или части модели в зависимости от используемой техники моделирования.
  4. Модель мелодии, При желании модель может потребоваться адаптировать или уточнить на данных пары вход-выход, доступных для интересующей задачи.

Предварительно обученный модельный подход

  1. Выберите исходную модель, Предварительно обученная исходная модель выбирается из доступных моделей. Многие исследовательские институты выпускают модели для больших и сложных наборов данных, которые могут быть включены в пул моделей-кандидатов, из которых можно выбирать.
  2. Повторное использование модели, Модель, прошедшая предварительную подготовку, затем может быть использована в качестве отправной точки для модели второй задачи, представляющей интерес. Это может включать использование всей или части модели в зависимости от используемой техники моделирования.
  3. Модель мелодии, При желании модель может потребоваться адаптировать или уточнить на данных пары вход-выход, доступных для интересующей задачи.

Этот второй тип трансферного обучения распространен в области глубокого обучения

Примеры трансферного обучения с глубоким обучением

Давайте сделаем это конкретным из двух общих примеров трансферного обучения с использованием моделей глубокого обучения.

Передача обучения с данными изображения

Распространенное обучение выполнено с задачами прогнозного моделирования, которые используют данные изображения в качестве входных данных.

Это может быть задача прогнозирования, которая принимает фотографии или видеоданные в качестве входных данных.

Для задач такого типа обычно используется модель глубокого обучения, предварительно подготовленная для большой и сложной задачи классификации изображений, такой какImageNetКонкурс на классификацию фотографий класса 1000.

Научно-исследовательские организации, которые разрабатывают модели для этого конкурса и успешно делают свою окончательную модель под разрешительной лицензией для повторного использования. Эти модели могут занимать дни или недели, чтобы тренироваться на современном оборудовании.

Эти модели могут быть загружены и включены непосредственно в новые модели, которые ожидают данные изображения в качестве входных данных.

Три примера моделей этого типа включают в себя:

Дополнительные примеры см. ВКафе Модель Зоопаркгде более предварительно обученные модели являются общими.

Этот подход эффективен, потому что изображения обучались на большом наборе фотографий и требуют, чтобы модель делала прогнозы относительно большого числа классов, в свою очередь, требуя, чтобы модель эффективно училась извлекать элементы из фотографий, чтобы хорошо выполнять на эта проблема.

В своем Стэнфордском курсе «Сверточные нейронные сети для визуального распознавания» авторы предостерегают, чтобы тщательно выбрать, какую часть предварительно обученной модели использовать в вашей новой модели.

Функции [Convolutional Neural Networks] являются более общими на ранних уровнях и более специфичными для набора данных на более поздних уровнях

- трансферное обучение,CS231n сверточные нейронные сети для визуального распознавания

Перенос обучения с использованием языковых данных

Распространенное обучение проводится с задачами обработки естественного языка, которые используют текст в качестве ввода или вывода.

Для задач такого типа используется вложение слов, которое представляет собой отображение слов в многомерное непрерывное векторное пространство, где разные слова с одинаковым значением имеют одинаковое векторное представление.

Существуют эффективные алгоритмы для изучения этих распределенных представлений слов, и исследовательские организации обычно выпускают предварительно обученные модели, обученные на очень больших объемах текстовых документов, по разрешающей лицензии.

Два примера моделей этого типа включают в себя:

Эти распределенные модели представления слов могут быть загружены и включены в модели языка глубокого изучения либо при интерпретации слов как входных данных, либо при генерации слов как выходных данных модели.

В своей книге «Глубокое обучение для обработки естественного языка» Йоав Голдберг предостерегает:

… Можно загрузить предварительно обученные векторы слов, которые были обучены на очень больших количествах текста […] различия в режимах обучения и базовых корпусах оказывают сильное влияние на результирующие представления, и что имеющиеся предварительно обученные представления могут быть не самыми лучшими выбор для [вашего] конкретного варианта использования.

- страница 135,Методы нейронной сети в обработке естественного языка, 2017

Когда использовать трансферное обучение?

Трансферное обучение - это оптимизация, быстрый способ сэкономить время или повысить производительность.

В целом, не очевидно, что использование трансферного обучения в данной области будет выгодно до тех пор, пока модель не будет разработана и оценена.

Лиза Торри и Джуд Шавлик вих глава о трансферном обученииОпишите три возможных преимущества, которые нужно искать при использовании трансферного обучения:

  1. Высшее начало, Начальный навык (до уточнения модели) в исходной модели выше, чем в противном случае.
  2. Более высокий уклон, Скорость повышения квалификации во время обучения исходной модели круче, чем была бы в противном случае.
  3. Высшая асимптота, Конвергентное умение обученной модели лучше, чем могло бы быть.

В идеале вы должны увидеть все три преимущества от успешного применения трансферного обучения.

Это способ попробовать, если вы можете идентифицировать связанную задачу с обильными данными, и у вас есть ресурсы для разработки модели для этой задачи и повторного использования ее для вашей собственной проблемы, или есть предварительно подготовленная модель, которую вы можете использовать как отправная точка для вашей собственной модели.

По некоторым проблемам, когда у вас может не быть много данных, трансферное обучение может позволить вам разработать умелые модели, которые вы просто не могли бы развить в отсутствие трансферного обучения.

Выбор исходных данных или исходной модели является открытой проблемой и может потребовать экспертных знаний и / или интуиции, разработанной на основе опыта.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться

книги

документы

Предварительно обученные модели

статьи

Резюме

В этом посте вы узнали, как вы можете использовать трансферное обучение для ускорения обучения и повышения производительности вашей модели глубокого обучения.

В частности, вы узнали:

  • Что такое трансферное обучение и как оно используется в глубоком обучении.
  • Когда использовать трансферное обучение.
  • Примеры трансферного обучения, используемого в задачах компьютерного зрения и обработки естественного языка.

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map