www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Краткое содержание статьи. Обучение без контроля со стороны конкурирующих скрытых юнитов

Дата публикации Jun 17, 2019

Этот драгоценный камень был найден вtwitter.com/evolvingstuff/status/1012517941030502401

Об авторах:

Ранее они работали на той же бумагеПлотная ассоциативная память устойчива к враждебным входам,


Эта статья представляет новую методику обучения без присмотра. Backprop (почти) нет, и модель не подготовлена ​​для конкретной задачи. Два автора, происходящие из нейробиологии и компьютерных наук, основали эту работу на двух биологических наблюдениях:

1- Изменения синапсов являются локальными:

В биологии обновление синапса зависит от активности пресинаптической клетки и постсинаптической клетки и, возможно, от некоторых глобальных переменных, таких как то, насколько хорошо была выполнена задача. (Страница 1)

Вес ячейки между А и В, обученной с обратным распространением, зависит не только от активности А и В, но также от активности предыдущего уровня и меток обучения. Таким образом, это не зависит от активности A, B, но от других потенциально любых других нейронов в сети. Это вдохновленоHebbИдея

2- Животные обучаются без маркированных данных и меньшего количества данных, чем нейронные сети, обученные обратному распространению:

Во-вторых, высшим животным требуется обширный сенсорный опыт для настройки ранней [...] зрительной системы во взрослую систему. Считается, что этот опыт преимущественно наблюдательный, с небольшим количеством ярлыков или вообще без них, поэтому явной задачи не существует. (Страница 1)

Местное обучение без присмотра

Авторам удалось обучить свою модель на MNIST и CIFAR-10 только с прямыми проходами, что означает: - Этот метод менее требователен к вычислениям, его вычислительная сложность сравнима с вычислительной сложностью прямого прохода при обратном распространении (источник). - Не требуется тренировать модель для выполнения конкретной задачи, чтобы получить значимое представление из данных.

Рисунок 01

Синие прямоугольники - авторский «алгоритм биологического обучения». Во-первых, данные проходят через него без каких-либо меток или каких-либо указаний на задачу, для которой они будут использоваться. После обучения полностью присоединенная сеть добавляется поверх нее для того, чтобы специализировать модель и делать желаемые прогнозы. Эта часть обучается с использованием обратного распространения.

Обычно для вычисления активности скрытого слоямы проектируем входviна нем, умножив его на матрицуWμiа затем применить нелинейность. В этой новой техникеактивность вычисляется с помощью этого дифференциального уравнения:

Уравнение 08
  • μэто индекс скрытого слоя, который мы хотим обновить
  • τграфик времени процесса
  • это входной ток
  • Второе слагаемое, сумма всех других скрытых слоев, вводит конкуренцию между нейронами. Более сильные юниты будут препятствовать более слабым. Без этого все нейроны активируют активацию, когда отображается вход. Обратите внимание, что этот термин вводит боковые соединения между единицами, поскольку их единицы в одном и том же слое могут быть связаны друг с другом.
  • rявляется РПУ иwinhявляется гиперпараметрической константой.

Поскольку обучение является локальным и требует только прямых передач, эта архитектура отличается от авто-кодера.

В бою

В эксперименте на MNIST и CIFAR-10 авторы обучили 2000 скрытых единиц, используя свою биологическую технику, чтобы найти матрицуWμi:

  • Скрытые юниты были инициализированы с нормальным распределением
  • Скрытые юниты обучаются (опять же, без явного задания или ярлыков)
  • Затем эти блоки замораживаются и подключаются к персептрону.
  • Веса персептрона были обучены с использованием SGD

Ошибка обучения в MNIST видна на самом правом рисунке ниже (BP обозначает обратное распространение, а BIO - предложенный подход). Мы можем видеть, что, несмотря на более высокую ошибку обучения, ошибка тестирования очень близка к непрерывной обученной модели.

Рисунок 03

На MNIST мы можем видеть, что особенности, изученные с помощью предложенного алгоритма биологического обучения (левая фигура), отличаются от тех, которые обучаются с обратным распространением (средняя цифра).

сеть изучает распределенное представление данных по нескольким скрытым единицам. Это представление, однако, очень отличается от представления, полученного сквозной обученной сетью, что ясно из сравнения рис. 3, слева и в центре.

Аналогично для СИФАР-10:

Рисунок 07

tldr

нет распространения информации сверху вниз, синаптические веса изучаются с использованием только сигналов снизу вверх, и алгоритм не зависит от задачи, которую в конечном итоге должна будет решить сеть на верхнем уровне (стр. 8)

  • Новая неконтролируемая методика обучения, когда задача не определена, учебный набор проходит через модель и обучается без обратного распространения Полностью связанный перцептрон прикреплен сверху, обучен обратному распространению, а нижняя неконтролируемая субмодель заморожена.
  • Этот метод показывает худшие, но почти современные достижения обобщений на MNIST и CIFAR.
  • Нет вперед / назад, каждая ячейка потенциально связана друг с другом, в том числе на своем собственном уровне.

Дополнительные ресурсы:


Первоначально опубликовано наhttps://data-soup.gitlab.io17 июня 2019 г.

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map