www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Обзор: RoR - ResNet of ResNet / Многоуровневая ResNet (Классификация изображений)

Дата публикации Dec 6, 2018

В этой историиRoR (остаточные сети остаточных сетей)кратко рассмотрено. После успеха ResNet, ставшего передовым подходом к глубокому обучению и выигравшего множество конкурсов по признанию, были проведены многочисленные исследования о том, как обобщить или улучшитьRESNET, такие какПреактивация ResNet,ResNet в ResNet (RiR),ResNet со стохастической глубиной (SD),Широкая остаточная сеть (WRN), RoR - еще одна статья, чтобы улучшитьRESNETони вводят концепцию, котораягруппа блоков ResNet также может иметь одно быстрое соединение.Это делает сеть статьмногоуровневый иерархический ResNet, Эта статья впервые появилась в 2016 году после ResNet, принята в 2017 году и наконец опубликована в2018 TCSVTнедавно, которые уже получили десятки ссылок. (Сик-Хо Цанг@ Средний)


Что покрыто

  1. Концепция RoR (Остаточные сети Остаточных сетей)
  2. RoR-м: Номера уровнейм
  3. Разные версии RoR
  4. Полученные результаты

1. Понятие RoR (остаточные сети остаточных сетей)

Оригинальный ResNet (слева), RoR (справа)

Оригинальный ResNetслева вверху показано, что многочисленные остаточные блоки объединены в каскад и образуют очень глубокую сеть.

В Остаточном блоке есть два пути:

  • Путь сверткикоторые выполняют свертку, чтобы извлечь особенности
  • Быстрый путь подключениянапрямую передавать входной сигнал на следующий уровень.

С помощью путей быстрого доступа, проблема исчезновения градиента может быть уменьшена, потому что сигнал ошибки может распространяться на более ранние уровни легче во время обратного распространения.

RoRпоказанный справа выше, предполагает, что у нас также может быть ярлык соединения через группу Остаточных блоков. Вдобавок к этому, у нас также может быть другой уровень быстрого соединения через группу «групп остаточных блоков».

Авторы утверждают, что:

  • RoR переносит проблему обученияизучение остаточного отображения остаточного отображения, которыйвсе проще и прощечтобы узнать, чеморигинальный ResNet,
  • А такжеслои в верхних блоках также могут распространять информацию в слои в нижних блоках,

2. RoR-м: Номер уровням

Номер уровнямвводится:

  • когдам= 1РоР имеет толькоОкончательный уровняярлыки, т. е. исходная остаточная сеть.
  • когдам= 2РоР имеет толькокорневой уровень(самый внешний уровень), иОкончательный уровняярлыки.
  • когдам= 3RoR имееткорневой уровень,средний уровеньа такжеОкончательный уровняярлык.

Для ярлыков среднего уровня каждый ярлык будет проходить через Остаточные блоки, которые имеют одинаковый размер карт объектов.

А такжем= 4 и 5 также проверены, но без каких-либо подробностей об этом в статье. Тем не менее, результаты не достаточно хороши по сравнению см= 3


3. Различные версии RoR

RoR-3 с использованием оригинальной ResNet (слева), RoR-3 с использованием предварительной активации ResNet или WRN (справа)

RoR применяется к различным версиям ResNet, как показано выше.

Короче говоря, RoR-3 использует Conv-BN-ReLU. Pre-RoR-3 использует BN-ReLU-Conv, в то время какПРПЖДявляется более широкой и мелкой версией Pre-RoR-3. (Если интересно, пожалуйста, прочитайте мои отзывы оОригинальный ResNet,Преактивация ResNet, а такжеПРПЖД.)


4. Результаты

4.1. СИФАР-10, СИФАР-100, СВХН

  • CIFAR-10: Набор данных 10-класса
  • CIFAR-100: Набор данных 100-класса
  • SVHN: Улица с видом на дом Номер набора данных
Ошибка теста (%) на наборе данных CIFAR-10, CIFAR-100, SVHN
  • RoR-3-164: Поприменяя RoR к 164-слоюоригинальный ResNet,4,86%а также22,47%(+ SD означает использованиеСтохастическая глубина(для уменьшения переоснащения) получены тестовые ошибки для наборов данных CIFAR-10 и CIFAR-100 соответственно. (164 - глубина модели.)
  • Pre-RoR-3-164 + SD: Позамена RoR наПреактивация ResNet,4,51%а также21,94%ошибки теста для наборов данных CIFAR-10 и CIFAR-100 получены соответственно.
  • RoR-3-WRN40-4 + SD: ПозаменаПреактивация ResNetс более широким 40-слойнымWRN40-4,4,09%а также20,11%ошибки теста для наборов данных CIFAR-10 и CIFAR-100 получены соответственно.
  • RoR-3-WRN58-4 + SD: Сболее глубокий 58-слойныйПРПЖД-58-4,3,77%а также19,73%ошибки теста для наборов данных CIFAR-10 и CIFAR-100 получены соответственно.

4.2. ImageNet

ImageNet: крупномасштабный набор данных класса 1000 в ILSVRC.

10-тестирование ошибки валидации (%) в наборе данных ImageNet

Версии RoR-3 для разных уровней последовательно превосходят версии ResNet для разных уровней

В статье есть подробные эксперименты по абляции. Если интересно, пожалуйста, посетите газету.


Аналогичный подход, использующий длинные и короткие пропускаемые соединения, также был применен для сегментации биомедицинских изображений. Надеюсь, я смогу это осветить.


Ссылки

[2018 TCSVT] [RoR]
Остаточные сети остаточных сетей: многоуровневые остаточные сети

Мои похожие отзывы по классификации изображений

[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Вводный-v3] [Вводный-v4] [Xception] [MobileNetV1] [RESNET] [Предварительная активация ResNet] [RiR] [Стохастическая глубина] [ПРПЖД] [DenseNet]

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map