www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Обзор: DenseNet - плотная сверточная сеть (классификация изображений)

Дата публикации Nov 25, 2018

В этой историиDenseNet (плотная сверточная сеть)рассматривается. Это бумага вCVPR 2017который получилЛучшая бумажная премияс более2000 цитат, Он совместно изобретен Университетом Корнуэлл, Университетом Цинхуа и Facebook AI Research (FAIR). (Сик-Хо Цанг@ Средний)

При плотном соединении достигается меньше параметров и высокая точность по сравнению сRESNETа такжеПреактивация ResNet, Итак, давайте посмотрим, как это работает.


Что покрыто

  1. Плотный блок
  2. Архитектура DenseNet
  3. Преимущества DenseNet
  4. Результаты CIFAR & SVHN для мелкомасштабных наборов данных
  5. Результаты крупномасштабного набора данных ImageNet
  6. Дальнейший анализ повторного использования функций

1. Плотный блок

Стандартная концепция ConvNet

ВСтандартный ConvNet, входное изображение проходит многократную свертку и получает функции высокого уровня.

ResNet Concept

ВRESNETдля идентификации распространения градиента предлагается отображение идентичности.Поэлементное сложениеиспользуется. Это можно рассматривать как алгоритмы ссостояние, переданное от одного модуля ResNet другому,

Один плотный блок в DenseNet

ВDenseNetкаждый слой получает дополнительные входные данные от всех предыдущих слоев и передает свои собственные карты характеристик всем последующим слоям.конкатенацияиспользуется.Каждый слой получает «коллективные знания» от всех предыдущих слоев,

Плотный блок в DenseNet с темпом роста k

Поскольку каждый слой получает карты характеристик от всех предыдущих уровней, сеть может быть более тонкой и компактной, то есть число каналов может быть меньше, Скорость ростаКэто дополнительное количество каналов для каждого слоя.

Таким образом, он имеет более высокую вычислительную эффективность и эффективность памяти. На следующем рисунке показана концепция объединения во время прямого распространения:

Конкатенация во время прямого распространения

2.Архитектура DenseNet

2.1. Базовый слой композиции DenseNet

Композиционный слой

Для каждого слоя композицииПредварительная активацияПакетная норма (BN)и ReLU, затем 3-3 Convсделаны с выходными картами объектовКканалы, например, для преобразованияИкс0,Икс1,Икс2,Икс3 кИкс4. Это идея изПреактивация ResNet,

2.2. DenseNet-B (Слои узкого места)

DenseNet-Б

Чтобы уменьшить сложность и размер модели,BN-ReLU-1Ã — 1 Convсделано раньшеBN-ReLU-3Ã — 3 Conv,

2,4. Несколько плотных блоков с переходными слоями

Несколько плотных блоков

В качестве переходных слоев между двумя смежными плотными блоками используются 1–1 Conv, а затем 2–2 среднего пула.

Размеры карты объектов в плотном блоке одинаковы, поэтому их можно легко объединить.

В конце последнего плотного блока выполняется глобальное среднее объединение, а затем присоединяется классификатор softmax.

2,3. DenseNet-BC (дальнейшее сжатие)

Если плотный блок содержитмFeature-карты, генерировать переходный слойЯкарты выходных объектовгде 0 <Я¤ ¤1 упоминается как коэффициент сжатия.

когдаЯ= 1, количество карт объектов в переходных слоях остается неизменным. DenseNet сЯ<1 называетсяDenseNet-С, а такжеЯ= 0,5в эксперименте.

когдакак узкое место, так и переходные слои сЯ<1 используютсямодель называетсяDenseNet-BC,

Наконец, DenseNetsс / без B / Cи с разнымиLслоиа такжеКскорость ростаобучены.


3.Преимущества DenseNet

3.1. Сильный градиент потока

Неявный «Глубокий надзор»

Сигнал ошибки может быть легко передан более ранним уровням. Это своего рода неявный глубокий надзор, так как более ранние уровни могут получить непосредственный контроль от окончательного уровня классификации.

3.2. Параметр и вычислительная эффективность

Количество параметров для ResNet и DenseNet

Для каждого слоя количество параметров вRESNETпрямо пропорциональноСÃ — C, а число параметров в DenseNet прямо пропорциональноLa-Кa-К,

посколькуК<<С, DenseNet имеет гораздо меньший размер, чемRESNET,

3.3. Более разнообразные функции

Более разнообразные функции в DenseNet

Поскольку каждый слой в DenseNet получает все предыдущие уровни в качестве входных данных, более разнообразные функции и, как правило, имеют более богатые шаблоны.

3.4. Поддерживает низкий уровень сложности

Стандартный ConvNet

В стандартной ConvNet классификатор использует самые сложные функции.

DenseNet

В DenseNet классификатор использует функции всех уровней сложности. Это имеет тенденцию давать более гладкие границы решения. Это также объясняет, почему DenseNet хорошо работает, когда данных обучения недостаточно.


4.Результаты CIFAR & SVHN для мелкомасштабных наборов данных

4,1 CIFAR-10

Результаты CIFAR-10

Преактивация ResNetиспользуется в детальном сравнении.

С дополнением данных (C10 +), ошибка теста:

  • Малогабаритный ResNet-110: 6,41%
  • Крупногабаритный ResNet-1001 (10,2 млн. Параметров): 4,62%
  • Современное состояние (SOTA) 4,2%
  • Малогабаритный DenseNet-BC (L= 100,К= 12) (только 0,8M параметров): 4,5%
  • Большой размер DenseNet (L= 250,К= 24): 3,6%

Без дополнения данных (C10), ошибка теста:

  • Малогабаритный ResNet-110: 11,26%
  • Крупногабаритный ResNet-1001 (10,2 млн. Параметров): 10,56%
  • Современное состояние (SOTA) 7,3%
  • Малогабаритный DenseNet-BC (L= 100,К= 12) (только 0,8M параметров): 5,9%
  • Большой размер DenseNet (L= 250,К= 24): 4,2%

Сильное переоснащение появляется вПреактивация ResNetв то время как DenseNet хорошо работает, когда данных обучения недостаточно, поскольку DenseNet использует функции всех уровней сложности.

C10 +: различные варианты DenseNet (слева), DenseNet и ResNet (в центре), кривые обучения и тестирования DenseNet и ResNet (справа)

Слева: DenseNet-BC получает лучшие результаты.

средний:Преактивация ResNetуже получил меньше параметров по сравнению сAlexNetа такжеVGGNetИ DenseNet-BC (К= 12) получил в 3 раза меньше параметров, чемПреактивация ResNetс той же ошибкой теста.

Правильно: DenseNet-BC-100 с 0,8 параметрами получил ошибку теста, аналогичнуюПредварительная активация ResNet-1001с параметрами 10.2M.

4.2. CIFAR-100

Аналогичные тенденции в CIFAR-100, как показано ниже:

Результаты CIFAR-100

4,3. Подробные результаты

Подробные результаты, + означает увеличение данных

SVHN - это набор данных номеров домов с видом на улицу. Синий цвет означает лучший результат. DenseNet-BC не может получить лучший результат, чем базовая DenseNet, авторы утверждают, что SVHN является относительно простой задачей, и чрезвычайно глубокие модели могут превосходить учебный набор.


5. ImageNetКрупномасштабный набор данныхПолученные результаты

Различные коэффициенты ошибок DenseNet Top-1 и Top-5 с результатами однократного (10-Crop)
Сравнение результатов валидации ImageNet с оригинальным ResNet

Оригинальный ResNetреализовано вэта ссылкаиспользуется в детальном сравнении.

Слева: DenseNet-201 с параметрами 20M выдает ошибку валидации, аналогичную ResNet-101 с параметрами более 40M.

Правильно: Схожие тенденции для числа вычислений (GFLOP)

Внизу: DenseNet-264 (К= 48)получил лучшие результаты: 20,27% ошибок Top-1 и 5,17% ошибок Top-5.


6. Дальнейший анализ повторного использования функций

Тепловая карта по средним абсолютным весам как целевого слоя (L) повторно использует исходные слои
  • Элементы, извлеченные очень ранними слоями, непосредственно используются более глубокими слоями в одном и том же плотном блоке.
  • Веса переходных слоев также распределяют свои веса по всем предшествующим слоям.
  • Слои во втором и третьем плотных блоках последовательно назначают наименьший вес выходам переходных слоев. (Первый ряд)
  • На последнем уровне классификации весовые коэффициенты, по-видимому, являются концентрацией к окончательным картам характеристик. Еще некоторые высокоуровневые функции появляются в сети поздно.

Авторы также опубликовали Multi-Scale DenseNet. Надеюсь, я смогу рассказать об этом позже.


Ссылки

[2017 CVPR] [DenseNet]
Плотно связанные сверточные сети

Мои похожие отзывы

[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Вводный-v3] [Вводный-v4] [Xception] [MobileNetV1] [RESNET] [Преактивация ResNet]

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map