www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Вариационный вывод: модель Изинга

Дата публикации Mar 26, 2018

В этой статье основное внимание уделяется вариационному выводу (VI) для модели Изинга в приложении к шумоподавлению двоичных изображений.

Шумное полутоновое изображение (слева) и бинарное изображение с шумом (справа)

В качестве примера рассмотрим зашумленное серое изображение слева и зашумленное двоичное изображение справа на рисунке выше.

Модель Изинга является примером марковского случайного поля (MRF) и возникла из статистической физики. Модель Изинга предполагает, что у нас есть сетка узлов, где каждый узел может находиться в одном из двух состояний. В случае бинарных изображений вы можете думать о каждом узле как о пикселе с черным или белым цветом. Состояние каждого узла зависит от соседних узлов через потенциалы взаимодействия. В случае изображений это приводит к ограничению плавности, то есть пиксель предпочитает быть того же цвета, что и соседние пиксели.

В задаче шумоподавления изображения мы предполагаем, что у нас есть двумерная сетка наблюдений зашумленных пикселей основного истинного изображения, и мы хотели бы восстановить истинное изображение. Таким образом, мы можем смоделировать изображение в виде сетки:

Вариационное приближение (слева) и модель Изинга [1] (справа)

На рисунке выше показана модель Изинга [1] (справа), где заштрихованные узлы являются зашумленными наблюдениями y_i бинарных скрытых переменных (не заштрихованные узлы) x_i \ in {-1, +1}. Уравнение слева представляет наше вариационное приближение, которое мы выведем ниже.

Мы можем записать совместное распределение следующим образом:

где потенциалы взаимодействия представлены \ Psi_st для каждой пары узлов x_s и x_t в наборе ребер E, а наблюдения y_i являются гауссовыми со средним значением x_i и дисперсией, равной квадрату сигмы. Здесь w_st - это сила связи, и предполагается, что она постоянна и равна J> 0, что указывает на предпочтение того же состояния, что и у соседей (то есть потенциал \ Psi (x_s, x_t) = \ exp \ {x_s J x_t \} выше, когда x_s и x_t либо +1, либо -1).

Основная идея, лежащая в основе вариационного вывода, заключается в выборе аппроксимирующего распределения q (x), которое близко к исходному распределению p (x), где расстояние измеряется дивергенцией KL:

Это превращает вывод в задачу оптимизации, в которой цель состоит в том, чтобы минимизировать расхождение KL или максимизировать доказательство нижней границы (ELBO). Мы можем получить ELBO следующим образом:

В приложении к модели Изинга мы имеем:

Всреднее полеДля вариационного вывода мы предполагаем полностью факторизованное приближение q (x):

Можно показать [2], что q (x_i; \ mu_i), который минимизирует расхождение KL, определяется как:

где E _ {- q_i} обозначает ожидание по каждому q_j, за исключением j = i. Чтобы вычислить q_i (x_i), нам нужны только те термины, которые включают x_i, то есть мы можем выделить их следующим образом:

где N (i) обозначает соседей узла i, а \ mu_j - среднее двоичной случайной величины:

Чтобы вычислить это среднее, нам нужно знать значения q_j (x_j = + 1) и q_j (x_j = -1). Пусть m_i = \ sum_ {j \ in N (i)} w_ij mu_j будет средним значением соседей, и пусть L_ {i} ^ {+} = N (x_i = + 1; sigma²) и L_ {i} ^ {- } = N (x_i = -1; sigma²), тогда мы можем вычислить среднее значение следующим образом:

Другими словами, наши вариационные обновления среднего поля параметров \ mu_i на итерации k вычисляются следующим образом:

где мы добавили параметр скорости обучения лямбда. Теперь, когда мы получили наши вариационные обновления, мы можем реализовать двоичное изображение, подавляющее шум в python.

Цель ELBO (слева) и средняя энтропия (справа)

На рисунке выше показаны экспериментальные результаты. Обратите внимание, что график ELBO слева монотонно увеличивается и сглаживается после примерно 10 итераций среднего поля. На рисунке справа показано уменьшение средней энтропии:

Из-за случайной инициализации мы ожидаем, что средняя энтропия будет высокой в ​​начале. Однако по мере увеличения числа итераций обновления среднего поля сходятся к двоичным значениям x_i, которые согласуются с наблюдениями и их соседями, что приводит к уменьшению средней энтропии.

Код

Весь код, реализующий шумоподавление двоичного изображения на основе вариационного вывода среднего поля, можно найти в следующемноутбук ipython,

Ссылки

[1] Э. Суддерт, «CS242: вероятностные графические модели»,http://cs.brown.edu/courses/cs242/lectures/

[2] К. Мерфи, «Машинное обучение: вероятностная перспектива», MIT Press, 2012

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map