www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Сумма двух случайных величин или каменистый путь к пониманию сверток распределений вероятностей

Дата публикации Oct 3, 2019

Во время обучения в магистратуре, работая над домашними заданиями по теории вероятностей, я провожу кучу часов, выпивая кофе и борясь с заданием, которое на первый взгляд кажется довольно тривиальным. Вот:

Даны две независимые равномерно распределенные случайные величиныИкса такжеYопределить функцию плотности вероятностир (Z = Z)изZ = X + Y, Математически говоря:

Можно сказать, что результирующая функция будет иметь диапазон [0, 2], поскольку должна быть вероятность для выборки как x = 1, так и y = 1.Но- просто добавление двух одинаковых распределений не даст нам правильного решения проблемы.

После быстрого поиска в Интернете я нашел теоретический инструмент, необходимый для решения задачи:Свертка вероятностных распределений, Здесь утверждается:

Общая формула для распределения суммыZ = X + Yдвух независимых целочисленных (и, следовательно, дискретных) случайных величин

плотность вероятности Z = X + Y с учетом (дискретных) вероятностных распределений X и Y

Аналог для независимых непрерывно распределенных случайных величин с функциями плотности𝑓, 𝑔является

плотность вероятности Z = X + Y с учетом (непрерывной) плотности вероятности X и Y

Моей первой мыслью было: «О, я видел это уравнение в лекциях по теории управления много лет назад (преобразования Лапласа)» - к сожалению, прошли годы, и я больше не представлял, как

рассчитывается. Конечно, на страницах Википедии есть несколько причудливых визуализаций, подобных следующей:

но для меня было трудно расшифровать значение различных переменных в уравнении. Например, мне было непонятно, почему красная функция смещается влево, аTаргумент положительный.

Цель этого поста - шаг за шагом покопаться в уравнении свертки - в конце вы должны чувствовать себя комфортно, работая с извилинами, и не бояться сложных интегралов.

Наслаждайтесь!


основы

Изменение графиков функций

Вы, вероятно, имели эту главу в школе, учителя (по крайней мере, в немецких школах) делают это обычно с квадратичными функциями. Если вы знаете, что происходит для функции𝑓после смены𝑓 (𝑥)в𝑓 (-𝑥 + 3)не стесняйтесь пропустить этот раздел.

Мотивация этого раздела - понять термин𝑔 (𝑧-𝑥)который изменен с𝑔 (𝑥),

Обратите внимание, что я заменил аргумент функции𝑡с𝑥чтобы не путать читателя с𝑡как «время». Мы будем продолжать использоватьИксна протяжении всей этой статьи блога.

Давайте определим две простые функции для работы с этим учебником. Первой будет простая квадратичная функция

Поскольку я тоже хочу выполнить домашнее задание - у нас будет равномерное распределениеU ([0, 1])как наша вторая функция

Давайте визуализируем оба в одной картине:

Теперь, что происходит, когда мы добавляем константу𝑧к аргументу функции (т.е.𝑓 (𝑥 + 3))? Давайте посмотрим, что происходит для разных значений𝑧, Мы сделаем один график для каждой примерной функции, здесь для квадратичной:

Добавление положительного числаZсмещаем график влево, с отрицательнымZнаправо.

Что произойдет, если мы умножим-1к аргументу функцииИкс? Мы покажем это влияние на равномерную функцию, поскольку квадратичный граф симметричен и не покажет никаких изменений.

Видимо, добавление отрицательного знакаИкс«Отражает» график функции относительно оси y.

Теперь мы можем понять трансформациюг (х)в(г-х), Это просто описывает добавление константыZ(сдвигая его влево) и умножая-1вИкс(отражает его относительно оси y),

Посмотрите эффект на графиках пунктирной функции ниже:

Умножение двух функций

Давайте продолжим работать с формулой вычисления свертки - наша следующая задача - понять произведение двух функций (или в моем случае распределения плотности):

Что произойдет, если мы умножим их?

Давайте определим функцию проксиа (х)как продукт обоих примеров функций и визуализировать все три:

Черный пунктирный график - это функция продукта, которую мы интегрируем на следующем шаге. Поскольку обе функции прямоугольника не перекрываются полностью, результирующий граф не такой широкий, как обе исходные функции.

Интегрирование по функции произведения a (x)

Интеграл - это область между графиком функции и осью X. Это последний строительный блок нашей процедуры свертки

Интеграл по произведению двух равномерных плотностей вероятностейеа такжег(один из них сдвинут вправо на 0,5)0,5

Вау, это было много ... Давайте подведем итоги всего на одной картине!


Сбор строительных блоков

Наконец мы готовы понять уравнение свертки

Для того, чтобы рассчитатьч (г)для конкретногоZмы должны сделать следующие шаги:

  1. Функция сдвигаг (х)налевоZт.е.г (х + г)
  2. Зеркально отразите результат относительно оси Y, т.е.г (х + г) = (г-х)
  3. Рассчитать произведениеа (х),я. е.F (X) (г-х) = а (х)
  4. Вычислить бесконечный интеграл поа (х) = я
  5. Результат свертки в определенной позицииZявляетсяямы рассчиталиh (z) = ∫f (x) g (z − x) dx,

Мы применяем эту процедуру для каждогоZнас интересует, обычно это диапазон, для расчета конкретной вероятности.

Теперь, имея процедуру для вычисления сверток, мы можем применить ее к первоначальному вопросу (мое учебное задание):

Мы рассчитываем и визуализируем результат дляZв диапазоне от -1 до 3:

Ницца! Как и ожидалось, окончательное распределение вероятностей не является равномерным распределением. Мы видим, что сумма двух равномерно распределенных случайных величин приведет к «треугольной» плотности вероятности!

Его форма также выглядит правдоподобной и интуитивно понятной, поскольку ожидаемые значенияИкса такжеYоба равны 0,5 (помните, что оба были равномерно распределены в [0,1]), ожидаемое значение для Z должно быть 1.

Спасибо за ваше внимание и оставьте свои комментарии ниже!

Для создания графиков я использовал Python иMatplotlibпакет. Расчет для интегралов был сделан сscipy.integrate.trapzфункция.

Особая благодарностьhttps://github.com/herzog-chза его обзор!

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map