1. Инициализировать

Первый шаг. Импортировать NumPy. Шутки в сторону.

2. Генерация данных

Мы генерируем десять тысяч точек для скалярного вводаXи соответствующий ему гауссовnoiseтакой, что для некоторого фиксированного наклонаw_true=7.6и перехватитьb_true=-3.3мы можем генерироватьyпо следующим линейным отношениям. Значения дляw_trueа такжеb_trueсовершенно произвольно.

y = w_true * X + b_true + noise

Добавление гауссовского шума с нулевым средним делает наши данные более реалистичными.

3. Градиентный спуск

На самом деле мы не знаем значений параметров линейной функцииwа такжеb, и это где градиентный спуск приходит. Мы определяем функцию ошибкиeкаксумма квадратов разностимежду фактическимyи предсказалy=wx+bдля некоторых(w,b),

Эта функция ошибок штрафует несоответствие между фактическим и прогнозируемымyценность. Разница в квадрате используется вместо абсолютной разницы||.||так что мы можем рассчитать∂e / ∂wа также∂e / ∂bаналитически, что оставлено в качестве упражнения для читателя.Эти градиенты являются представлениями направлений увеличенияwа такжеbсоответственно.Поэтому, если мы хотимуменьшитьОшибкаeмы должны обновить параметры, перейдя вотрицательное направлениепроизводных. Это может быть выражено

w ← w - learning_rate * ∂e/∂w
b ← b - learning_rate * ∂e/∂b
# The key is the minus signs

Если мы будем делать эти обновления итеративно до(w,b)сходясь, мы получим оптимальный набор параметров, которые могут представлять линейную зависимость междуXа такжеy,

Еда на вынос

Это минимальная реализация алгоритма линейной регрессии с использованием библиотеки NumPy в3 шага, Если вы хотите проверить свое понимание линейной регрессии, вот список вещей, которые вы можете попробовать:

• Реализация линейной регрессии с использованием других библиотек (наGitHub)
• Разделение набора данных поезда-теста
• Несколько входных функций
• Негауссовский распределенный шум
• Различные функции ошибок

Коды доступны наGithub, Удачного кодирования!

Статьи по Теме

Спасибо за чтение! Если вы заинтересованы в машинном обучении или Python, ознакомьтесь со следующими статьями:

Первоначально опубликовано наedenau.github.io,

Оригинальная статья