www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Измерение «сложности ответа» задачи машинного обучения

Дата публикации Mar 25, 2017

Никто не станет утверждать, что Гари Каспаров обладает более сложным интеллектом, чем его Deep Blue, или Ли Седол обладает более сложным интеллектом, чем Alpha Go. Они выделяют большую часть своих умственных способностей на повседневную жизнь человека. Они обладают менее специализированным, но более сложным интеллектом, чем их заклятый враг Android.

Человеческие мозги занимают больше всего времени из-за их сложности. Менее сложные существа, такие как наши питомцы, требуют меньше времени для достижения зрелости, потому что они обладают более специализированными навыками Комаров еще меньше. Этот принцип справедлив в природе и математике. Специализированная система должна принимать меньше решений для достижения оптимального результата.

Интеллектуальная система по необходимости становится все более сложной с каждым новым добавленным навыком. тем не мениеПо мере увеличения сложности увеличивается и ошибка. И больше обучающих примеров требуется, чтобы достигнуть более низкой ошибки в данном навыке.

Поэтому, когда мы разрабатываем решение для машинного обучения,Сложность проблемы будет идти рука об руку со сложностью вашего решения, Есть некоторые вопросы, такие как, сколько слоев должно быть моей CNN? Сколько учебных примеров мне нужно, чтобы достичь определенной ошибки.

Сложность ответаЭто расчет, чтобы помочь понять сложность проблемы, учитывая помеченные данные обучения.

Для набора обучающих данных с входами N сколичество возможных входов nи набор выходов М сколичество возможных выходов ми дисперсия выходагде n> = 1 и m> = 1.

RC = (n - 1) σ² (м - 1)

Некоторые наблюдения

  • С каждым добавленным навыком сложность сети
  • Если возможное количество выходов равно 1, сложность равна 0.
  • Если возможное количество выходов бесконечно, но дисперсия равна 0, то сложность равна 0.
  • Если возможное количество выходов бесконечно, а количество входов равно 1. Сложность равна 0. Не может быть никакого интеллектуального ответа.
  • Сложность возрастает линейно по отношению к m и n.

Расставание Мысли

Я надеюсь, что для разных классов Сложностей Отклика будут представлены разные оптимальные решения для машинного обучения. Например, учитываяRCвыше порогаT, оптимальная архитектура будет вариацией CNN. Для проблем с меньшими сложностями ответа, более простые решения представили бы себя.Если мы сможем классифицировать сложность каждой проблемы, это облегчит разработчику разработку решений ML, и, возможно, даже машина сможет разработать собственное решение.

Заметка

Уравнение для сложности ответа - все еще новое, и у меня есть много сомнений относительно определенных отношений с переменными. Я полагаю, что добавление вывода добавляет больше сложности, чем добавление ввода, но на данный момент сложно определить, сколько еще. Должен ли я выровнять выход? Войти вход? Возможно ли иметь одно уравнение, объединяющее регрессоры и классификаторы? Это исследование теории сложности и анализа алгоритмов машинного обучения для меня и, надеюсь, других, чтобы продолжать исследовать.

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map