www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Пять не очень известных архитектур машинного обучения, которые помогут вам перейти от пилотного к производству

Дата публикации Nov 21, 2018

Несмотря на ажиотаж вокруг машинного обучения и искусственного интеллекта (ИИ), большинство усилий на предприятии остаются на экспериментальной стадии. Одной из причин этого явления является естественное экспериментирование, связанное с проектами машинного обучения, но также существует значительный компонент, связанный с недостаточной зрелостью архитектур машинного обучения. Эта проблема особенно заметна в корпоративных средах, в которых новые методы управления жизненным циклом приложений современных решений машинного обучения противоречат корпоративным практикам и нормативным требованиям. Каковы основные строительные блоки архитектуры, которые организации должны использовать при внедрении решений для машинного обучения? Ответ не очень тривиален, но недавно мы увидели некоторые усилия исследовательских лабораторий и науки об искусственном интеллекте, которые начинают прокладывать путь к тому, что может стать эталонной архитектурой для крупномасштабных решений машинного обучения.

Задача создания эталонных архитектур для крупномасштабных решений машинного обучения усугубляется двумя основными факторами:

1) Механизмы и инфраструктура машинного обучения развивались значительно быстрее, чем внедрение этих технологий в основных средах.

2) Жизненный цикл решений машинного обучения принципиально отличается от других программных дисциплин.

Чтобы объяснить первый пункт, рассмотрим четыре основные области, которые формируют экосистему машинного обучения: исследования, инфраструктуры разработки, инфраструктуру и архитектуры приложений. В последние несколько лет первые три области развивались непропорционально быстрее, чем четвертая, что вызвало большие трения при внедрении новых архитектур машинного обучения в основных средах.

Второй момент также не очень очевиден, если вы не столкнулись с этой проблемой в реальных приложениях. Программы машинного обучения работают в жизненном цикле, который принципиально отличается от традиционных программных приложений. В результате, большинство применяемых методологий разработки приложений, таких как Agile или Waterfall, а также инструменты и процессы непрерывной интеграции / доставки, не работают при применении к решениям машинного обучения.

В то время как эти проблемы, безусловно, актуальны, мы начинаем видеть первую волну архитектур, которые представляют жизнеспособный рабочий процесс для решений машинного обучения. Как ни парадоксально, большинство из этих решений не получили такого большого внимания со стороны сообщества машинного обучения по сравнению с популярными средами машинного обучения, такими как TensorFlow или PyTorch, или платформами машинного обучения, такими как AWS SageMaker или Azure ML.

Пять рамок машинного обучения, о которых нужно знать

Ниже я перечислил некоторые из моих любимых фреймворков и эталонных архитектур, которые упрощают внедрение решений машинного обучения в реальном мире. Я планирую глубоко погрузиться в каждый из этих стеков в будущих постах.

Стэнфордский рассвет

DAWNЭто инициатива, созданная Стэнфордским университетом при поддержке таких влиятельных компаний, как Intel, Google или Microsoft. Принципы РАССВЕТА былиизложенные в исследовательской работеопубликованный в прошлом году, который, по сути, предлагает ряд инструментов, платформ и ссылку на архитектуру для оптимизации рабочих процессов машинного обучения. Текущий стек DAWN включает проекты, которые затрагивают различные аспекты жизненного цикла решений для машинного обучения, таких как обучение (Snorkel), непрерывная аналитика (MacroBase) или вычисление данных (Weld).

Микеланджело Uber

Микеланджело из Uber, одна из самых известных в этой области, - это среда выполнения, которая обеспечивает сотни рабочих процессов машинного обучения в Uber. От экспериментов до обслуживания моделей Микеланджело сочетает в себе основные технологии для автоматизации жизненного цикла приложений машинного обучения. Uber проделал отличную работу, дополняя Микеланджело другими запатентованными технологиями машинного обучения, такими какХоровод,PyMLилипирозапал,

MLB DataBricks

MLflowявляется платформой с открытым исходным кодом для автоматизации жизненного цикла решений машинного обучения. Проект фокусируется на трех ключевых областях рабочего процесса машинного обучения: обучение, упаковка проекта и обслуживание модели. Mlflow интегрируется со многими основными средами разработки, а также инфраструктурой времени выполнения, что делает его жизнеспособным вариантом для различных сценариев машинного обучения.

Facebook FBLearner Flow

FBLearner Flowявляется основой приложений машинного обучения в Facebook. Платформа автоматизирует различные элементы рабочего процесса машинного обучения, такие как выделение функций, обучение, оценка моделей и вывод. FBLearner Flow интегрируется с несколькими средами машинного обучения и инструментами, такими как собственные Caffe2, PyTorch и ONNX Facebook

Google TFX

Google также создал собственную среду выполнения для выполнения рабочих процессов машинного обучения.TFXоснованона недавно опубликованной исследовательской работеЭто предлагает архитектуру для оптимизации работы программ TensorFlow. TFX включает в себя несколько ключевых компонентов архитектур TensorFlow, таких как учащийся для создания моделей на основе обучающих данных, модули для анализа и проверки как данных, так и моделей, и, наконец, инфраструктура для обслуживания моделей в производстве.

Это некоторые из новых, перспективных проектов, которые пытаются упростить внедрение приложений машинного обучения в реальном мире. По мере развития машинного обучения мы должны видеть, как все больше и больше этих эталонных архитектур и сред становятся неотъемлемой частью программного стека на предприятиях по всему миру.

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map