www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

INFaaS: безразмерная система логического вывода

Дата публикации Oct 3, 2019

Несмотря на существующий уровень техники в области машинного обучения, проблемы эффективности затрат и простоты использования все еще остаются. Разработчики вынуждены сопоставлять ограничения производительности, точности и стоимости приложений с решениями о выборе правильной модели и оптимизаций модели, подходящих конструкций оборудования и конфигураций автоматического масштабирования вручную.

Для пользователей эти взаимосвязанные решения сложно принять, особенно когда нагрузка на приложение изменяется, приложения развиваются, а доступные ресурсы со временем меняются. Зачастую пользователи в конечном итоге принимают решения, которые чрезмерно предусматривают ресурсы.

Сервисная система, которая помогает пользователям принимать решения

В этой статье исследователи представили INFaaS, модель безразличного вывода как услуга. INFaaS предлагает простой интерфейс, реализованный путем генерации и использования вариантов моделей, версий моделей, которые различаются по размеру ресурсов, затратам, задержкам и точности.

Основываясь на характеристиках вариантов модели, INFaaS автоматически перемещается по области принятия решений от имени пользователей для достижения определенных пользователем целей. Он выбирает модель, аппаратную архитектуру и любые оптимизации компилятора.

Разнообразие требований к приложениям, вариантов моделей и разнородных ресурсов. Цветные рамки в последнем слое показывают ресурсы с уже загруженными на них моделями.

Кроме того, он принимает решения о масштабировании и распределении ресурсов. Благодаря совместному использованию моделей между пользователями и аппаратными ресурсами между моделями, INFaaS обеспечивает сокращение расходов в 150 раз, пропускную способность в 1,5 раза и реже нарушает показатели задержки в 1,5 раза по сравнению с обслуживанием Clipper и TensorFlow.

Почему это имеет значение?

Благодаря простому интерфейсу INFaaS упрощает использование, позволяя пользователям определять свои задачи вывода, требования к производительности и точности. Они также могут взаимодействовать с INFaaS, отправляя запросы gRPC на любом языке.

В отношении выбора моделей, управления ресурсами и совместного использования ресурсов политики INFaaS продемонстрировали снижение затрат, лучшую пропускную способность, масштабируемость и меньшее количество нарушений SLO по сравнению с существующими системами обслуживания моделей.

Существующие системы, такие как SageMaker, CloudML и Clipper, требуют, чтобы пользователи явно определяли вариант, аппаратное обеспечение и политику масштабирования. INFaaS обладает значительным потенциалом для упрощения использования обслуживающих систем.

Читать газету:INFaaS: безразмерная система логического вывода

Спасибо за чтение, пожалуйста, комментируйте и делитесь. Для обновления самых последних и интересных научных работ,Подпишитесь на нашу еженедельную рассылку,Вы также можете связаться со мной пощебет,LinkedIn,а такжеfacebook,Не забудьте 👏, если вам понравилась эта статья. Ура!

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map