www.machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Безопасность ИИ и состязательное машинное обучение 101

Дата публикации Jul 23, 2019

Изображение отskeezeотpixabay

вступление

Искусственный интеллект (ИИ) попадает в заголовки с возрастающей частотой. Новые технологические продукты постоянно включают AI. Это также касается области кибербезопасностинападавшиеа такжезащитникибольшие возможности для достижения своих целей. Я уже опубликовал некоторые идеи использованиямашинное обучение для кибербезопасностирешения, а также внедрение методов ML дляулучшить атаки хакеров, Похоже, что ИИ работает по обе стороны от прилавка, поэтому невозможно точно сказать, является ли ИИ хорошим или злым. Сегодня я собираюсь бросить немного холодной воды на все.

Действительно, то, что мы придумали с помощью ИИ, не следует недооценивать. Давайте разберемся в терминологии. Я хотел бы представить свои взгляды. Вообще говоря, ИИ - это наука делать вещи умными. Другими словами, ИИ - это человеческий интеллект, выполняемый машиной.

Рис 1. Как может выглядеть ИИ

Что такое интеллект? Подумайте о некоторых способностях, которые люди могут легко реализовать, когда машины обычно выходят из строя. Это Восприятие (Голос, Зрение, Сенсорность, Запах), НЛП (Понять, Создать, Перевести), Здравый смысл и Рассуждение. Это то, что я имею в виду под ИИ (или, по крайней мере, тем ИИ, который сейчас расширяется). За последние пять лет люди стали свидетелями прогресса в этой области. Возможно, его реализация станет реальностью в ближайшие пять лет. Большинство преимуществ, особенно в Восприятии, следовало за методами глубокого обучения (DL) и показывало их практические достижения и способность превосходить людей прежде всего, когда речь идет о задачах Vision и распознавании голоса.

Веками машины превосходили людей по физическим задачам, но проигрывали во всех других областях. Теперь мы намного ближе к эре машин, которая может выполнять не меньше, чем все задачи Perceptual, NLP и Reasoning, что подразумевает многообещающие разработки и быстрые изменения в мире.

Власть несет ответственность, а ИИ, как и любая технология, не защищен от атак. Этот факт разочаровывает и провоцирует разработку решений для кибербезопасности, что является достойным в долгосрочной перспективе. Принимая участие в разработке механизма ML для обнаружения аномалий пользователей, одной из моих целей является создание системы, которая не только обнаруживает, но и противостоит кибератакам. Это побудило меня изучить область безопасности ИИ наряду с уязвимостями в алгоритмах машинного обучения (одно из основных полей в ИИ).

Первые случаи обмана алгоритмов машинного обучения были опубликованы, чтобы показать практическую реализацию обходов фильтра спама. Хотя было много исследовательских работ по безопасности алгоритмов ML, большой интерес был вызван несколько лет назад после увлечения глубоким обучением в 2012 году, когда нейронные сети для распознавания изображений, такие как AlexNet, могли превзойти людей в задачах распознавания изображений. Идея казалась настолько многообещающей, что никто не задумывался о проблемах безопасности, и они спешно совершенствовались, разрабатывая больше моделей лучшего качества. К сожалению, возможность взлома моделей была ключевой слабостью архитектуры алгоритмов глубокого обучения, которая была освещена в 2013 году группой исследователей, включая Иана Гудфеллоу в их документе под названием «Интригующие свойства нейронных сетей». Эти приложения уязвимы для примеров состязательности - искусственно созданных входных данных, которые претендуют на то, чтобы относиться к одному классу с целью обмануть ИИ и неправильно классифицировать изображения. На самом деле, для сложных объектов вы просто не можете составить формулу, которая разделяет их, поскольку всегда найдется состязательный пример, который напоминает реальный, но классифицируется как подделка. Зачем изучать уязвимости нейронных сетей и как использовать их в реальной жизни? Попробуем ответить на этот вопрос дальше.

Зачем взламывать ИИ?

Появление искусственного интеллекта считается вехой в развитии технологий. ИИ постоянно наводняет наш мир и проникает в скрытые вертикали и самые неожиданные отрасли. Поскольку многие бизнес-процессы были автоматизированы, роботы принимают все больше и больше решений.

Кроме того, число мест с технологиями, которые связаны с кибербезопасностью, увеличивается. Если раньше хакеры могли украсть ваши данные с вашего компьютера или истощить ваши банковские счета, то теперь у них есть шанс повлиять на каждый ваш шаг. Это легко сделать, учитывая характер современного взаимосвязанного мира, в котором люди не могут обойтись без ноутбуков, мобильных телефонов, умных часов или автономных устройств. Полная автоматизация транспортной и коммуникационной отраслей уже не за горами. Продовольствие и здравоохранение - следующие в очереди, которые будут управляться алгоритмами искусственного интеллекта. К сожалению, они уязвимы для различных кибератак, как и любые другие алгоритмы.

Вы можете спросить, почему кибербезопасность ИИ так важна. Фактически, кибер-злоумышленники уже могут создавать различные проблемы и вызывать хаос в уязвимых системах. Искусственный интеллект и люди могут быть обмануты, если известно поведение и логика работы. Посмотрите на возможные виды помех и причины, по которым кто-то попытается взломать систему, основанную на алгоритмах ML.Вот список примеров:

·Транспортная индустрия,

Обмануть автономные транспортные средства в неправильном толковании знаков остановки или ограничения скорости.Многие исследовательские проекты и эксперименты доказывают, что это реально. Одной из ключевых задач для автономных автомобилей является классификация изображений, например, идентификация дорожных знаков. Очевидно, что выяснение того, как сбить с толку систему распознавания дорожных знаков, может привести к ужасным авариям. К началу 2019 года было опубликовано более 100 научных работ, в которых показаны различные способы атак на системы распознавания изображений. Большинство работ могут быть воплощены в жизнь при необходимости. Принимая во внимание все препятствия, можно наклеить крошечный стикер на дорожный знак, чтобы система восприняла его как еще один знак.

·Индустрия кибербезопасности,

Обходите спам-фильтры.Это одна из старейших областей, где появилось машинное обучение. На самом деле, спам-фильтры предназначены не только для электронных писем, поскольку будут существовать новые для изображений, голосовой или видеосвязи, и в этом случае мы можем назвать это ИИ, так как теперь они более восприимчивы. Они пригодятся, чтобы избежать бесчисленных потоков поддельных картинок, аудио и видео как одной из надвигающихся угроз будущего каждого. Исследования обхода спам-фильтров исчисляются десятками, и их количество растет.

Обход инструментов обнаружения вредоносных программ на основе AI.Все большее число систем обнаружения вредоносных программ используют алгоритмы ML для обнаружения вредоносных программ. Эти алгоритмы имеют свои недостатки, которые могут привести к тому, что хакеры изменят существующее вредоносное ПО, чтобы система увидела его как защищенное приложение. Исследователи опубликовали около 20 статей, показывающих способы обхода различных систем обнаружения вредоносных программ на практике, включая файлы в PDF-файлах и приложениях Android - три самых распространенных источника заражения.

·Розничной торговли,

Обойти распознавание лица.Действительно, распознавание лиц может быть центральным в новых решениях контроля доступа. В эпоху интеллектуальных устройств, таких как iPhone X, важно быть уверенным в том, что эта система абсолютно защищена и поэтому не может быть взломана. Многие офисные здания приняли системы лицевой аутентификации; кроме того, появились новые банкоматыиспользуя распознавание лицв качестве дополнительной меры безопасности. Атаки систем распознавания лиц напоминают способы, используемые в системах классификации изображений, но имеют свои отличительные особенности. В настоящее время более 10 различных исследований показывают, как обходить системы распознавания лиц, например, с помощью специальных очков.

·Умный дом промышленности

Подделывать голосовые команды.Что если ваш Amazon Echo распознает некоторый шум как команду? Вероятно, шум имеет оптимальные частоты, которые в большинстве случаев не слышны человеческому уху. Это не мое воображение. Различные исследования говорят, что вполне возможно добавить минимальный неслышимый шум к чьему-то голосу, чтобы текст распознавался как определенная инструкция. В результате голосовой помощник может выполнять произвольные команды и быть взломанным.

·Интернет и социальные медиа индустрии

Дурак настроения анализирует обзоры фильмов, отелей и т. Д.Исследователи продемонстрировали подход к неправильной классификации системы, которая автоматически дает оценку для комментариев. Оказывается, можно написать отрицательный комментарий, который воспринимается как положительный. Практические исследования не так широко распространены, как исследования, связанные с другими типами атак. Тем не менее, есть примеры, когда незначительное изменение в одном слове предложения приводило к тому, что система неправильно истолковывала истинную ценность комментария.

·Финансовая индустрия.

Мошенничество с аномалией и мошенничеством.Как уже упоминалось в атаках вредоносных программ, все больше и больше решений для кибербезопасности, таких как системы обнаружения мошенничества, системы обнаружения угроз и решения для поведения пользователей, используют методы ML для лучшего обнаружения кибератак. К сожалению, хакеры также могут манипулировать этими системами, согласно ряду недавних исследовательских работ.

Хотя это далеко не полный список. Полная реализация вышеупомянутых систем неизбежна. Если вам это кажется надуманным, я могу утверждать, что люди не видят волну реальных атак только потому, что эти системы не так популярны. Однако, когда этот момент наступит, злоумышленники воспользуются существующими уязвимостями.

Уязвимости и угрозы безопасности AI

Что именно злоумышленники могут сделать с системами на основе ИИ? Все атаки можно разделить на наиболее распространенную триаду доступности и целостности конфиденциальности.

шпионаж

Цель состоит в том, чтобы получить представление о системе и использовать полученную информацию для своей собственной выгоды или подготовить более сложные атаки.

Другими словами, злоумышленник имеет дело с системой машинного обучения, скажем, механизмом распознавания изображений, чтобы углубиться и узнать больше о таких внутренних элементах, как набор данных. Например, хакеры могут угадать сексуальную ориентацию определенного человека в Facebook, сделав две целевые рекламы и проверив, какая из них будет работать для этого человека. Когда Netflix опубликовал свой набор данных, произошел настоящий инцидент с конфиденциальностью. В то время как данные были анонимными, хакеры смогли идентифицировать авторов конкретных обзоров.

Личные помощники собирают много личной информации, чтобы обеспечить лучшее обслуживание. Это может быть полезно для злоумышленников. Если имитировать голос, злоумышленник заставит вашего личного помощника раскрыть любой секрет. В мире систем и собственных алгоритмов одна из целей будет состоять в том, чтобы извлечь выгоду из алгоритма системы, информации о структуре системы, нейронной сети, типе этой сети, количестве слоев и т. Д. Эта информация может пригодиться для дальнейших атак. Если мы знаем тип сети и ее детали, сеть может быть реконструирована в домашних условиях, а затем могут быть обнаружены другие методы атак.

саботаж

Задача - отключить функционал системы ИИ.

Есть несколько способов саботажа:

  1. Затопление ИИ запросами, которые требуют больше времени вычислений, чем в среднем примере.
  2. Затопление неправильно классифицированными объектами для увеличения ручной работы по ложным срабатываниям. В случае неправильной классификации или необходимости подорвать доверие к этой системе. Например, злоумышленник может заставить систему рекомендовать видео порекомендовать фильмы ужасов любителям комедии.
  3. Модификация модели путем ее переподготовки с неверными примерами, чтобы результат модели был подведен. Работает только если модель обучена онлайн.
  4. Использование вычислительной мощности модели ИИ для решения ваших собственных задач. Эта атака называется состязательным перепрограммированием.

мошенничество

Мошенничество в AI означает неправильную классификацию задач. Простой пример - необходимость заставить ИИ (например, автономные машины) поверить, что на дороге есть кошка, а на самом деле это машина. У злоумышленников есть два разных способа сделать это - взаимодействуя с системой на этапе обучения или производства. Первый подход называется «Отравление», когда злоумышленники отравляют некоторые данные в наборе обучающих данных, а второй - «Уклонение», где злоумышленники используют уязвимости алгоритма, чтобы инструктировать систему ИИ на предмет неправильной работы, такой как неправильная классификация.

AI: Алгоритмы машинного обучения

Понимание изощренных угроз для решений ИИ позволяет перейти на один уровень дальше и взглянуть на эту проблему с технической точки зрения.

Как упоминалось ранее, искусственный интеллект означает умные вещи, охватывающие то или иное восприятие (как очень упрощенное понятие), в то время как существуют технические решения на заднем плане. И машинное обучение приходит сюда.

AI в целом означает умную работу, а ML - особый подход к достижению этой «умной» функциональности. Например, возьмите управляемую AI систему распознавания изображений и посмотрите на все алгоритмы в этой системе, и вы найдете по крайней мере две отдельные задачи машинного обучения. Один означает обнаружение объекта (или сегментацию изображения) с целью обнаружения лица на изображении и выбора части изображения, на которой это лицо снято. Другая задача - классификация изображений с целью выяснить, кто и что именно запечатлено на фотографии. Это пример различных задач ML в конкретном решении AI, другими задачами могут быть понимание естественного языка, анализ настроений, рекомендации по тексту и т. Д. Число этих задач растет. Технически, некоторые из них похожи, такие как классификация изображений и анализ настроений - оба являются задачами классификации - и, таким образом, могут разделять уязвимости. Некоторые могут быть совершенно разными, например, классификация изображений и расчет оптимального пути в играх. Вот как сделать это более понятным.

Существуют различные категории задач машинного обучения (классификация, кластеризация, регрессия и т. Д.) И методы (контролируемые, неконтролируемые, подкрепление). Каждая из этих задач имеет различные свойства, связанные с безопасностью, которые могут привести к атакам.

Наиболее распространенной задачей является классификация. Алгоритмы классификации имеют гораздо больше примеров уязвимостей противника из-за популярности. Однако другие задачи и методы (такие как кластеризация и усиленное обучение) также уязвимы. Карта ниже иллюстрирует высокоуровневые категории задач и методов ОД.

http://vas3k.com/blog/machine_learning/

Рис. 2. Классическая карта машинного обучения

Атаки на контролируемое обучение (классификация)

Классификация была первой и самой популярной задачей машинного обучения, нацеленной на исследования безопасности.

Классификация - простая задача. Представьте, что у вас есть две стопки картинок, классифицированных по типу (например, собак и кошек) и хотите, чтобы ваша система могла классифицировать их автоматически.

Подход к обучению под наблюдением обычно используется для классификации, когда известны примеры определенных групп. Все классы должны быть изначально определены. Все алгоритмы, на которых основаны модели ML (от SVM до случайных лесов и нейронных сетей), уязвимы для различных видов враждебных исходных данных, первые атаки в 2004 году в исследовательской статье - «Состязательная классификация». В настоящее время существует более 100 статей, посвященных различным методам атаки и защиты для алгоритмов классификации.

Рис. 3. Пример задачи классификации машинного обучения с фильтром спама

Атаки на контролируемое обучение (регресс)

Регрессия (или прогноз) проста.знаниео существующих данных используется, чтобы иметь представление о новых данных. Возьмите пример прогнозирования цен на акции и манипулирования ценовыми данными, чтобы переоценить цены. Что касается технических аспектов регрессии, все методы можно разделить на две большие категории: машинное обучение и глубокое обучение. Удивительно, но регрессионные обучающие атаки не были столь популярны по сравнению с классификацией с более чем 200 исследовательскими работами, опубликованными с 2004 по 2018 год. Есть несколько примеров практических атак на регрессию, таких как «Состязательная регрессия с несколькими учениками 2018».

Рис. 4. Пример атаки на регрессивное обучение. Красная линия показывает приблизительный тренд для точек морского флота.

Атаки на полууправляемое обучение (генеративные модели)

Задача генеративных моделей отличается от вышеупомянутой. Контролируемые учебные задачи - классификация и регрессия - имеют дело с существующей информацией и соответствующими решениями, тогда как генеративные модели предназначены для имитации фактических данных (не решений) на основе предыдущих решений. Генеративные модели, такие как GAN или авто-кодеры, также подвержены атакам. Пример был упомянут в статье под названием «Состязательные примеры для генеративных моделей».

Рис. 5. Схема генеративной состязательной сети

На рис. На фиг.5 G является генератором, который берет примеры из скрытого пространства и добавляет некоторый шум, а D является дискриминатором, который может сказать, выглядят ли сгенерированные поддельные изображения реальными образцами.

Атаки на неконтролируемое обучение (кластеризация)

Наиболее распространенным примером обучения без присмотра является кластеризация. Кластеризация похожа на классификацию с единственным, но существенным отличием. Информация о классах данных неизвестна, и нет понятия, могут ли эти данные быть классифицированы. Это неконтролируемое обучение.

Кластеризация является менее распространенной задачей, и в ней гораздо меньше статей, посвященных атакам на алгоритмы кластеризации по сравнению с классификацией. Кластеризация может использоваться для обнаружения вредоносных программ, и, как правило, новые обучающие данные поступают из открытых источников, поэтому злоумышленник может манипулировать данными обучения для классификаторов вредоносных программ и этой модели кластеризации. Один из наиболее распространенных алгоритмов кластеризации - k-ближайшие соседи, и недавно было исследование, показывающее практическую атаку на этот алгоритм - «Об устойчивости глубоких K-ближайших соседей».

Рис. 6. Иллюстрирует различные методы кластеризации и способы, которыми они разделяют несколько примеров на кластеры.

Нападения на неконтролируемое обучение (уменьшение размерности)

Уменьшение или обобщение размерности необходимо, если у вас есть сложные системы с немаркированными данными и множеством потенциальных функций. Вы не можете применять кластеризацию, потому что типичные методы ограничивают количество функций, или они не работают. Уменьшение размерности может помочь справиться с этим и сократить ненужные функции. Как и кластеризация, уменьшение размерности обычно является одной из задач в более сложной модели.

Хотя эта категория машинного обучения менее популярна, чем другие, есть пример, когда исследователи проводили атаку на классификатор на основе PCA для обнаружения аномалий в сетевом трафике. Они продемонстрировали, что чувствительность PCA к выбросам может быть использована путем загрязнения обучающих данных, что позволяет злоумышленнику значительно снизить частоту обнаружения атак DOS вдоль определенного потока цели.

Пример уменьшения размерности виден из третьего пробела слева во второй пробел справа (Рис. 7).

Рис. 7. Пример уменьшения размерности

Нападения на Укрепление Обучения

Усиленное обучение - это подход, основанный на окружающей среде. Это как учебная среда для детей методом проб и ошибок, или образцовый способ обучения и реакции. По сравнению с контролируемым или неконтролируемым обучением, нет никаких данных, которые можно было бы подать в нашу модель до ее запуска. Как правило, подход подкрепляющего обучения применяется к системам, работающим в изменяющейся среде, а модели подкрепляющего обучения являются одной из задач машинного обучения, применяемой в решениях автономных автомобилей вместе с другими, такими как распознавание изображений и распознавание голоса.

Наконец, алгоритмы подкрепляющего обучения также уязвимы для атак со стороны соперников, и в прошлом году было опубликовано множество исследовательских работ по этой теме, в том числе последняя под названием «Уязвимость глубокого подкрепления обучения атаке индукции политики». Эта статья показала, что добавление состязательного возмущения к каждому фрейму игры может произвольно ввести в заблуждение политику обучения с подкреплением.

Как видите, можно атаковать каждую задачу машинного обучения. Я не затрагивал конкретные типы атак и их использование для каждой модели ML, так как собираюсь дать обзор категорий задач ML и их подверженности атакам.

Рис. 8. Вы можете увидеть Агента (Динозавра), награды которого зависят от действий в Лабиринте.

Резюме

То, что вы прочитали, является лишь введением в широкую тему безопасности ИИ. Вы видели множество отраслей, которые могут быть скомпрометированы, различные угрозы от доступности до целостности и различные категории атак - некоторые из них были изобретены пару лет назад. С очевидной точки зрения, ситуация печальная - все системы ИИ имеют слабые места, которые, к сожалению, нелегко исправить. Эта проблема больше похожа на общую математическую задачу, нежели на незначительную проблему, которую можно исправить, изменив алгоритм.

Есть десятки исследователей, пытающихся решить эти проблемы, которые не были рассмотрены здесь в этой статье. Эти вопросы требуют еще одну статью, которая расширяет материал текущей части и подробно описывает все существующие атаки, а также решения.

Оригинальная статья

Footer decor

© www.machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map