Мы ведем поиск по разделам и новостям, если вы не нашли ответ на свой вопрос, пожалуйста, воспользуйтесь формой
«связаться с экспертом»
Анализ защищенности алгоритмов машинного обучения
Алгоритмы машинного обучения (МО) применяются во многих областях. Они помогают идентифицировать лица, распознавать знаки дорожного движения в беспилотных автомобилях, обрабатывать язык в устройствах с голосовым ассистентом, ранжировать данные в поисковых системах и даже торговать на фондовых биржах.
Злоумышленники атакуют алгоритмы МО с помощью вредоносных (adversarial) входных данных. Существует отдельная техника Adversarial machine learning, нацеленная на то, чтобы обмануть модель МО. И если обмануть удастся, атакующий сможет влиять на принимаемые алгоритмом решения, нарушать работу модели МО и менять всю бизнес-логику системы.
Вывод: система, основанная на алгоритмах МО, должна быть устойчива к Adversarial machine learning. Более того, сам алгоритм можно украсть, если решение, его использующее, плохо защищено. Насколько устойчива и защищена система, и что можно улучшить, покажет аудит безопасности.
Как будем действовать
Мы проанализируем компоненты внутреннего устройства алгоритма МО и связанную с ним инфраструктуру, выявим возможности получения доступа ко внутреннему устройству алгоритма, его параметрам, архитектуре и используемым фреймворкам. Далее мы проведем симуляцию атак и попытаемся нарушить бизнес-логику системы.
обучения
с алгоритмами МО
Аудит Digital Security позволит значительно сократить риск успешных атак на алгоритмы, повысить
точность моделей обучения и уровень безопасности инфраструктуры в целом
Мы ответили на популярные вопросы, которые нам задают об услуге
«Анализ защищенности алгоритмов машинного обучения».
Возможно, эта информация будет вам полезна.
Какие модели нарушителя проверяются в ходе анализа?
Обычно мы атакуем по методу Black Box и затем White Box. В первом случае у нас есть доступ только ко входу и выходу модели, а во втором нам известна вся информация об обученной модели алгоритма.
Что мы получим в результате анализа?
По результатам анализа вы получите отчет, содержащий:
- перечень выявленных уязвимостей и недостатков безопасности алгоритмов машинного обучения и связанной с ним инфраструктуры
- рекомендации по устранению недостатков и повышению уровня защищенности инфраструктуры
- рекомендации по обучению модели и безопасной эксплуатации алгоритмов машинного обучения
Мы сделали подборку полезных ресурсов по информационной безопасности. Сами их используем, поэтому рекомендуем тем, кому интересен мир ИБ. Одна часть подборки уже опубликована, и сегодня делимся другой. Часть вторая: Satisfiability modulo theories (SMT) Если вы решили погрузиться в эту тему, пожалуй, лучшим материалом для первого знакомства с SMT будет Theorem prover, symbolic execution and practical reverse-engineering. Он […]
Мы рассказали про такую проблему машинного обучения, как Adversarial примеры и некоторые виды атак, которые позволяют их генерировать. В данной статье речь об алгоритмах защиты от такого рода эффекта и рекомендациях по тестированию моделей. Защита Прежде всего давайте сразу поясним один момент — полностью защититься от такого эффекта невозможно, и это вполне естественно. Ведь если […]
Машинное обучение активно применяется во многих областях нашей жизни. Алгоритмы помогают распознавать знаки дорожного движения, фильтровать спам, распознавать лица наших друзей на facebook, даже помогают торговать на фондовых биржах. Алгоритм принимает важные решения, поэтому необходимо быть уверенным, что его нельзя обмануть. В этой статье, которая является первой из цикла, мы познакомим вас с проблемой безопасности […]
Заполните форму, и мы ответим на все ваши вопросы
