|
|
| Строка 1: |
Строка 1: |
| - | {{well|Статья написана с использованием LLM '''Gemini 1.5 Pro''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 20:07, 12 июля 2026 (MSD)}}
| |
| | | | |
| - | '''Кибербезопасность''' — это совокупность методов, технологий и процессов, предназначенных для защиты компьютеров, сетей, программного обеспечения и данных от несанкционированного доступа, атак и повреждений.
| |
| - |
| |
| - | В контексте [[Машинное обучение|машинного обучения]] кибербезопасность рассматривается в двух неразрывно связанных аспектах:
| |
| - | # '''Безопасность ИИ (Adversarial Machine Learning):''' защита самих алгоритмов и обучающих выборок от целенаправленных манипуляций злоумышленников.
| |
| - | # '''Оборонительное машинное обучение (Defensive ML):''' применение алгоритмов анализа данных для автоматического обнаружения угроз, защиты классической ИТ-инфраструктуры и анализа сетевого трафика.
| |
| - |
| |
| - | == Интуитивное понимание ==
| |
| - | Исторически информационная безопасность всегда представляла собой непрерывное противостояние между атакующими и защитниками. Внедрение искусственного интеллекта вывело это взаимодействие на новый уровень автоматизации.
| |
| - |
| |
| - | Специфику атак на ИИ для новичка проще всего понять на примере систем компьютерного зрения в беспилотных автомобилях. Классический хакер пытается взломать сервер компании, чтобы получить удаленный доступ к рулю. Хакер, работающий с ИИ, действует иначе: он наклеивает на дорожный знак «Движение без остановки запрещено» (STOP) несколько специально рассчитанных кусков черной изоленты. Для человеческого глаза это выглядит как вандализм, но [[Нейросеть|нейросеть]] автомобиля из-за этого шума может ошибочно классифицировать знак как «Ограничение скорости 100 км/ч». Это называется состязательной атакой.
| |
| - |
| |
| - | С другой стороны, защитники используют ML для автоматизации рутины. Вместо того чтобы вручную писать тысячи правил для выявления компьютерных вирусов, инженеры обучают алгоритм отличать нормальное поведение программ от вредоносного, что позволяет блокировать угрозы нулевого дня (вирусы, которые ранее никогда не встречались).
| |
| - |
| |
| - | == Уязвимости моделей машинного обучения ==
| |
| - | Алгоритмы машинного обучения обладают специфической поверхностью атаки, которая требует новых математических методов защиты. Профессиональная классификация угроз выделяет несколько основных векторов.
| |
| - |
| |
| - | === Состязательные атаки (Evasion Attacks) ===
| |
| - | Атакующий модифицирует входные данные таким образом, чтобы заставить уже обученную модель выдать неверный результат. Для этого к исходному объекту добавляется минимальный, часто незаметный для человека шум ''ε''.
| |
| - | Одним из базовых методов генерации такого шума является '''FGSM''' (Fast Gradient Sign Method). Шум вычисляется в направлении градиента функции потерь ''J'' по входным данным:
| |
| - | ''x<sub>adv</sub> = x + ε · sign(∇<sub>x</sub> J(θ, x, y))''
| |
| - | Защита от подобных атак (Adversarial Training) сводится к добавлению сгенерированных состязательных примеров в обучающую выборку, чтобы модель научилась их игнорировать.
| |
| - |
| |
| - | === Отравление данных (Data Poisoning) ===
| |
| - | Атака происходит на этапе сбора данных. Злоумышленник внедряет в обучающую выборку небольшую долю искаженных примеров с неверной разметкой. Цель — создать в модели скрытый дефект (бэкдор). Например, злоумышленник может «научить» систему распознавания лиц всегда пропускать человека в определенных очках, добавляя такие фотографии в целевой класс на этапе парсинга данных из интернета.
| |
| - |
| |
| - | === Атаки на конфиденциальность и кража моделей ===
| |
| - | * '''Кража модели (Model Extraction):''' злоумышленник отправляет тысячи запросов к публичному API проприетарной модели и на основе ее ответов строит функционально эквивалентную модель, воспроизводя ее поведение без прямого доступа к исходному коду и весам.
| |
| - | * '''Атака на вывод принадлежности (Membership Inference):''' метод, позволяющий злоумышленнику определить, использовался ли конкретный объект (например, конфиденциальная медицинская карта) при обучении модели, анализируя уверенность предсказаний алгоритма.
| |
| - | * '''Промпт-инъекции (Prompt Injection):''' специфическая уязвимость Больших языковых моделей ([[LLM]]), при которой вредоносные инструкции скрываются в текстовом запросе, заставляя модель игнорировать системные ограничения и выдавать запрещенную информацию.
| |
| - |
| |
| - | == Применение ML для защиты инфраструктуры ==
| |
| - | Наряду с классическими методами (криптографией, сигнатурным анализом), машинное обучение широко используется и является одним из ключевых инструментов современных систем защиты.
| |
| - |
| |
| - | * '''Обнаружение сетевых аномалий (Intrusion Detection Systems, IDS):''' Алгоритмы [[Обучение без учителя|обучения без учителя]] (например, Isolation Forest или автоэнкодеры) анализируют терабайты логов. Любое отклонение от «нормального» паттерна трафика (например, необычная передача данных в нерабочее время) помечается как аномалия.
| |
| - | * '''Детектирование вредоносного ПО (Malware Detection):''' Глубокие нейронные сети анализируют бинарный код или графы вызовов API операционной системы в песочнице, классифицируя программы на безопасные и вредоносные без использования сигнатурных баз.
| |
| - | * '''Оценка рисков (UEBA):''' Системы поведенческого анализа (User and Entity Behavior Analytics) строят профили типичного поведения сотрудников компании для выявления скомпрометированных учетных записей или инсайдеров.
| |
| - |
| |
| - | == Литература ==
| |
| - | * {{статья | автор = Goodfellow I. J., Shlens J., Szegedy C. | заглавие = Explaining and Harnessing Adversarial Examples | журнал = arXiv preprint arXiv:1412.6572 | год = 2014 }}
| |
| - | * {{статья | автор = Biggio B., Roli F. | заглавие = Wild Patterns: Ten Years after the Rise of Adversarial Machine Learning | журнал = Pattern Recognition | год = 2018 | том = 84 | страницы = 317-331 }}
| |
| - | * {{статья | автор = Papernot N. [и др.] | заглавие = Practical Black-Box Attacks against Machine Learning | журнал = Proceedings of the 2017 ACM on Asia Conference on Computer and Communications Security | год = 2017 | страницы = 506-519 }}
| |
| - | * {{статья | автор = Sommer R., Paxson V. | заглавие = Outside the Closed World: On Using Machine Learning for Network Intrusion Detection | журнал = IEEE Symposium on Security and Privacy | год = 2010 | страницы = 305-316 }}
| |
| - |
| |
| - | [[Категория:Кибербезопасность]]
| |
| - | [[Категория:Машинное обучение]]
| |
| - | [[Категория:Безопасность ИИ]]
| |
