Двойственная природа технологий

Материал из MachineLearning.

Статья написана с использованием LLM Gemini и проверена участником Said Mavletov 17:39, 14 июля 2026 (MSD)

Двойственная природа технологий — концепция, описывающая свойства технологий двойного назначения (англ. dual-use technology), допускающих использование как в гражданских, созидательных и коммерческих целях, так и в военных либо иных вредоносных целях.

Одной из наиболее активно обсуждаемых областей применения концепции в XXI веке является машинное обучение (Machine Learning, ML) и искусственный интеллект (Artificial Intelligence, AI). Современные базовые модели (Foundation models) относятся к классу технологий широкого назначения (General Purpose Technologies). Их высокая универсальность приводит к тому, что алгоритм, обученный писать полезный программный код, может использоваться для генерации вредоносного программного обеспечения, а модель, синтезирующая новые лекарства, имеет потенциал для создания биологического оружия.

Содержание

1 История понятия
2 Основные векторы двойного использования в машинном обучении
3 Математическая формализация проблемы двойного назначения
- 3.1 Регуляризация через KL-дивергенцию (RLHF)
4 Стратегии снижения рисков (Mitigation)
5 Этические и правовые рамки
6 Заключение
7 См. также
8 Литература
9 Ссылки

История понятия

Термин возник задолго до появления современных цифровых технологий и исторически формировался в сфере международного экспортного контроля и глобальной безопасности.

Ядерные технологии: Первым ярким примером двойного назначения стало освоение атома, где процессы обогащения урана применимы как для атомных электростанций, так и для создания ядерного оружия.
Химическая и биологическая промышленность: Развитие химического синтеза и микробиологии привело к пониманию того, что оборудование для производства вакцин или удобрений может быть быстро перепрофилировано. Базовым документом в этой сфере стал отчет Национальной академии наук США (2004), заложивший основы контроля за исследованиями двойного назначения (Dual Use Research of Concern).
Экспортный контроль: В 1996 году было подписано Вассенаарское соглашение (Wassenaar Arrangement), объединившее десятки стран для контроля за экспортом обычных вооружений и высоких технологий.

В международном праве понятие технологий двойного назначения легло в основу национальных режимов экспортного контроля и международных соглашений, регулирующих передачу чувствительных технологий. Начиная с конца XX века концепция была расширена на цифровые технологии (например, криптографию), а в настоящее время её фокус сместился на системы искусственного интеллекта.

Основные векторы двойного использования в машинном обучении

Риски двойного назначения в ИИ масштабируются за счёт доступности вычислительных мощностей и открытости алгоритмов. Выделяют несколько ключевых областей, где созидательный потенциал неотделим от деструктивного.

Информационная безопасность и кибероружие

Современные большие языковые модели обучены на огромных массивах программного кода и технической документации.

Созидательное применение: Автоматический поиск уязвимостей (Vulnerability scanning), генерация патчей безопасности, помощь разработчикам (Copilots), интеллектуальное выявление фишинга.
Деструктивное применение: Автоматизация написания полиморфного вредоносного кода (Malware), генерация высококонтекстных и персонализированных фишинговых рассылок (Spear-phishing) в промышленных масштабах, социальная инженерия с использованием интеллектуальных агентов.

Синтетическая биология и химия

Один из самых опасных примеров двойного использования лежит на стыке машинного обучения и фармакологии. Развитие моделей предсказания пространственной структуры белков (например, AlphaFold) значительно расширило возможности вычислительной биологии.

В 2022 году исследователи из Collaborations Pharmaceuticals опубликовали статью (Urbina et al.), в которой показали, как ИИ-модель MegaSyn, изначально созданная для поиска новых терапевтических молекул с низкой токсичностью, была перепрофилирована. Исследователи модифицировали функцию оптимизации, заменив критерий минимизации токсичности на её максимизацию. Менее чем за 6 часов работы на стандартном компьютере модель сгенерировала 40 000 потенциально смертельных молекул, включая молекулы, структурно сходные с известными высокотоксичными нервно-паралитическими веществами, в том числе VX.

Генерация медиаконтента (Deepfakes)

Технологии синтеза изображений, видео и голоса развиваются на базе диффузионных моделей (Diffusion models) и генеративно-состязательных сетей (GAN).

Созидательное применение: Кинематограф, создание образовательного контента, синтез обучающих данных (Synthetic data) для систем автономного вождения, восстановление речи для людей с инвалидностью.
Деструктивное применение: Генерация дипфейков (Deepfakes) для политической дезинформации, финансового шантажа и обхода систем биометрической аутентификации.

Математическая формализация проблемы двойного назначения

Проблема двойного использования тесно связана с фундаментальной нерешённой проблемой ИИ — проблемой выравнивания (Alignment problem). Алгоритм не имеет встроенной человеческой морали; он лишь максимизирует заданное математическое ожидание вознаграждения.

В парадигме обучения с подкреплением (Reinforcement Learning) агент действует согласно стратегии (Policy) $\pi_{\theta}$ , параметризованной весами $\theta$ . Идеальная цель создателя модели описывается истинной функцией вознаграждения $R_{\text{true}}$ . Однако на практике оптимизируется суррогатная, прокси-функция $R_{\text{proxy}}$ .

Формально модель решает задачу максимизации математического ожидания на траекториях $\tau$ :

$\max_{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}} [R_{\text{proxy}}(\tau)]$

Разрыв между истинной и прокси-функциями может приводить к явлению взлома вознаграждения (reward hacking), при котором агент находит способы максимизировать прокси-награду, не достигая исходной цели (или достигая её деструктивным путём).

Регуляризация через KL-дивергенцию (RLHF)

Чтобы снизить риск того, что базовая модель выдаст вредоносный ответ, на этапе тонкой настройки применяется метод Обучение с подкреплением на основе отзывов людей (RLHF). Для удержания ответов модели в безопасных рамках в функцию потерь вводится штраф на основе KL-дивергенции (Kullback–Leibler divergence).

Оптимизируемый функционал принимает вид:

$\max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot|x)} \left[ R_{\text{proxy}}(x, y) - \beta \mathbb{KL} [ \pi(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x) ] \right]$

где:

$x$ — запрос пользователя (Prompt);
$y$ — сгенерированный ответ модели;
$\pi_{\text{ref}}$ — исходная базовая модель до выравнивания;
$\beta$ — гиперпараметр, контролирующий силу штрафа за отклонение от базовой модели.

Добавление члена с KL-дивергенцией ограничивает отклонение новой политики от базовой модели и тем самым снижает вероятность появления нежелательного поведения при сохранении полезных свойств исходной модели.

Стратегии снижения рисков (Mitigation)

Индустрия и академическое сообщество разрабатывают комплекс мер для защиты алгоритмов от злонамеренного использования.

Красные команды (Red Teaming): Практика из сферы кибербезопасности, адаптированная для ИИ. Инженеры намеренно пытаются взломать систему (вводят состязательные промпты — Adversarial attacks, применяют джейлбрейки — Jailbreaks), чтобы выявить её способность к деструктивному поведению до официального релиза.
Управление вычислениями (Compute Governance): В экспертной литературе обсуждаются меры по контролю цепочек поставок специализированных вычислительных ускорителей и развитию механизмов международного управления вычислительными ресурсами.
Водяные знаки (Watermarking): Внедрение скрытых статистических паттернов в генерируемые тексты или изображения. Например, вероятностный метод водяных знаков, предложенный Kirchenbauer et al. (2023), позволяет с высокой статистической достоверностью оценить вероятность того, что текст был сгенерирован моделью.
Открытые и закрытые модели: В индустрии ведётся жесткая дискуссия о форматах распространения. Представители создателей закрытых моделей подчеркивают риски неконтролируемого распространения передовых алгоритмов, тогда как сторонники открытого программного обеспечения указывают на преимущества прозрачности, независимого аудита и ускорения научных исследований.

Этические и правовые рамки

Двойственная природа ИИ вынуждает государства создавать беспрецедентные регуляторные акты. Важнейшим шагом стал Европейский закон об ИИ (EU AI Act), который вводит риск-ориентированный подход. Системы, представляющие наивысшую угрозу (например, отдельные виды использования систем социального рейтинга и некоторые практики удалённой биометрической идентификации в режиме реального времени), относятся к категории неприемлемого риска и запрещены Регламентом. Системы высокого риска (High-risk AI), применяемые в критической инфраструктуре, требуют жесткой сертификации.

На глобальном уровне в 2023 году была подписана Декларация Блетчли (Bletchley Declaration), в которой ведущие страны признали, что передовые модели ИИ несут риски двойного использования, включая потенциальные экзистенциальные риски для человечества.

Заключение

Двойственная природа технологий в машинном обучении является фундаментальным свойством универсальных алгоритмов. Высокая универсальность современных моделей затрудняет полное разделение полезных и потенциально опасных сценариев их применения. Решение этой дилеммы требует междисциплинарного подхода: от развития математического аппарата выравнивания и робастности моделей до внедрения прозрачного международного регулирования.

См. также

Литература

Russell S. Human Compatible: Artificial Intelligence and the Problem of Control. — Viking, 2019. — ISBN 978-0525558613
National Research Council Biotechnology Research in an Age of Terrorism. — The National Academies Press, 2004. — ISBN 978-0-309-08977-7
Bostrom N. Superintelligence: Paths, Dangers, Strategies. — Oxford University Press, 2014. — ISBN 978-0199678112
Bommasani R. et al. On the Opportunities and Risks of Foundation Models // Center for Research on Foundation Models (CRFM), Stanford University. — 2021.
Urbina F., Lentzos F., Invernizzi C., Ekins S. Dual use of artificial-intelligence-powered drug discovery // Nature Machine Intelligence. — 2022. — Т. 4. — С. 189–191.
Brundage M. et al. The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation // arXiv preprint arXiv:1802.07228. — 2018.
Ouyang L. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems (NeurIPS). — 2022. — Т. 35. — С. 27730–27744.
Kirchenbauer J. et al. A Watermark for Large Language Models // Proceedings of the 40th International Conference on Machine Learning (ICML). — 2023.

Ссылки

European Parliament The EU Artificial Intelligence Act2024.
UK Government The Bletchley Declaration by Countries Attending the AI Safety Summit2023-11-01.

Источник — «http://recognition.su/wiki/index.php?title=%D0%94%D0%B2%D0%BE%D0%B9%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B8%D1%80%D0%BE%D0%B4%D0%B0_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B9»