Двойственная природа технологий

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini и проверена участником Said Mavletov 17:39, 14 июля 2026 (MSD)

Двойственная природа технологий — концепция, описывающая свойства технологий двойного назначения (англ. dual-use technology), допускающих использование как в гражданских, созидательных и коммерческих целях, так и в военных либо иных вредоносных целях.

Одной из наиболее активно обсуждаемых областей применения концепции в XXI веке является машинное обучение (Machine Learning, ML) и искусственный интеллект (Artificial Intelligence, AI). Современные базовые модели (Foundation models) относятся к классу технологий широкого назначения (General Purpose Technologies). Их высокая универсальность приводит к тому, что алгоритм, обученный писать полезный программный код, может использоваться для генерации вредоносного программного обеспечения, а модель, синтезирующая новые лекарства, имеет потенциал для создания биологического оружия.

Содержание

1 История понятия
2 Основные векторы двойного использования в машинном обучении
3 Математическая формализация проблемы двойного назначения
- 3.1 Регуляризация через KL-дивергенцию (RLHF)
4 Стратегии снижения рисков (Mitigation)
5 Этические и правовые рамки
6 Заключение
7 См. также
8 Литература
9 Ссылки

История понятия

Термин возник задолго до появления современных цифровых технологий и исторически формировался в сфере международного экспортного контроля и глобальной безопасности.

Ядерные технологии: Первым ярким примером двойного назначения стало освоение атома, где процессы обогащения урана применимы как для атомных электростанций, так и для создания ядерного оружия.
Химическая и биологическая промышленность: Развитие химического синтеза и микробиологии привело к пониманию того, что оборудование для производства вакцин или удобрений может быть быстро перепрофилировано. Базовым документом в этой сфере стал отчет Национальной академии наук США (2004), заложивший основы контроля за исследованиями двойного назначения (Dual Use Research of Concern).
Экспортный контроль: В 1996 году было подписано Вассенаарское соглашение (Wassenaar Arrangement), объединившее десятки стран для контроля за экспортом обычных вооружений и высоких технологий.

В международном праве понятие технологий двойного назначения легло в основу национальных режимов экспортного контроля и международных соглашений, регулирующих передачу чувствительных технологий. Начиная с конца XX века концепция была расширена на цифровые технологии (например, криптографию), а в настоящее время её фокус сместился на системы искусственного интеллекта.

Основные векторы двойного использования в машинном обучении

Риски двойного назначения в ИИ масштабируются за счёт доступности вычислительных мощностей и открытости алгоритмов. Выделяют несколько ключевых областей, где созидательный потенциал неотделим от деструктивного.

Информационная безопасность и кибероружие

Современные большие языковые модели обучены на огромных массивах программного кода и технической документации.

Созидательное применение: Автоматический поиск уязвимостей (Vulnerability scanning), генерация патчей безопасности, помощь разработчикам (Copilots), интеллектуальное выявление фишинга.
Деструктивное применение: Автоматизация написания полиморфного вредоносного кода (Malware), генерация высококонтекстных и персонализированных фишинговых рассылок (Spear-phishing) в промышленных масштабах, социальная инженерия с использованием интеллектуальных агентов.

Синтетическая биология и химия

Один из самых опасных примеров двойного использования лежит на стыке машинного обучения и фармакологии. Развитие моделей предсказания пространственной структуры белков (например, AlphaFold) значительно расширило возможности вычислительной биологии.

В 2022 году исследователи из Collaborations Pharmaceuticals опубликовали статью (Urbina et al.), в которой показали, как ИИ-модель MegaSyn, изначально созданная для поиска новых терапевтических молекул с низкой токсичностью, была перепрофилирована. Исследователи модифицировали функцию оптимизации, заменив критерий минимизации токсичности на её максимизацию. Менее чем за 6 часов работы на стандартном компьютере модель сгенерировала 40 000 потенциально смертельных молекул, включая молекулы, структурно сходные с известными высокотоксичными нервно-паралитическими веществами, в том числе VX.

Генерация медиаконтента (Deepfakes)

Технологии синтеза изображений, видео и голоса развиваются на базе диффузионных моделей (Diffusion models) и генеративно-состязательных сетей (GAN).

Созидательное применение: Кинематограф, создание образовательного контента, синтез обучающих данных (Synthetic data) для систем автономного вождения, восстановление речи для людей с инвалидностью.
Деструктивное применение: Генерация дипфейков (Deepfakes) для политической дезинформации, финансового шантажа и обхода систем биометрической аутентификации.

Математическая формализация проблемы двойного назначения

Проблема двойного использования тесно связана с фундаментальной нерешённой проблемой ИИ — проблемой выравнивания (Alignment problem). Алгоритм не имеет встроенной человеческой морали; он лишь максимизирует заданное математическое ожидание вознаграждения.

В парадигме обучения с подкреплением (Reinforcement Learning) агент действует согласно стратегии (Policy) $\pi_{\theta}$ , параметризованной весами $\theta$ . Идеальная цель создателя модели описывается истинной функцией вознаграждения $R_{\text{true}}$ . Однако на практике оптимизируется суррогатная, прокси-функция $R_{\text{proxy}}$ .

Формально модель решает задачу максимизации математического ожидания на траекториях $\tau$ :

$\max_{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}} [R_{\text{proxy}}(\tau)]$

Разрыв между истинной и прокси-функциями может приводить к явлению взлома вознаграждения (reward hacking), при котором агент находит способы максимизировать прокси-награду, не достигая исходной цели (или достигая её деструктивным путём).

Регуляризация через KL-дивергенцию (RLHF)

Чтобы снизить риск того, что базовая модель выдаст вредоносный ответ, на этапе тонкой настройки применяется метод Обучение с подкреплением на основе отзывов людей (RLHF). Для удержания ответов модели в безопасных рамках в функцию потерь вводится штраф на основе KL-дивергенции (Kullback–Leibler divergence).

Оптимизируемый функционал принимает вид:

$\max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot|x)} \left[ R_{\text{proxy}}(x, y) - \beta \mathbb{KL} [ \pi(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x) ] \right]$

где:

$x$ — запрос пользователя (Prompt);
$y$ — сгенерированный ответ модели;
$\pi_{\text{ref}}$ — исходная базовая модель до выравнивания;
$\beta$ — гиперпараметр, контролирующий силу штрафа за отклонение от базовой модели.

Добавление члена с KL-дивергенцией ограничивает отклонение новой политики от базовой модели и тем самым снижает вероятность появления нежелательного поведения при сохранении полезных свойств исходной модели.

Стратегии снижения рисков (Mitigation)

Индустрия и академическое сообщество разрабатывают комплекс мер для защиты алгоритмов от злонамеренного использования.

Красные команды (Red Teaming): Практика из сферы кибербезопасности, адаптированная для ИИ. Инженеры намеренно пытаются взломать систему (вводят состязательные промпты — Adversarial attacks, применяют джейлбрейки — Jailbreaks), чтобы выявить её способность к деструктивному поведению до официального релиза.
Управление вычислениями (Compute Governance): В экспертной литературе обсуждаются меры по контролю цепочек поставок специализированных вычислительных ускорителей и развитию механизмов международного управления вычислительными ресурсами.
Водяные знаки (Watermarking): Внедрение скрытых статистических паттернов в генерируемые тексты или изображения. Например, вероятностный метод водяных знаков, предложенный Kirchenbauer et al. (2023), позволяет с высокой статистической достоверностью оценить вероятность того, что текст был сгенерирован моделью.
Открытые и закрытые модели: В индустрии ведётся жесткая дискуссия о форматах распространения. Представители создателей закрытых моделей подчеркивают риски неконтролируемого распространения передовых алгоритмов, тогда как сторонники открытого программного обеспечения указывают на преимущества прозрачности, независимого аудита и ускорения научных исследований.

Этические и правовые рамки

Двойственная природа ИИ вынуждает государства создавать беспрецедентные регуляторные акты. Важнейшим шагом стал Европейский закон об ИИ (EU AI Act), который вводит риск-ориентированный подход. Системы, представляющие наивысшую угрозу (например, отдельные виды использования систем социального рейтинга и некоторые практики удалённой биометрической идентификации в режиме реального времени), относятся к категории неприемлемого риска и запрещены Регламентом. Системы высокого риска (High-risk AI), применяемые в критической инфраструктуре, требуют жесткой сертификации.

На глобальном уровне в 2023 году была подписана Декларация Блетчли (Bletchley Declaration), в которой ведущие страны признали, что передовые модели ИИ несут риски двойного использования, включая потенциальные экзистенциальные риски для человечества.

Заключение

Двойственная природа технологий в машинном обучении является фундаментальным свойством универсальных алгоритмов. Высокая универсальность современных моделей затрудняет полное разделение полезных и потенциально опасных сценариев их применения. Решение этой дилеммы требует междисциплинарного подхода: от развития математического аппарата выравнивания и робастности моделей до внедрения прозрачного международного регулирования.

См. также

Литература

Russell S. Human Compatible: Artificial Intelligence and the Problem of Control. — Viking, 2019. — ISBN 978-0525558613
National Research Council Biotechnology Research in an Age of Terrorism. — The National Academies Press, 2004. — ISBN 978-0-309-08977-7
Bostrom N. Superintelligence: Paths, Dangers, Strategies. — Oxford University Press, 2014. — ISBN 978-0199678112
Bommasani R. et al. On the Opportunities and Risks of Foundation Models // Center for Research on Foundation Models (CRFM), Stanford University. — 2021.
Urbina F., Lentzos F., Invernizzi C., Ekins S. Dual use of artificial-intelligence-powered drug discovery // Nature Machine Intelligence. — 2022. — Т. 4. — С. 189–191.
Brundage M. et al. The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation // arXiv preprint arXiv:1802.07228. — 2018.
Ouyang L. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems (NeurIPS). — 2022. — Т. 35. — С. 27730–27744.
Kirchenbauer J. et al. A Watermark for Large Language Models // Proceedings of the 40th International Conference on Machine Learning (ICML). — 2023.

Ссылки

European Parliament The EU Artificial Intelligence Act2024.
UK Government The Bletchley Declaration by Countries Attending the AI Safety Summit2023-11-01.

Источник — «http://recognition.su/wiki/index.php?title=%D0%94%D0%B2%D0%BE%D0%B9%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BF%D1%80%D0%B8%D1%80%D0%BE%D0%B4%D0%B0_%D1%82%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B9»

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Gemini 1.5 Pro''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 19:59, 12 июля 2026 (MSD)}}
+{{well|Статья написана с использованием LLM '''Gemini''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 17:39, 14 июля 2026 (MSD)}}
-'''Двойственная природа технологий''' (англ. ''dual-use technology'' или ''dual nature of technology'') — это концепция философии науки и техники, описывающая способность технологии быть использованной как во благо (для созидания, улучшения качества жизни, экономического роста), так и во вред (для разрушения, контроля, создания оружия).
+'''Двойственная природа технологий''' — концепция, описывающая свойства технологий двойного назначения (англ. ''dual-use technology''), допускающих использование как в гражданских, созидательных и коммерческих целях, так и в военных либо иных вредоносных целях.
-В международном праве и экспортном контроле термин '''технологии двойного назначения''' имеет строгое юридическое определение. Современное юридическое понимание термина закреплено, в частности, в Вассенаарских договоренностях: это товары, программное обеспечение и технологии, которые созданы для гражданских целей, но могут быть применены при создании вооружений.
+Одной из наиболее активно обсуждаемых областей применения концепции в XXI веке является [[Машинное обучение|машинное обучение]] (Machine Learning, ML) и [[Искусственный интеллект|искусственный интеллект]] (Artificial Intelligence, AI). Современные [[Базовая модель (искусственный интеллект)|базовые модели]] (Foundation models) относятся к классу технологий широкого назначения (General Purpose Technologies). Их высокая универсальность приводит к тому, что алгоритм, обученный писать полезный программный код, может использоваться для генерации вредоносного программного обеспечения, а модель, синтезирующая новые лекарства, имеет потенциал для создания биологического оружия.
-Концептуально двойственную природу описывает Первый закон Мелвина Кранцберга: «Технология не бывает ни хорошей, ни плохой; но она также не является нейтральной».
+== История понятия ==
-== Интуитивное понимание и классические примеры ==
+Термин возник задолго до появления современных цифровых технологий и исторически формировался в сфере международного экспортного контроля и глобальной безопасности.
-Идея двойственного назначения сопровождала человечество на всех этапах технологического развития:
+* '''Ядерные технологии:''' Первым ярким примером двойного назначения стало освоение атома, где процессы обогащения урана применимы как для атомных электростанций, так и для создания ядерного оружия.
-* '''Химические и ядерные технологии:''' Расщепление атомного ядра подарило миру АЭС и лучевую терапию, но также привело к созданию ядерного оружия. Производство удобрений (синтез Габера-Боша) спасло миллионы от голода, но те же химические процессы легли в основу создания взрывчатых веществ.
+* '''Химическая и биологическая промышленность:''' Развитие химического синтеза и микробиологии привело к пониманию того, что оборудование для производства вакцин или удобрений может быть быстро перепрофилировано. Базовым документом в этой сфере стал отчет Национальной академии наук США (2004), заложивший основы контроля за исследованиями двойного назначения (Dual Use Research of Concern).
-* '''Криптография:''' Алгоритмы шифрования (например, RSA) обеспечивают безопасность банковских транзакций и приватность переписки. С другой стороны, они же используются террористическими ячейками для скрытой координации и лежат в основе вирусов-вымогателей (ransomware).
+* '''Экспортный контроль:''' В 1996 году было подписано Вассенаарское соглашение (Wassenaar Arrangement), объединившее десятки стран для контроля за экспортом обычных вооружений и высоких технологий.
-* '''Системы позиционирования (GPS):''' Изначально создавались для точного наведения баллистических ракет, но стали основой гражданской навигации, логистики и сельского хозяйства.
-* '''Биотехнологии:''' Инструменты редактирования генома (CRISPR) позволяют лечить наследственные заболевания, но могут использоваться не только в медицинских целях, но и потенциально создавать новые риски биобезопасности.
-== Двойственное назначение в машинном обучении ==
+В международном праве понятие технологий двойного назначения легло в основу национальных режимов экспортного контроля и международных соглашений, регулирующих передачу чувствительных технологий. Начиная с конца XX века концепция была расширена на цифровые технологии (например, криптографию), а в настоящее время её фокус сместился на системы искусственного интеллекта.
-В информационную эпоху масштаб применения технологий изменился. Если для создания центрифуг по обогащению урана требуются огромные промышленные мощности, то программные технологии масштабируются существенно легче. Значительная часть современных технологий [[Искусственный интеллект|ИИ]] обладает выраженной двойственной природой:
-* '''Компьютерное зрение (Computer Vision):''' алгоритмы анализа медицинских снимков помогают находить опухоли на ранних стадиях. Эти же архитектуры могут применяться для создания систем массового биометрического наблюдения и негласной слежки.
-* '''Генеративные модели и LLM:''' большие языковые модели помогают программистам писать код и структурировать данные. Однако они же позволяют автоматизировать создание фишинговых писем, генерировать промышленный объем дезинформации и писать вредоносный код.
-* '''Обучение с подкреплением (Reinforcement Learning):''' методы, обучающие роботов-курьеров и дроны-доставщики плавно перемещаться в пространстве, могут использоваться при разработке программного обеспечения для систем автономного летального оружия (LAWS).
-== Философские проблемы и дилеммы ==
+== Основные векторы двойного использования в машинном обучении ==
-Двойственная природа создает серьезные вызовы, которые изучает [[Этика искусственного интеллекта]].
-=== Дилемма Коллингриджа ===
+Риски двойного назначения в ИИ масштабируются за счёт доступности вычислительных мощностей и открытости алгоритмов. Выделяют несколько ключевых областей, где созидательный потенциал неотделим от деструктивного.
-[[Дилемма Коллингриджа]] описывает фундаментальную проблему управления технологическим развитием:
-# '''Информационная проблема:''' на ранних стадиях развития технологии ее деструктивные социальные последствия практически невозможно предсказать.
-# '''Проблема власти (контроля):''' когда нежелательные последствия становятся очевидными, технология уже глубоко укоренена в экономике, и изменить вектор ее развития крайне сложно.
-=== Конфликт Open Source и безопасности ===
+=== Информационная безопасность и кибероружие ===
-В сообществе разработчиков идет острая дискуссия о публикации весов мощных моделей ИИ. Сторонники открытого кода утверждают, что это демократизирует науку. Противники указывают на двойственную природу: открытые веса, по мнению критиков, повышают риск использования алгоритмов злоумышленниками для организации кибератак или генерации запрещенного контента, так как из открытых моделей можно удалить встроенные фильтры безопасности (guardrails).
+Современные большие языковые модели обучены на огромных массивах программного кода и технической документации.
+* '''Созидательное применение:''' Автоматический поиск уязвимостей (Vulnerability scanning), генерация патчей безопасности, помощь разработчикам (Copilots), интеллектуальное выявление фишинга.
+* '''Деструктивное применение:''' Автоматизация написания полиморфного вредоносного кода (Malware), генерация высококонтекстных и персонализированных фишинговых рассылок (Spear-phishing) в промышленных масштабах, социальная инженерия с использованием интеллектуальных агентов.
-== Управление рисками (AI Governance) ==
+=== Синтетическая биология и химия ===
-Для снижения рисков двойного использования индустрия и государства разрабатывают специализированные механизмы:
+Один из самых опасных примеров двойного использования лежит на стыке машинного обучения и фармакологии. Развитие моделей предсказания пространственной структуры белков (например, [[AlphaFold]]) значительно расширило возможности вычислительной биологии.
-* '''Ответственный ИИ (Responsible AI):''' Внедрение базовых принципов безопасной разработки и этического аудита алгоритмов на этапе проектирования.
-* '''Модельные карты (Model Cards):''' Стандарт документации для ML-моделей, в котором разработчики обязаны явно прописывать известные ограничения алгоритма и примеры недопустимого (out-of-scope) использования.
+В 2022 году исследователи из Collaborations Pharmaceuticals опубликовали статью (Urbina et al.), в которой показали, как ИИ-модель MegaSyn, изначально созданная для поиска новых терапевтических молекул с низкой токсичностью, была перепрофилирована. Исследователи модифицировали функцию оптимизации, заменив критерий минимизации токсичности на её максимизацию. Менее чем за 6 часов работы на стандартном компьютере модель сгенерировала 40 000 потенциально смертельных молекул, включая молекулы, структурно сходные с известными высокотоксичными нервно-паралитическими веществами, в том числе VX.
-* '''Фреймворки оценки рисков:''' Разработка стандартизированных методологий измерения и минимизации угроз, таких как NIST AI Risk Management Framework.
-* '''Экспортный контроль и регулирование:''' Включение передовых вычислительных чипов и специфических алгоритмов в списки экспортного контроля, а также разработка комплексного законодательства (например, AI Act в Европейском Союзе), классифицирующего ИИ-системы по уровню риска.
+=== Генерация медиаконтента (Deepfakes) ===
+Технологии синтеза изображений, видео и голоса развиваются на базе [[Диффузионная модель|диффузионных моделей]] (Diffusion models) и [[Генеративно-состязательная нейросеть|генеративно-состязательных сетей]] (GAN).
+* '''Созидательное применение:''' Кинематограф, создание образовательного контента, синтез обучающих данных (Synthetic data) для систем автономного вождения, восстановление речи для людей с инвалидностью.
+* '''Деструктивное применение:''' Генерация [[Дипфейк|дипфейков]] (Deepfakes) для политической дезинформации, финансового шантажа и обхода систем биометрической аутентификации.
+== Математическая формализация проблемы двойного назначения ==
+Проблема двойного использования тесно связана с фундаментальной нерешённой проблемой ИИ — '''[[Проблема выравнивания ИИ|проблемой выравнивания]]''' (Alignment problem). Алгоритм не имеет встроенной человеческой морали; он лишь максимизирует заданное математическое ожидание вознаграждения.
+В парадигме [[Обучение с подкреплением|обучения с подкреплением]] (Reinforcement Learning) агент действует согласно стратегии (Policy) <tex>\pi_{\theta}</tex>, параметризованной весами <tex>\theta</tex>. Идеальная цель создателя модели описывается истинной функцией вознаграждения <tex>R_{\text{true}}</tex>. Однако на практике оптимизируется суррогатная, прокси-функция <tex>R_{\text{proxy}}</tex>.
+Формально модель решает задачу максимизации математического ожидания на траекториях <tex>\tau</tex>:
+<tex>\max_{\theta} \mathbb{E}_{\tau \sim \pi_{\theta}} [R_{\text{proxy}}(\tau)]</tex>
+Разрыв между истинной и прокси-функциями может приводить к явлению [[Взлом вознаграждения|взлома вознаграждения]] (reward hacking), при котором агент находит способы максимизировать прокси-награду, не достигая исходной цели (или достигая её деструктивным путём).
+=== Регуляризация через KL-дивергенцию (RLHF) ===
+Чтобы снизить риск того, что базовая модель выдаст вредоносный ответ, на этапе тонкой настройки применяется метод [[Обучение с подкреплением на основе отзывов людей]] (RLHF). Для удержания ответов модели в безопасных рамках в функцию потерь вводится штраф на основе [[Расстояние Кульбака — Лейблера|KL-дивергенции]] (Kullback–Leibler divergence).
+Оптимизируемый функционал принимает вид:
+<tex>\max_{\pi} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi(\cdot|x)} \left[ R_{\text{proxy}}(x, y) - \beta \mathbb{KL} [ \pi(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x) ] \right]</tex>
+где:
+* <tex>x</tex> — запрос пользователя (Prompt);
+* <tex>y</tex> — сгенерированный ответ модели;
+* <tex>\pi_{\text{ref}}</tex> — исходная базовая модель до выравнивания;
+* <tex>\beta</tex> — гиперпараметр, контролирующий силу штрафа за отклонение от базовой модели.
+Добавление члена с KL-дивергенцией ограничивает отклонение новой политики от базовой модели и тем самым снижает вероятность появления нежелательного поведения при сохранении полезных свойств исходной модели.
+== Стратегии снижения рисков (Mitigation) ==
+Индустрия и академическое сообщество разрабатывают комплекс мер для защиты алгоритмов от злонамеренного использования.
+* '''Красные команды (Red Teaming):''' Практика из сферы кибербезопасности, адаптированная для ИИ. Инженеры намеренно пытаются взломать систему (вводят состязательные промпты — Adversarial attacks, применяют джейлбрейки — Jailbreaks), чтобы выявить её способность к деструктивному поведению до официального релиза.
+* '''Управление вычислениями (Compute Governance):''' В экспертной литературе обсуждаются меры по контролю цепочек поставок специализированных вычислительных ускорителей и развитию механизмов международного управления вычислительными ресурсами.
+* '''Водяные знаки (Watermarking):''' Внедрение скрытых статистических паттернов в генерируемые тексты или изображения. Например, вероятностный метод водяных знаков, предложенный Kirchenbauer et al. (2023), позволяет с высокой статистической достоверностью оценить вероятность того, что текст был сгенерирован моделью.
+* '''Открытые и закрытые модели:''' В индустрии ведётся жесткая дискуссия о форматах распространения. Представители создателей закрытых моделей подчеркивают риски неконтролируемого распространения передовых алгоритмов, тогда как сторонники открытого программного обеспечения указывают на преимущества прозрачности, независимого аудита и ускорения научных исследований.
+== Этические и правовые рамки ==
+Двойственная природа ИИ вынуждает государства создавать беспрецедентные регуляторные акты. Важнейшим шагом стал Европейский закон об ИИ (EU AI Act), который вводит риск-ориентированный подход. Системы, представляющие наивысшую угрозу (например, отдельные виды использования систем социального рейтинга и некоторые практики удалённой биометрической идентификации в режиме реального времени), относятся к категории неприемлемого риска и запрещены Регламентом. Системы высокого риска (High-risk AI), применяемые в критической инфраструктуре, требуют жесткой сертификации.
+На глобальном уровне в 2023 году была подписана Декларация Блетчли (Bletchley Declaration), в которой ведущие страны признали, что передовые модели ИИ несут риски двойного использования, включая потенциальные экзистенциальные риски для человечества.
+== Заключение ==
+Двойственная природа технологий в машинном обучении является фундаментальным свойством универсальных алгоритмов. Высокая универсальность современных моделей затрудняет полное разделение полезных и потенциально опасных сценариев их применения. Решение этой дилеммы требует междисциплинарного подхода: от развития математического аппарата выравнивания и робастности моделей до внедрения прозрачного международного регулирования.
+== См. также ==
+* [[Безопасность искусственного интеллекта]]
+* [[Проблема выравнивания ИИ]]
+* [[Обучение с подкреплением на основе отзывов людей]]
+* [[Базовая модель (искусственный интеллект)]]
+* [[Искусственный интеллект]]
 == Литература ==
-* {{статья | автор = Kranzberg M. | заглавие = Technology and History: "Kranzberg's Laws" | журнал = Technology and Culture | год = 1986 | том = 27 | номер = 3 | страницы = 544-560 }}
-* {{статья | автор = Brundage M. [и др.] | заглавие = The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation | журнал = arXiv preprint arXiv:1802.07228 | год = 2018 }}
-* {{книга | автор = National Institute of Standards and Technology | заглавие = Artificial Intelligence Risk Management Framework (AI RMF 1.0) | издательство = NIST | год = 2023 | ссылка = https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf }}
-* {{книга | автор = Бостром Н. | заглавие = Искусственный интеллект. Этапы. Угрозы. Стратегии | издательство = Манн, Иванов и Фербер | год = 2016 }}
-* {{книга | автор = Рассел С. | заглавие = Совместимость. Как ИИ сможет контролировать человека | издательство = Альпина нон-фикшн | год = 2021 }}
-[[Категория:Философия искусственного интеллекта]]
+* {{книга|автор=Russell S.|заглавие=Human Compatible: Artificial Intelligence and the Problem of Control|издательство=Viking|год=2019|isbn=978-0525558613}}
-[[Категория:Этика ИИ]]
+* {{книга|автор=National Research Council|заглавие=Biotechnology Research in an Age of Terrorism|издательство=The National Academies Press|год=2004|isbn=978-0-309-08977-7}}
+* {{книга|автор=Bostrom N.|заглавие=Superintelligence: Paths, Dangers, Strategies|издательство=Oxford University Press|год=2014|isbn=978-0199678112}}
+* {{статья|автор=Bommasani R. et al.|заглавие=On the Opportunities and Risks of Foundation Models|издание=Center for Research on Foundation Models (CRFM), Stanford University|год=2021}}
+* {{статья|автор=Urbina F., Lentzos F., Invernizzi C., Ekins S.|заглавие=Dual use of artificial-intelligence-powered drug discovery|издание=Nature Machine Intelligence|год=2022|том=4|страницы=189–191}}
+* {{статья|автор=Brundage M. et al.|заглавие=The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation|издание=arXiv preprint arXiv:1802.07228|год=2018}}
+* {{статья|автор=Ouyang L. et al.|заглавие=Training language models to follow instructions with human feedback|издание=Advances in Neural Information Processing Systems (NeurIPS)|год=2022|том=35|страницы=27730–27744}}
+* {{статья|автор=Kirchenbauer J. et al.|заглавие=A Watermark for Large Language Models|издание=Proceedings of the 40th International Conference on Machine Learning (ICML)|год=2023}}
+== Ссылки ==
+* {{cite web |url=https://artificialintelligenceact.eu/ |title=The EU Artificial Intelligence Act |author=European Parliament |date=2024 |accessdate=2026-07-14}}
+* {{cite web |url=https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration |title=The Bletchley Declaration by Countries Attending the AI Safety Summit |author=UK Government |date=2023-11-01 |accessdate=2026-07-14}}