Обсуждение:Двойственная природа технологий

Материал из MachineLearning.

Версия 16:00, 12 июля 2026 (править) Said Mavletov (Обсуждение | вклад) (Новая: '''История создания статьи (итеративный промптинг):''' '''Промпт 1:''' «Ты профессор и философ науки. Напиш...) ← К предыдущему изменению		Текущая версия (13:40, 14 июля 2026) (править) (отменить) Said Mavletov (Обсуждение | вклад)
Строка 1:		Строка 1:
-	'''История создания статьи (итеративный промптинг):'''	+	== Первый промпт ==
-	'''Промпт 1:'''	+	Напиши вики-статью на русском языке "Двойственная природа технологий". Относись к этому термину как к концепции, описывающей свойства технологий двойного назначения (dual-use technology). Первая половина статьи должна быть исторической (расскажи про экспортный контроль, Вассенаарское соглашение, ядерную энергетику и химическую промышленность). Затем сделай логичный переход к тому, что сегодня фокус сместился на Искусственный интеллект и машинное обучение (foundation models).
		+	Подробно разбери кейс MegaSyn в синтетической биологии и опиши проблему выравнивания с математической точки зрения (формула максимизации награды и регуляризация через KL-дивергенцию в RLHF). Расшифруй все переменные.
		+	В конце добавь информацию про методы снижения рисков (Red Teaming, Watermarking, EU AI Act).
		+	Все математические формулы и внутристрочные переменные обязательно оборачивай строго в теги <tex> и </tex>. Не используй знак доллара ($) для математики.
		+	Не выдумывай факты. В конце собери список научной литературы через шаблоны.
-	«Ты профессор и философ науки. Напиши статью "Двойственная природа технологий" (Dual-use technology) для вики-энциклопедии MachineLearning.ru.	+	== Второй промпт ==
-	Начни максимально энциклопедично: дай определение термину, расскажи, как современное юридическое понимание закреплено в экспортном контроле (упомяни Вассенаарские договоренности). Приведи классический закон Мелвина Кранцберга.	+	Хорошо, но требуются точечные академические корректировки. Перепиши текст, исправив следующие моменты:
-		+	1. Сделай определение точнее: "Двойственная природа технологий — концепция, описывающая свойства технологий двойного назначения (англ. dual-use technology), допускающих использование как в гражданских... так и в военных либо иных вредоносных целях."
-	Для новичков разбери примеры вне сферы ИИ: покажи двойственность ядерной энергетики, криптографии (шифрование данных vs вирусы-вымогатели), GPS и биотехнологий (упомяни CRISPR, но очень аккуратно, в контексте потенциальных рисков биобезопасности).»	+	2. В исторической справке добавь предложение: "В международном праве понятие технологий двойного назначения легло в основу национальных режимов экспортного контроля и международных соглашений, регулирующих передачу чувствительных технологий."
-		+	3. Смягчи формулировки. Вместо AlphaFold как конкретной модели напиши "Развитие моделей предсказания пространственной структуры белков (например, AlphaFold)...". Про кейс MegaSyn уточни, что они сгенерировали молекулы, структурно сходные с известными высокотоксичными нервно-паралитическими веществами, в том числе VX.
-	'''Промпт 2:'''	+	4. В описании RLHF напиши академично: "Добавление члена с KL-дивергенцией ограничивает отклонение новой политики от базовой модели и тем самым снижает вероятность появления нежелательного поведения при сохранении полезных свойств исходной модели." Добавь вики-ссылку: [[Взлом вознаграждения|взлом вознаграждения]] (reward hacking).
-		+	5. В разделе Compute Governance используй нейтральную формулировку: "в экспертной литературе обсуждаются меры по контролю цепочек поставок специализированных вычислительных ускорителей...". В разделе Watermarking напиши, что этот метод "позволяет с высокой статистической достоверностью оценить вероятность того, что текст был сгенерирован моделью."
-	«Отлично. Теперь создай раздел про ИИ. Отметь, что программные технологии масштабируются существенно легче физических. Опиши двойственную природу в компьютерном зрении, генеративных сетях и обучении с подкреплением.	+	6. В EU AI Act уточни запреты: "отдельные виды использования систем социального рейтинга и некоторые практики удалённой биометрической идентификации в режиме реального времени".
-	Важно: избегай излишней категоричности. Пиши "значительная часть технологий ИИ", "могут использоваться при разработке боевых дронов".	+	7. Добавь раздел "== См. также ==" с ссылками на Проблему выравнивания ИИ, Базовые модели и Безопасность ИИ. Добавь в литературу статью Bommasani et al. (2021) "On the Opportunities and Risks of Foundation Models".
-		+	Ещё раз проверь, чтобы для математики использовались только теги <tex>.
-	Добавь раздел про философские проблемы: опиши дилемму Коллингриджа. Упомяни дискуссию об Open Source ИИ-моделях, отметив, что открытые веса, "по мнению критиков, повышают риск использования" в злонамеренных целях.»	+
-		+
-	'''Промпт 3:'''	+
-		+
-	«В завершение добавь раздел про механизмы управления рисками (AI Governance). Выстрой логическую структуру: сначала общие принципы Responsible AI, затем модельные карты (Model Cards), затем фреймворки вроде NIST AI RMF, и в конце — жесткое регулирование (экспортный контроль и AI Act).	+
-		+
-	Оформи весь текст в строгую вики-разметку. Сделай внутренние ссылки на [[Искусственный интеллект]], [[Этика искусственного интеллекта]], [[Дилемма Коллингриджа]]. Англоязычные термины оставь в скобках.	+
-		+
-	Список литературы оформи как ненумерованный список (через *). Обязательно используй шаблоны {{статья}} и {{книга}}. Приведи статью Кранцберга, обзор Brundage et al. "Malicious Use of AI" и книги Бострома и Рассела. Документ NIST AI RMF оформи через шаблон {{книга}}. Добавь категории.»	+

---

Текущая версия

Первый промпт

Напиши вики-статью на русском языке "Двойственная природа технологий". Относись к этому термину как к концепции, описывающей свойства технологий двойного назначения (dual-use technology). Первая половина статьи должна быть исторической (расскажи про экспортный контроль, Вассенаарское соглашение, ядерную энергетику и химическую промышленность). Затем сделай логичный переход к тому, что сегодня фокус сместился на Искусственный интеллект и машинное обучение (foundation models). Подробно разбери кейс MegaSyn в синтетической биологии и опиши проблему выравнивания с математической точки зрения (формула максимизации награды и регуляризация через KL-дивергенцию в RLHF). Расшифруй все переменные. В конце добавь информацию про методы снижения рисков (Red Teaming, Watermarking, EU AI Act). Все математические формулы и внутристрочные переменные обязательно оборачивай строго в теги . Не используй знак доллара ($) для математики. Не выдумывай факты. В конце собери список научной литературы через шаблоны.

Второй промпт

Хорошо, но требуются точечные академические корректировки. Перепиши текст, исправив следующие моменты: 1. Сделай определение точнее: "Двойственная природа технологий — концепция, описывающая свойства технологий двойного назначения (англ. dual-use technology), допускающих использование как в гражданских... так и в военных либо иных вредоносных целях." 2. В исторической справке добавь предложение: "В международном праве понятие технологий двойного назначения легло в основу национальных режимов экспортного контроля и международных соглашений, регулирующих передачу чувствительных технологий." 3. Смягчи формулировки. Вместо AlphaFold как конкретной модели напиши "Развитие моделей предсказания пространственной структуры белков (например, AlphaFold)...". Про кейс MegaSyn уточни, что они сгенерировали молекулы, структурно сходные с известными высокотоксичными нервно-паралитическими веществами, в том числе VX. 4. В описании RLHF напиши академично: "Добавление члена с KL-дивергенцией ограничивает отклонение новой политики от базовой модели и тем самым снижает вероятность появления нежелательного поведения при сохранении полезных свойств исходной модели." Добавь вики-ссылку: взлом вознаграждения (reward hacking). 5. В разделе Compute Governance используй нейтральную формулировку: "в экспертной литературе обсуждаются меры по контролю цепочек поставок специализированных вычислительных ускорителей...". В разделе Watermarking напиши, что этот метод "позволяет с высокой статистической достоверностью оценить вероятность того, что текст был сгенерирован моделью." 6. В EU AI Act уточни запреты: "отдельные виды использования систем социального рейтинга и некоторые практики удалённой биометрической идентификации в режиме реального времени". 7. Добавь раздел "== См. также ==" с ссылками на Проблему выравнивания ИИ, Базовые модели и Безопасность ИИ. Добавь в литературу статью Bommasani et al. (2021) "On the Opportunities and Risks of Foundation Models". Ещё раз проверь, чтобы для математики использовались только теги