Обсуждение:Проблема взрыва градиентов
Материал из MachineLearning.
Первый промпт
Напиши вики-статью на русском языке "Проблема взрыва градиентов". Ты специалист в области машинного обучения, профессор в ведущем техническом университете и популяризатор науки. Целевая аудитория - это студенты и инженеры в области анализа данных и машинного обучения, в том числе начинающие. Статья должна быть информативна и полезна именно им для совершенствования в своей профессии. Статья должна быть полезна как новичку (понятно даются определения, популярно объясняются идеи), так и профессионалу (есть полезные ссылки, приводятся актуальные научные результаты). Для вики-энциклопедии по машинному обучению важна связность. Поэтому термины из области машинного обучения и искусственного интеллекта, названия методов должны быть оформлены как внутренние ссылки, желательно с англоязычным термином в скобках, например Обратное распространение ошибки (Backpropagation). Не выдумывай факты. Ищи надёжные источники в научной литературе. Добавляй ссылки на них в текст статьи. В конце собери список научной литературы. Всегда проверяй корректность ссылок. Используй формулы на языке LaTeX, оборачивая их в теги tex и /tex вместо <math>. Используй шаблон well|... в начале статьи.
Второй промпт
Хорошо, но требуются дополнения. Допиши вики-статью на русском языке про "Проблему взрыва градиентов". Добавь подробный математический анализ проблемы для глубоких сетей и RNN с выводом формулы произведения Якобианов и объяснением роли спектрального радиуса весовых матриц. Добавь раздел о методах обнаружения проблемы в процессе обучения (поведение лосса, NaN, нормы градиентов). Четче раздели методы борьбы со взрывом градиентов на архитектурные (остаточные связи, LSTM/GRU), инициализационные (Xavier, He) и процедурные (клиппинг градиента, нормализация батчей). Приведи точные формулы для Gradient Clipping (по значению и по норме). Не выдумывай факты, ссылайся только на известные научные публикации. Оформи список литературы через шаблоны {{{заглавие}}}. в виде ненумерованного списка через звездочку (*).
