Управляемый рекуррентный блок

Материал из MachineLearning.

Статья написана с использованием LLM Claude Sonnet 5 и проверена участником Daria Makeeva 03:04, 17 июля 2026 (MSD)

Содержание 1 Зачем рекуррентной сети нужны вентили 2 Формальное описание 2.1 Вентиль обновления 2.2 Вентиль сброса 2.3 Кандидат на новое состояние и итоговое обновление 3 Сравнение с LSTM 4 Ограничения архитектуры 5 История 6 Практическое применение и современный статус 7 См. также 8 Примечания 9 Литература

Управляемый рекуррентный блок (англ. Gated Recurrent Unit, GRU) — тип вентильной архитектуры для рекуррентных нейронных сетей (recurrent neural network, RNN), в котором доступ к скрытому состоянию сети на каждом временном шаге регулируется двумя обучаемыми вентилями (gates) — вентилем обновления и вентилем сброса. Архитектура была предложена Кёнхёном Чо и соавторами в 2014 году в рамках работы над моделью кодировщик-декодировщик для нейронного машинного перевода и представляет собой упрощённую альтернативу долгой краткосрочной памяти (Long Short-Term Memory, LSTM)^[1].

Зачем рекуррентной сети нужны вентили

Обычный рекуррентный слой обновляет своё скрытое состояние на каждом шаге, полностью пересчитывая его как нелинейную функцию предыдущего состояния и текущего входа: . Такая схема заставляет сеть на каждом шаге «перезаписывать» память практически целиком, и информация, важная для далёкого будущего, легко теряется уже через несколько шагов — это одно из проявлений проблемы затухающего градиента (vanishing gradient problem) в рекуррентных сетях: градиент, распространяемый назад во времени, экспоненциально затухает при прохождении через много шагов, что делает обучение долгосрочных зависимостей крайне трудным^[1].

Управляемый рекуррентный блок решает эту проблему проще, чем LSTM: вместо отдельной ячейки памяти с тремя вентилями GRU использует всего два вентиля, которые явно решают, какую часть предыдущего состояния сохранить без изменений, а какую — заменить новой информацией. Интуитивно вентиль обновления работает как «клапан», регулирующий, сколько прошлой памяти пропустить дальше практически без изменений, а вентиль сброса определяет, какую часть прошлой памяти учитывать при формировании нового кандидата на обновление — это позволяет блоку либо почти не менять состояние на протяжении многих шагов (сохраняя долгосрочную информацию), либо быстро адаптироваться к новому входу, когда это необходимо^[1].

Формальное описание

Пусть — вход в момент времени , а — скрытое состояние с предыдущего шага. Управляемый рекуррентный блок вычисляет новое скрытое состояние через следующую последовательность уравнений.

Вентиль обновления

Вентиль обновления (update gate) определяет, в какой степени скрытое состояние обновляется новой информацией, а в какой — сохраняется без изменений:

где — логистическая сигмоида, ограничивающая значения вентиля в интервале от 0 до 1^[1].

Вентиль сброса

Вентиль сброса (reset gate) определяет, какая часть предыдущего скрытого состояния учитывается при вычислении кандидата на новое состояние:

Когда значение близко к нулю, блок фактически «забывает» предыдущее скрытое состояние при формировании кандидата, что позволяет ему отбрасывать информацию, признанную нерелевантной для текущего входа^[1].

Кандидат на новое состояние и итоговое обновление

Кандидат на новое скрытое состояние вычисляется с учётом вентиля сброса:

где обозначает покомпонентное умножение. Итоговое скрытое состояние получается как линейная интерполяция между предыдущим состоянием и кандидатом, управляемая вентилем обновления:

Такая форма обновления структурно похожа на остаточную связь: при состояние практически совпадает с , что обеспечивает прямой путь для распространения градиента через много временных шагов почти без затухания, аналогично тому, как остаточные связи облегчают распространение градиента в глубоких сетях прямого распространения^[1].

Сравнение с LSTM

Управляемый рекуррентный блок структурно проще LSTM по двум ключевым признакам: во-первых, GRU не имеет отдельного состояния ячейки (cell state), объединяя долговременную и кратковременную память в единое скрытое состояние , тогда как LSTM поддерживает состояние ячейки отдельно от выходного скрытого состояния^[1]; во-вторых, GRU использует только два вентиля вместо трёх (вентиля забывания, входного и выходного вентилей LSTM), что даёт GRU меньшее число обучаемых параметров при той же размерности скрытого состояния^[1].

Структурные различия GRU и LSTM

Признак	GRU	LSTM
Число вентилей	2 (обновления, сброса)	3 (забывания, входной, выходной)
Отдельное состояние ячейки	Отсутствует	Присутствует ()
Число параметров при равной размерности	Меньше	Больше
Скорость обучения на практике	Как правило, выше	Как правило, ниже

Меньшее число вентилей не приводит к существенной потере качества на практике по нескольким причинам: объединение состояния ячейки и скрытого состояния снижает избыточность параметров без принципиального ограничения выразительности блока для большинства задач умеренной сложности, а сохранение механизма мультипликативного «обхода» состояния (аналогичного constant error carousel в LSTM) достаточно для эффективной борьбы с затухающим градиентом^[1]. Юньян Чун, Чаглар Гюльчехре, Кёнхён Чо и Йошуа Бенджио в 2014 году эмпирически сравнили GRU и LSTM на задачах моделирования полифонической музыки и речевых сигналов и обнаружили, что качество GRU сопоставимо с LSTM, а само наличие вентильного механизма (в противовес обычным tanh-блокам) оказывается более важным фактором, чем конкретный выбор между GRU и LSTM^[1]. Рафал Юзефович, Войцех Заремба и Илья Суцкевер в 2015 году провели масштабный автоматический поиск среди более чем десяти тысяч вариантов архитектуры рекуррентного блока и показали, что ни GRU, ни LSTM не являются равномерно оптимальными на всех задачах — найденные ими альтернативные архитектуры превосходили обе на некоторых задачах, но не на всех, а простое добавление смещения, равного единице, к вентилю забывания LSTM заметно сокращало разрыв в качестве между LSTM и GRU^[1].

Ограничения архитектуры

Вентильный механизм GRU ослабляет, но не полностью устраняет затухание градиента на очень длинных последовательностях. Поскольку вентиль обновления вычисляется через логистическую сигмоиду, его значение теоретически никогда не достигает точно единицы (и никогда не достигает точно нуля), а значит, коэффициент , по которому предыдущее состояние передаётся дальше без изменений, всегда строго меньше единицы. При многократном перемножении таких коэффициентов на очень длинных последовательностях сигнал всё же затухает, хотя существенно медленнее, чем в обычном рекуррентном слое без вентилей^[1].

Дальнейшим упрощением архитектуры стал минимальный вентильный блок (Minimal Gated Unit, MGU), предложенный Го-Бином Чжоу, Цзяньсинем Ву, Чэньлинем Чжаном и Чжихуа Чжоу в 2016 году. MGU использует единственный вентиль вместо двух вентилей GRU, объединяя функции вентиля обновления и вентиля сброса; авторы показали, что MGU достигает точности, сопоставимой с GRU, при более простой структуре, меньшем числе параметров и более быстром обучении^[1].

История

Управляемый рекуррентный блок был впервые описан Кёнхёном Чо, Бартом ван Мерриенбуром, Чаглар Гюльчехре, Дмитрием Бахданау, Фетхи Бугаресом, Хольгером Швенком и Йошуа Бенджио в статье, представленной на конференции EMNLP в 2014 году. Архитектура была предложена как рекуррентный блок для кодировщика и декодировщика в модели статистического машинного перевода на основе нейронных сетей, где требовалось эффективно сжимать переменной длины входную последовательность в вектор фиксированной размерности и затем восстанавливать из него выходную последовательность^[1]. Практически сразу после появления GRU был подвергнут систематическому эмпирическому сравнению с LSTM на других задачах моделирования последовательностей, что подтвердило конкурентоспособность более простой архитектуры^[1].

Практическое применение и современный статус

После появления GRU и LSTM широко использовались как основные рекуррентные блоки для задач обработки последовательностей — машинного перевода, распознавания речи, генерации текста и анализа временных рядов — на протяжении второй половины 2010-х годов. На практике GRU часто применяется в двунаправленной форме (bidirectional GRU): два независимых блока обрабатывают входную последовательность в прямом и обратном направлении, а их скрытые состояния объединяются, что позволяет выходу на каждом шаге учитывать контекст как из прошлого, так и из будущего — этот общий принцип был предложен для рекуррентных сетей Шустером и Палиуалом ещё в 1997 году^[1]. Кроме того, в задачах, требующих более выразительных представлений последовательности, распространена практика стекирования (stacking) нескольких слоёв GRU друг над другом, при котором выходная последовательность скрытых состояний одного слоя подаётся на вход следующему слою, что позволяет модели выучивать иерархические представления временной динамики за счёт увеличения глубины сети по числу слоёв, а не только по числу временных шагов.

Ситуация изменилась с появлением архитектуры трансформер (Transformer), основанной на механизме внимания (attention) и полностью отказавшейся от рекуррентных связей в пользу параллельно вычисляемого самовнимания (self-attention), что позволило существенно ускорить обучение на современном параллельном оборудовании и добиться более высокого качества на большинстве задач обработки естественного языка^[1]. Начиная с конца 2010-х годов трансформеры в значительной мере заместили GRU и LSTM в качестве архитектуры по умолчанию для крупномасштабных задач обработки текста, однако управляемый рекуррентный блок продолжает применяться в задачах с ограниченными вычислительными ресурсами, для потоковой обработки последовательностей в реальном времени и в некоторых предметных областях (например, анализ временных рядов, встраиваемые системы), где меньшее число параметров и последовательная, а не полностью параллельная, природа вычислений остаются практически удобными свойствами.

См. также

• Долгая краткосрочная память
• Рекуррентная нейронная сеть
• Проблема затухающего градиента
• Остаточные связи
• Обратное распространение ошибки

Примечания

Литература

• Cho K., van Merrienboer B., Gulcehre C., Bahdanau D., Bougares F., Schwenk H., Bengio Y. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). — 2014. — С. 1724–1734.
• Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural Computation. — 1997. — Т. 9. — № 8. — С. 1735–1780.
• Bengio Y., Simard P., Frasconi P. Learning long-term dependencies with gradient descent is difficult // IEEE Transactions on Neural Networks. — 1994. — Т. 5. — № 2. — С. 157–166.
• Chung J., Gulcehre C., Cho K., Bengio Y. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling // arXiv preprint. — 2014. — № arXiv:1412.3555.
• Jozefowicz R., Zaremba W., Sutskever I. An Empirical Exploration of Recurrent Network Architectures // Proceedings of the 32nd International Conference on Machine Learning (ICML). — 2015. — Т. 37. — С. 2342–2350.
• Zhou G.-B., Wu J., Zhang C.-L., Zhou Z.-H. Minimal Gated Unit for Recurrent Neural Networks // International Journal of Automation and Computing. — 2016. — Т. 13. — № 3. — С. 226–234.
• Schuster M., Paliwal K.K. Bidirectional Recurrent Neural Networks // IEEE Transactions on Signal Processing. — 1997. — Т. 45. — № 11. — С. 2673–2681.
• Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention Is All You Need // Advances in Neural Information Processing Systems (NIPS). — 2017. — Т. 30.