Q-обучение

Материал из MachineLearning.

Текущая версия

Статья написана с использованием LLM и проверена участником Arina Pakalova 10:54, 26 июня 2026 (MSD)

Нейробиология и Q-значения

Формально алгоритм Q-обучения оперирует функцией ценности действия , определяющей ожидаемую совокупную награду при совершении действия в состоянии . С точки зрения вычислительной нейробиологии, нейробиологическим субстратом матрицы является дорсальный стриатум (хвостатое ядро и скорлупа) [1]. Средние шипиковые нейроны (MSNs) стриатума получают кортикостриарные входы, кодирующие сенсомоторное состояние , и дофаминергические входы от вентральной области покрышки (VTA) и субстанции нигра (SNc). Спайкинг-активность специфических популяций MSNs пропорциональна величине для конкретного моторного акта . Данный механизм формирует конкуренцию между прямым (дофамин-чувствительным D1-рецепторным) и непрямым (D2-рецепторным) путями базальных ганглиев, что математически обеспечивает выбор поведенческого паттерна с максимальной ожидаемой полезностью [2].

Ошибка предсказания награды и дофамин

Обновление Q-значений управляется сигналом ошибки предсказания награды (Reward Prediction Error, RPE), обозначаемым как . В дискретном времени уравнение Беллмана для имеет вид: , где — первичная подкрепляющая стимуляция, — фактор дисконтирования (отражающий временное обесценивание будущей награды), — последующее состояние. Данный математический конструкт изоморфен фазическим ответам дофаминовых нейронов, зафиксированным в классических электрофизиологических экспериментах Вольфрама Шульца [3]. Активность дофамина строго соответствует скалярной величине : деполяризация (всплеск частоты спайков) наблюдается при (непредсказанная награда), отсутствие фазической реакции при (полностью предсказанная награда) и угнетение активности (дип) при (отсутствие ожидаемой награды). Таким образом, дофамин выступает в роли глобального нейромодулятора, транслирующего ошибку предсказания к стриатарным синапсам для индукции пластичности.

Алгоритм обновления и стохастический выбор

Процесс обучения представляет собой итеративную модификацию синаптических весов (Q-значений) в зависимости от кортико-стриарной долговременной потенциации (LTP) и депрессии (LTD), индуцированных сигналом . Уравнение обновления весов: , где — скорость обучения, биологически детерминированная кинетикой NMDA-рецепторов и внутриклеточных каскадов.

Для моделирования стохастичности биологического выбора вместо -жадной стратегии применяется распределение Гиббса (политика Больцмана), учитывающее термодинамический шум в нейронных сетях. Вероятность выбора действия в состоянии определяется как: , где — параметр температуры, отражающий уровень тонической дофаминергической активности и шума в моторных контурах.

Псевдокод биологически правдоподобного цикла Q-обучения:

   Инициализация Q(s, a) = 0 для всех состояний s и действий a
   ДЛЯ каждого эпизода:
       Инициализация начального состояния s
       ПОКА s не является терминальным:
           // Фаза выбора действия (Actor)
           ВЫЧИСЛИТЬ вероятности P(a|s) для всех a через Больцмановское распределение
           ВЫБРАТЬ действие a стохастически согласно P(a|s)
           // Фаза взаимодействия со средой
           ВЫПОЛНИТЬ a, получить награду r, наблюдать новое состояние s'
           // Фаза вычисления сигнала подкрепления (Critic)
           ВЫЧИСЛИТЬ delta = r + gamma * max_a'(Q(s', a')) - Q(s, a)
           // Фаза синаптической пластичности
           ОБНОВИТЬ Q(s, a) = Q(s, a) + alpha * delta
           s = s'
       КОНЕЦ ПОКА
   КОНЕЦ ДЛЯ

Вычислительные ограничения и архитектура Actor-Critic

Базовое табличное Q-обучение обладает фундаментальными ограничениями при моделировании реального сложного поведения. Во-первых, оно требует дискретизации пространства состояний и действий, что противоречит непрерывной природе сенсомоторного континуума и асинхронности прихода стимулов (проблема проклятия размерности). Во-вторых, оператор максимизации жестко привязывает обновление к детерминированной политике будущего, что снижает эффективность обучения в стохастических средах.

В нервной системе данная вычислительная проблема разрешается посредством декомпозиции на архитектуры типа Actor-Critic [4]. В этой парадигме функция ценности состояния (Critic) выделяется анатомически в вентральном стриатуме и орбитофронтальной коре, тогда как функция выбора действия (Actor) локализуется в дорсальном стриатуме. Дофаминергический сигнал вычисляется Critic-ом относительно состояний: , и одновременно используется для обновления весов как Critic-а, так и Actor-а. Такая декомпозиция позволяет нервной системе обрабатывать непрерывные временные ряды через методы временных различий (TD-learning) с функциональной аппроксимацией (например, с использованием элигибилити-трейсов — следов памяти), обеспечивая асинхронное кредитование награды (credit assignment) для длинных последовательностей иерархических поведенческих актов [5].

Литература

1. Samejima K., Ueda Y., Doya K., Kimura M. Representation of action-specific reward values in the striatum // The Journal of Neuroscience. — 2005. — Vol. 25(17). — P. 4342-4348.
2. Frank M. J. Dynamic dopamine modulation in the basal ganglia: a neurocomputational account of cognitive deficits in medicated and nonmedicated Parkinsonism // Journal of Cognitive Neuroscience. — 2005. — Vol. 17(1). — P. 51-72.
3. Schultz W., Dayan P., Montague P. R. A neural substrate of prediction and reward // Science. — 1997. — Vol. 275(5306). — P. 1593-1599.
4. Barto A. G. Adaptive critics and the basal ganglia // Models of information processing in the basal ganglia. — MIT Press, 1995. — P. 215-232.
5. Sutton R. S., Barto A. G. Reinforcement learning: An introduction. — MIT press, 2018.