Q-обучение

Материал из MachineLearning.

Версия от 23:05, 7 июля 2026; Arina Pakalova (Обсуждение | вклад)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск
Статья написана с использованием LLM и проверена участником Arina Pakalova 10:54, 26 июня 2026 (MSD)


Содержание

Нейробиология и Q-значения

Формально алгоритм Q-обучения оперирует функцией ценности действия Q(s, a), определяющей ожидаемую совокупную награду при совершении действия a в состоянии s. С точки зрения вычислительной нейробиологии, нейробиологическим субстратом матрицы Q является дорсальный стриатум (хвостатое ядро и скорлупа) [1]. Средние шипиковые нейроны (MSNs) стриатума получают кортикостриарные входы, кодирующие сенсомоторное состояние s, и дофаминергические входы от вентральной области покрышки (VTA) и субстанции нигра (SNc). Спайкинг-активность специфических популяций MSNs пропорциональна величине Q(s, a) для конкретного моторного акта a. Данный механизм формирует конкуренцию между прямым (дофамин-чувствительным D1-рецепторным) и непрямым (D2-рецепторным) путями базальных ганглиев, что математически обеспечивает выбор поведенческого паттерна с максимальной ожидаемой полезностью [2].

Ошибка предсказания награды и дофамин

Обновление Q-значений управляется сигналом ошибки предсказания награды (Reward Prediction Error, RPE), обозначаемым как \delta. В дискретном времени уравнение Беллмана для \delta имеет вид: \delta = r + \gamma \max_{a'} Q(s', a') - Q(s, a), где r — первичная подкрепляющая стимуляция, \gamma \in [0, 1) — фактор дисконтирования (отражающий временное обесценивание будущей награды), s' — последующее состояние. Данный математический конструкт изоморфен фазическим ответам дофаминовых нейронов, зафиксированным в классических электрофизиологических экспериментах Вольфрама Шульца [3]. Активность дофамина строго соответствует скалярной величине \delta: деполяризация (всплеск частоты спайков) наблюдается при \delta > 0 (непредсказанная награда), отсутствие фазической реакции при \delta = 0 (полностью предсказанная награда) и угнетение активности (дип) при \delta < 0 (отсутствие ожидаемой награды). Таким образом, дофамин выступает в роли глобального нейромодулятора, транслирующего ошибку предсказания \delta к стриатарным синапсам для индукции пластичности.

Алгоритм обновления и стохастический выбор

Процесс обучения представляет собой итеративную модификацию синаптических весов (Q-значений) в зависимости от кортико-стриарной долговременной потенциации (LTP) и депрессии (LTD), индуцированных сигналом \delta. Уравнение обновления весов: Q(s, a) \leftarrow Q(s, a) + \alpha \delta, где \alpha \in (0, 1] — скорость обучения, биологически детерминированная кинетикой NMDA-рецепторов и внутриклеточных каскадов.

Для моделирования стохастичности биологического выбора вместо \epsilon-жадной стратегии применяется распределение Гиббса (политика Больцмана), учитывающее термодинамический шум в нейронных сетях. Вероятность выбора действия a в состоянии s определяется как: P(a|s) = \frac{\exp(Q(s,a) / \tau)}{\sum_{a' \in A} \exp(Q(s,a') / \tau)}, где \tau > 0 — параметр температуры, отражающий уровень тонической дофаминергической активности и шума в моторных контурах.

Псевдокод биологически правдоподобного цикла Q-обучения: 

   Инициализация Q(s, a) = 0 для всех состояний s и действий a
   ДЛЯ каждого эпизода:
       Инициализация начального состояния s
       ПОКА s не является терминальным:
           // Фаза выбора действия (Actor)
           ВЫЧИСЛИТЬ вероятности P(a|s) для всех a через Больцмановское распределение
           ВЫБРАТЬ действие a стохастически согласно P(a|s)
           // Фаза взаимодействия со средой
           ВЫПОЛНИТЬ a, получить награду r, наблюдать новое состояние s'
           // Фаза вычисления сигнала подкрепления (Critic)
           ВЫЧИСЛИТЬ delta = r + gamma * max_a'(Q(s', a')) - Q(s, a)
           // Фаза синаптической пластичности
           ОБНОВИТЬ Q(s, a) = Q(s, a) + alpha * delta
           s = s'
       КОНЕЦ ПОКА
   КОНЕЦ ДЛЯ


Вычислительные ограничения и архитектура Actor-Critic

Базовое табличное Q-обучение обладает фундаментальными ограничениями при моделировании реального сложного поведения. Во-первых, оно требует дискретизации пространства состояний и действий, что противоречит непрерывной природе сенсомоторного континуума и асинхронности прихода стимулов (проблема проклятия размерности). Во-вторых, оператор максимизации \max_{a'} Q(s', a') жестко привязывает обновление к детерминированной политике будущего, что снижает эффективность обучения в стохастических средах.

В нервной системе данная вычислительная проблема разрешается посредством декомпозиции на архитектуры типа Actor-Critic [4]. В этой парадигме функция ценности состояния V(s) (Critic) выделяется анатомически в вентральном стриатуме и орбитофронтальной коре, тогда как функция выбора действия (Actor) локализуется в дорсальном стриатуме. Дофаминергический сигнал \delta вычисляется Critic-ом относительно состояний: \delta = r + \gamma V(s') - V(s), и одновременно используется для обновления весов как Critic-а, так и Actor-а. Такая декомпозиция позволяет нервной системе обрабатывать непрерывные временные ряды через методы временных различий (TD-learning) с функциональной аппроксимацией (например, с использованием элигибилити-трейсов — следов памяти), обеспечивая асинхронное кредитование награды (credit assignment) для длинных последовательностей иерархических поведенческих актов [5].

Литература

  1. Samejima K., Ueda Y., Doya K., Kimura M. Representation of action-specific reward values in the striatum // The Journal of Neuroscience. — 2005. — Vol. 25(17). — P. 4342-4348.
  2. Frank M. J. Dynamic dopamine modulation in the basal ganglia: a neurocomputational account of cognitive deficits in medicated and nonmedicated Parkinsonism // Journal of Cognitive Neuroscience. — 2005. — Vol. 17(1). — P. 51-72.
  3. Schultz W., Dayan P., Montague P. R. A neural substrate of prediction and reward // Science. — 1997. — Vol. 275(5306). — P. 1593-1599.
  4. Barto A. G. Adaptive critics and the basal ganglia // Models of information processing in the basal ganglia. — MIT Press, 1995. — P. 215-232.
  5. Sutton R. S., Barto A. G. Reinforcement learning: An introduction. — MIT press, 2018.
Источник — «http://recognition.su/wiki/index.php?title=Q-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5»