Рациональный агент

Материал из MachineLearning.

(Различия между версиями)

Arsenii Kolesnikov (Обсуждение | вклад)
(Новая: {{well|Статья написана с использованием LLM '''GPT-5.5''' и проверена участником [[Участник:Arsenii Kolesnikov|Arsenii Kolesnikov...)
К следующему изменению →

Версия 08:57, 16 июля 2026

Статья написана с использованием LLM GPT-5.5 и проверена участником Arsenii Kolesnikov 10:53, 16 июля 2026 (MSD)

}

Рациональный агент — модель искусственного интеллекта, в которой система выбирает действия на основании доступных наблюдений, целей и критерия качества поведения. В классической формулировке агент называется рациональным, если для каждой истории восприятия он выбирает действие, максимизирующее ожидаемую меру успеха при заданных знаниях о среде^[1].

Понятие рационального агента служит общим языком для описания экспертных систем, планирующих систем, обучения с подкреплением, автономных роботов и современных LLM-агентов. В отличие от бытового смысла слова «рациональность», в ИИ это не свойство сознания и не этическая характеристика, а формальное отношение между целями, информацией, вычислительными ограничениями и выбранным действием.

Формальная модель

Агент взаимодействует со средой дискретными шагами времени. На шаге $t$ он получает наблюдение $o_t$ , выбирает действие $a_t$ , после чего среда изменяет состояние и выдаёт новое наблюдение. История восприятия и действий может быть записана как

$h_t = (o_1,a_1,o_2,a_2,\ldots,o_t).$

Политика агента задаёт правило выбора действий:

$\pi(a \mid h_t) = \operatorname{P}(a_t=a \mid h_t).$

Если среда полностью наблюдаема, состояние $s_t$ известно агенту, и политика может зависеть только от состояния: $\pi(a \mid s_t)$ . Если среда частично наблюдаема, агент должен учитывать историю наблюдений или строить внутреннее состояние, например распределение убеждений $b_t(s)=\operatorname{P}(s_t=s\mid h_t)$ .

Критерий качества обычно задаётся функцией полезности или функцией награды. Рациональное действие при известной вероятностной модели среды выбирается по правилу максимизации ожидаемой полезности:

$a^*(h_t)=\arg\max_{a\in A}\operatorname{E}\left[U \mid h_t,a\right].$

Здесь $A$ — множество допустимых действий, $U$ — полезность будущей траектории, математическое ожидание берётся по неопределённым состояниям среды, результатам действий и будущим наблюдениям.

Виды рациональности

Идеальная рациональность

Идеально рациональный агент всегда выбирает оптимальное действие относительно заданной модели мира и критерия качества. Эта модель полезна как нормативный ориентир, но редко реализуема: реальные задачи имеют неполную информацию, шумные наблюдения, огромные пространства состояний и ограниченное время вычислений.

Вычислительная рациональность

Вычислительная рациональность учитывает стоимость вывода. Агент должен не только знать, какое действие оптимально, но и уметь найти его за доступное время. В задачах планирования и поиска это приводит к использованию эвристического поиска, аппроксимаций, усечённых горизонтов и жадных стратегий.

Ограниченная рациональность

Ограниченная рациональность описывает агента, который действует достаточно хорошо при ограничениях памяти, времени, данных и когнитивной модели среды^[1]. Вместо точной максимизации он может использовать satisficing: выбирать первое действие, удовлетворяющее заданному порогу качества.

Связь с MDP и POMDP

В марковском процессе принятия решений задача агента задаётся множеством состояний $S$ , действий $A$ , вероятностями переходов $P(s' \mid s,a)$ , функцией награды $R(s,a)$ и коэффициентом дисконтирования $\gamma$ . Цель состоит в нахождении политики, максимизирующей ожидаемую дисконтированную сумму наград:

$J(\pi)=\operatorname{E}_{\pi}\left[\sum_{t=0}^{\infty}\gamma^t R(s_t,a_t)\right].$

Если состояние наблюдается не полностью, используется частично наблюдаемый MDP. В этом случае агент действует не по истинному состоянию, а по распределению убеждений. Такие модели естественно описывают диагностику, диалоговые системы, автономную навигацию и задачи, где сенсоры дают неполную информацию.

Связь с обучением с подкреплением

В обучении с подкреплением модель переходов и наград часто неизвестна. Агент должен одновременно исследовать среду и улучшать политику. Поэтому рациональность здесь включает компромисс exploration-exploitation: иногда рационально выбрать действие с меньшей текущей ожидаемой наградой, если оно даёт информацию, повышающую будущую полезность.

В методах Q-обучения агент оценивает функцию действия:

$Q^{\pi}(s,a)=\operatorname{E}_{\pi}\left[\sum_{k=0}^{\infty}\gamma^k R(s_{t+k},a_{t+k})\mid s_t=s,a_t=a\right].$

Оптимальная политика выбирает действия с максимальным значением $Q^*(s,a)$ , однако в практических задачах значения аппроксимируются, а оптимальность заменяется эмпирической эффективностью.

Ограничения модели

Задание функции полезности может быть труднее, чем обучение политики. Неполная спецификация цели приводит к нежелательному поведению.
Максимизация ожидаемой полезности не описывает все формы человеческого рассуждения: люди используют эвристики, социальные нормы и контекстные ограничения.
В многоагентных средах рациональность одного агента зависит от ожиданий относительно других агентов и может требовать аппарата теории игр.
Рациональность относительно формальной цели не гарантирует безопасности, этичности или интерпретируемости поведения.

См. также

Литература

Источник — «http://recognition.su/wiki/index.php?title=%D0%A0%D0%B0%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%B0%D0%B3%D0%B5%D0%BD%D1%82»

Категории: Искусственный интеллект | Теория принятия решений | Энциклопедия анализа данных