Тесты Бонгарда

Материал из MachineLearning.

Версия от 20:53, 16 июля 2026; Kirill Novoselov (Обсуждение | вклад)

(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)

Статья написана с использованием LLM GPT-5.6 Sol и проверена участником Kirill Novoselov 00:53, 17 июля 2026 (MSD)

Содержание

1 Постановка задачи
2 Геометрическая мотивация
- 2.1 Инвариантность и существенные преобразования
3 История и замысел Бонгарда
4 Почему люди хорошо решают эти задачи
5 Формальный язык решений
6 Влияние на распознавание образов
7 Свёрточные нейронные сети
8 Ограничения и открытые вопросы
9 См. также
10 Литература
11 Ссылки

Тесты Бонгарда (также задачи Бонгарда, англ. Bongard problems) — класс задач на зрительное формирование понятий, предложенный М. М. Бонгардом в 1960-х годах. В каждом тесте предъявляются две группы из шести чёрно-белых изображений. Все изображения слева удовлетворяют некоторому правилу, а все изображения справа ему не удовлетворяют или подчиняются противоположному правилу. Требуется не только правильно разделить данные изображения, но и обнаружить задуманное автором понятие, сформулировав его в краткой и обобщаемой форме.

Тесты Бонгарда занимают промежуточное положение между распознаванием образов, обучением по прецедентам, индуктивным выводом и исследованием зрительного мышления. В отличие от обычной классификации с фиксированным набором классов, в каждом новом тесте меняется само значение класса. Решающий должен по двенадцати примерам определить, какие геометрические объекты, отношения и уровни описания существенны именно в данной задаче.

Изображение:Bongard original examples.png

Примеры исходных тестов Бонгарда: от различения размера и закраски до сравнения плотности точек и вложенности второго порядка. Воспроизведено по Depeweg, Rothkopf, Jäkel (2024).

Постановка задачи

Пусть $\mathcal X$ — множество допустимых изображений. Один тест задаётся парой выборок

$D=(D^+,D^-),\qquad D^+=\{x_1^+,\ldots,x_6^+\},\quad D^-=\{x_1^-,\ldots,x_6^-\}.$

где $D^+$ соответствует левой, а $D^-$ — правой половине таблицы. Возможное понятие представляется предикатом

$h:\mathcal X\to\{0,1\}.$

Предикат согласован с предъявленными примерами, если

$h(x_i^+)=1,\qquad h(x_i^-)=0,\qquad i=1,\ldots,6.$

Для заданного языка гипотез $\mathcal H$ множество согласованных правил имеет вид

$\mathcal H(D)=\left\{h\in\mathcal H:\ h(x_i^+)=1,\ h(x_i^-)=0,\ i=1,\ldots,6\right\}.$

Одной согласованности недостаточно. Для конечных множеств $D^+$ и $D^-$ всегда можно построить правило, просто запоминающее двенадцать изображений, либо найти случайный пиксельный признак, разделяющий конкретную таблицу. Такое правило не считается решением теста. Полноценное решение должно обладать тремя свойствами:

валидность — правильно разделять все предъявленные изображения;
устойчивость — правильно классифицировать новые изображения, построенные в соответствии с авторским правилом;
простота и содержательность — выражаться через понятные зрительные свойства и отношения, а не через случайные детали рисунка.

Если каждому правилу $h$ сопоставить длину описания $\ell(h)$ , простейший формальный вариант выбора решения имеет вид

$h^*\in\mathop{\rm arg\,min}_{h\in\mathcal H(D)}\ell(h).$

Это выражение соответствует принципу минимальной длины описания, но не устраняет неоднозначность полностью: два коротких правила могут одинаково хорошо объяснять двенадцать изображений. Поэтому исходная задача является не только задачей статистического обобщения, но и задачей восстановления намеренно сообщаемого автором понятия.

Геометрическая мотивация

Чёрно-белые геометрические рисунки образуют контролируемую модель зрительного мира. В них почти отсутствуют цвет, текстура, освещение и предметный контекст, поэтому можно отдельно исследовать построение формы и отношений между формами. При этом даже такой минимальный мир содержит несколько качественно различных уровней описания:

свойства отдельной фигуры: размер, закраска, число углов, выпуклость, ориентация;
свойства множества фигур: число элементов, разброс размеров, взаимное расположение;
бинарные отношения: «внутри», «содержит», «пересекает», «левее», «ближе»;
глобальные свойства изображения: симметрия, связность, плотность, направление закручивания;
рекурсивные свойства: фигура внутри фигуры, которая сама находится внутри другой фигуры.

Некоторые геометрические признаки допускают численное выражение. Если $A$ — область фигуры, $S(A)$ — её площадь, $P(A)$ — длина границы, а ${\rm conv}\,A$ — выпуклая оболочка, то можно определить, например,

${\rm compactness}(A)=\frac{4\pi S(A)}{P(A)^2},\qquad {\rm convexity}(A)=\frac{S(A)}{S({\rm conv}\,A)}.$

Однако большая часть трудных тестов не сводится к пороговому сравнению одного числа. Например, понятие «маленькая фигура находится внутри большой» требует выделить объекты, оценить их относительные размеры и проверить отношение вложенности. Понятие «вложенность второго порядка» требует применить отношение «внутри» рекурсивно.

Инвариантность и существенные преобразования

Вариации внутри одной половины теста специально показывают, какие изменения не должны менять ответ. Если $G$ — группа несущественных преобразований изображения, например переносов, поворотов или масштабирований, то желаемое понятие должно удовлетворять условию

$h(gx)=h(x),\qquad x\in\mathcal X,\quad g\in G.$

Автор теста может менять размер, положение и конкретную форму объектов, сохраняя только выпуклость, вложенность или число компонентов. Тем самым шесть примеров задают не столько плотную статистическую выборку, сколько систему направленных контрпримеров, отделяющих существенное свойство от побочных.

Геометрия здесь служит не целью самой по себе, а языком для изучения построения представления. Один и тот же контур можно описать как четырёхугольник, замкнутую линию, выпуклую фигуру, часть пары или объект внутри другого объекта. Какое описание окажется правильным, определяется всей таблицей.

История и замысел Бонгарда

Сто задач были опубликованы в приложении к книге М. М. Бонгарда «Проблема узнавания» (1967). Они создавались как испытательный материал для теории распознавания, но одновременно выражали более общий взгляд на интеллект. Бонгард противопоставлял поиск разделяющего правила построению подходящего пространства признаков: если содержательное представление уже найдено, само разделение классов обычно становится простой частью решения.

«Цель обучения состоит не столько в нахождении разделяющего правила (например, гиперплоскости), сколько в отыскании пространства признаков, в котором такое разделение возможно».

В этом подходе образ не имеет единственного универсального описания. Признаки должны конструироваться в зависимости от сравниваемых классов. Для одной задачи важен цвет или закраска, для другой — топология, для третьей — отношение между частями. Поэтому попытка заранее перечислить все возможные признаки быстро приводит к комбинаторному росту и одновременно пропускает понятия, требующие нового уровня абстракции.

С этим связана метафора крупноблочного мышления, использованная Бонгардом во введении к книге. Человек способен рассуждать не отдельными рецепторными сигналами, а уже собранными блоками: «контур», «фигура», «пара одинаковых объектов», «фигура внутри фигуры». Каждый такой блок может стать элементом следующего уровня. Интеллектуальная трудность состоит в том, чтобы в нужный момент собрать подходящий блок и включить его в новое описание.

Тесты также выражают коммуникативную сторону узнавания. Автор не выбирает двенадцать картинок случайно: он составляет их так, чтобы показать требуемое правило и опровергнуть близкие альтернативы. Решающий, в свою очередь, предполагает разумность этого выбора и пытается восстановить замысел автора. Поэтому «правильное» решение определяется совместно геометрией рисунков, простотой формулировки и прагматикой предъявления примеров.

После выхода английского перевода книги в 1970 году задачи получили известность за пределами советской школы распознавания. Д. Хофштадтер обсуждал их в книге Gödel, Escher, Bach (1979) и предложил новые задачи. В дальнейшем тесты использовались для исследования высокоуровневого зрения, аналогии, формирования понятий, синтеза программ и метаобучения.

Почему люди хорошо решают эти задачи

Способность человека решать тесты Бонгарда не означает, что все сто задач одинаково просты. Некоторые из них требуют длительного перебора гипотез, а разные испытуемые предлагают разные допустимые формулировки. Тем не менее человек обычно имеет несколько преимуществ перед системой, обученной только различать изображения.

Богатый исходный язык понятий

До начала теста человек уже располагает понятиями границы, внутренности, симметрии, количества, сходства, направления и причинно связанной части. Эти понятия могут композиционно объединяться:

$\exists x\,\bigl({\rm triangle}(x)\land\exists y\,({\rm circle}(y)\land{\rm inside}(x,y))\bigr).$

Даже если конкретная комбинация ранее не встречалась, её можно построить из известных компонентов.

Группировка и многоуровневое восприятие

Зрительная система объединяет фрагменты в контуры и объекты, отделяет фигуру от фона и рассматривает один набор элементов на нескольких масштабах. Поэтому множество маленьких объектов может быть воспринято и как набор отдельных фигур, и как очертание одной большой фигуры. Выбор уровня определяется контекстом задачи.

Предпочтение простых объяснений

Среди многих правил, согласованных с двенадцатью изображениями, человек обычно предпочитает короткое и структурное. В вероятностной записи это можно выразить априорным распределением

$P(h)\propto \exp\{-\lambda\ell(h)\},\qquad \lambda>0.$

где более длинные описания получают меньшую априорную вероятность. После наблюдения таблицы $D$ правила сравниваются по формуле Байеса:

$P(h\mid D)=\frac{P(D\mid h)P(h)}{\sum\limits_{\widetilde h\in\mathcal H}P(D\mid\widetilde h)P(\widetilde h)}.$

Прагматическое рассуждение

Человек учитывает не только совместимость правила с изображениями, но и то, зачем автор включил каждый пример. Если в формулировке предполагается треугольник, естественно ожидать, что хотя бы один треугольник будет явно показан. Если правило связано с вложенностью, примеры должны демонстрировать как наличие, так и отсутствие релевантного отношения. В модели Depeweg, Rothkopf и Jäkel это отражено условием информативности в функции правдоподобия: грамматическое правило получает ненулевую вероятность лишь тогда, когда предъявленные изображения совместимы с ним и содержат объекты и отношения, упомянутые в правиле.

Такое рассуждение особенно важно при малом числе примеров. Наблюдатель рассматривает таблицу как сообщение от разумного составителя, а не как двенадцать независимо выбранных объектов.

Формальный язык решений

Один из способов автоматического решения состоит в переходе от пикселей к символическому описанию. Сначала выделяются связные компоненты и их признаки, затем строится визуальный язык, содержащий:

термы объектов: ${\rm figures}$ , ${\rm circles}$ , ${\rm triangles}$ ;
операции над множествами: пересечение, объединение и разность;
фильтры: ${\rm solid}$ , ${\rm outline}$ , ${\rm large}$ ;
отношения: ${\rm inside}$ , ${\rm contains}$ , ${\rm aligned}$ ;
логические и количественные конструкции: существование, сравнение численностей и сравнение значений признаков.

Например, правило «слева имеется контурная фигура» записывается как

${\rm left}:\ \exists\bigl({\rm outline}({\rm figures})\bigr).$

Для визуальной грамматики $\mathcal G$ и множества примеров $E$ Depeweg, Rothkopf и Jäkel рассматривают апостериорное распределение

$P(R\mid E,\mathcal G)\propto P(E\mid R)P(R\mid\mathcal G).$

где $R$ — предложение грамматики. Правдоподобие равно нулю для несовместимых или неинформативных правил, а априорное распределение предпочитает короткие выражения и повторное использование одинаковых подвыражений. Поиск выполняется методом Метрополиса — Гастингса с заменой поддеревьев грамматического выражения.

При ограничении набором из 39 задач, для которых были реализованы необходимые зрительные признаки, система получила решения для 35 задач. Символический язык делает результат объяснимым, но создаёт новую проблему: его словарь и процедуры выделения объектов задаются разработчиком. Если нужного понятия нет в грамматике, алгоритм не сможет его открыть. В оригинальном замысле Бонгарда система должна уметь не только выбирать формулу из готового языка, но и расширять сам язык описания.

Влияние на распознавание образов

Тесты Бонгарда предвосхитили несколько направлений, ставших центральными значительно позднее.

Конструирование признаков. Главная трудность переносится с выбора разделяющей поверхности на построение представления, в котором существенное отношение выражается просто.
Обучение по малому числу примеров. Каждое новое понятие задаётся шестью положительными и шестью отрицательными примерами.
Контекстно-зависимое восприятие. Представление изображения естественно записывать как $\varphi(x;D)$ , а не только как фиксированное $\varphi(x)$ : одна и та же линия может члениться по-разному в разных таблицах.
Композиционное обобщение. Новые понятия строятся из известных объектов, отношений, кванторов и операций.
Нейросимвольные методы. Низкоуровневое зрение может обучаться на данных, тогда как итоговое правило строится в дискретном языке.
Объяснимость. Ответом является не номер класса, а правило, которое можно проверить на контрпримерах.
Активное и педагогическое обучение. Примеры рассматриваются как специально подобранные для передачи понятия.

В советской школе близкие идеи развивались в алгоритмах распознавания, основанных на информативных фрагментах и сочетаниях признаков, в частности в алгоритме КОРА. Более широкая линия построения формальных языков и операторов над алгоритмами представлена в алгебраическом подходе к распознаванию образов. Тесты Бонгарда остаются наглядным примером того, почему фиксированное признаковое описание может быть недостаточным даже для небольшого набора простых изображений.

Свёрточные нейронные сети

Почему обычной CNN недостаточно

Свёрточная нейронная сеть хорошо выделяет локальные повторяющиеся структуры и обеспечивает эквивариантность переносам, однако исходные тесты требуют большего:

правило меняется от задачи к задаче;
в каждой задаче имеется только двенадцать примеров;
существенны повороты, масштаб, число объектов и дальние отношения;
требуется сравнивать все положительные и отрицательные примеры совместно;
правильный ответ должен выражать абстрактное и желательно словесно формулируемое понятие.

Если сеть независимо кодирует каждую картинку,

$z_i=\varphi_\theta(x_i).$

она может выделить форму, но не знает, какая грань этой формы существенна в текущем тесте. Контекстная модель дополнительно строит представление всей опорной выборки

$c=A\left(\{\varphi_\theta(x):x\in D^+\},\{\varphi_\theta(x):x\in D^-\}\right)$

и использует признаки $z_i=\varphi_\theta(x_i,c)$ , зависящие от контекста задачи. Эксперименты показывают, что такая модификация существенно полезна, хотя сама по себе не превращает классификатор в систему, формулирующую правила.

Ранние эксперименты на исходных задачах

В 2018 году С. Харагоргиев предварительно обучил девятислойную CNN на миллионе синтетических изображений геометрических фигур, а затем искал отдельный бинаризованный признак, разделяющий стороны теста. На расширенной коллекции из 232 задач метод объявил решёнными 47 задач и дал правильный ответ для 41 из них. Это соответствует примерно 18–20% всей коллекции, но проверялась упрощённая постановка: по пяти изображениям каждого класса требовалось классифицировать два отложенных изображения, а не сформулировать правило.

Yun, Bohn и Ling (2020) предложили более систематическую оценку. CNN предварительно обучалась на синтетических геометрических изображениях, после чего признаки подавались либо в дерево глубины один, либо в логистическую регрессию. Простая модель с одним признаком находила валидное разделение примерно для $30{,}2\%$ из 200 задач; два вручную построенных контрольных изображения правильно классифицировались для $66{,}3\%$ найденных решений. Логистическая регрессия почти всегда разделяла исходные двенадцать картинок, но хуже переносилась на новые примеры и использовала сложные сочетания признаков. Этот результат показывает различие между интерполяцией малой таблицы и восстановлением задуманного понятия.

Bongard-LOGO

Исходных ста задач недостаточно для обучения современной глубокой модели. Поэтому Nie и соавторы создали набор Bongard-LOGO из 12 000 процедурно сгенерированных задач. Фигуры задаются программами на языке LOGO, а тест формулируется как эпизод обучения с малым числом примеров: после шести положительных и шести отрицательных изображений требуется классифицировать новые запросы.

Изображение:Bongard logo examples.png

Три типа задач Bongard-LOGO: свободная линия, композиция базовых форм и абстрактное геометрическое свойство. Внизу показаны контрольные изображения. По Nie et al. (2020).

Набор проверяет перенос на более длинные программы, новые сочетания базовых форм, новые комбинации абстрактных свойств и полностью отложенное свойство. Положение, размер и ориентация не должны определять класс.

Результаты на Bongard-LOGO, точность в процентах
Метод	Свободные формы (FF)	Базовые композиции (BA)	Комбинации свойств (CM)	Новое свойство (NV)
CNN-Baseline	51,9	56,6	53,6	57,6
ProtoNet	64,6	72,4	62,4	65,4
Meta-Baseline-SC	66,3	73,3	63,5	63,9
Meta-Baseline-MoCo	65,9	72,2	63,9	64,7
Человек, внимательно изучивший инструкцию	92,1	99,3	90,7

Случайное угадывание даёт $50\%$ . Обычная CNN оказалась лишь немного лучше случайного выбора; методы метаобучения заметно улучшили результат, но сохранили большой разрыв с людьми. Особенно трудными оказались перенос на более сложные программы и открытие абстрактного свойства.

Изображение:Bongard context dependent perception.png

Контекстно-зависимое восприятие в Bongard-LOGO. Одинаковый выделенный красной рамкой рисунок интерпретируется как состоящий из четырёх или шести прямых отрезков в зависимости от остальных примеров. По Nie et al. (2020).

В работе Raghuraman, Harley и Guibas (2024) признаки каждого изображения стали адаптироваться с учётом всей опорной выборки. Контекстные модели достигли $75{,}3\%$ на Bongard-LOGO и $60{,}8\%$ на наборе исходных задач в классификационной постановке. Это подтверждает тезис Бонгарда о зависимости описания объекта от решаемой задачи. Вместе с тем результат по-прежнему не является полным решением исходного испытания: модель выбирает класс нового изображения, но не обязана построить короткое правило на естественном или формальном языке.

Насколько задача решена современными моделями

Краткий ответ: современные CNN пробовали применять к тестам Бонгарда, но исходная задача в общем виде ими не решена. Хороший результат на Bongard-LOGO означает способность использовать статистику большого семейства ранее сгенерированных задач. Он не гарантирует открытие совершенно нового визуального понятия и не проверяет качество словесного объяснения.

В 2025 году Wüst и соавторы непосредственно проверили современные мультимодальные зрительно-языковые модели на исходных тестах. Модели иногда находили правильное различие, но часто ошибались даже на простых геометрических понятиях и существенно уступали людям. Переход от CNN к языковой модели облегчает формулирование ответа, но не устраняет проблемы сегментации, контекстного выбора признаков и устойчивого композиционного рассуждения.

Поэтому тесты сохраняют диагностическую ценность. Они различают как минимум четыре способности, которые в обычном тесте классификации смешиваются:

построить геометрическое представление изображения;
выбрать представление, релевантное текущему сравнению;
вывести простое правило по малому числу специально подобранных примеров;
выразить правило и применить его к новым контрпримерам.

Ограничения и открытые вопросы

Тесты Бонгарда не являются исчерпывающей моделью человеческого зрения. Они используют искусственные линейные рисунки, допускают несколько разумных решений и зависят от культурно усвоенного языка геометрических понятий. Кроме того, сравнение алгоритмов затрудняется различием постановок: одни системы формулируют правило, другие только классифицируют новые изображения.

Основные открытые вопросы связаны со следующими проблемами:

автоматическое построение новых зрительных примитивов и отношений вместо выбора из фиксированного словаря;
совместное обучение сегментации, группировки и логического вывода;
измерение простоты и человеческой естественности найденного правила;
отделение подлинного обобщения от использования шаблонов генератора;
построение контрпримеров, различающих несколько согласованных гипотез;
перенос правил между линейными рисунками и естественными изображениями;
единая оценка правильности классификации, объяснения и устойчивости решения.

Таким образом, тесты Бонгарда остаются не просто коллекцией головоломок, а компактной постановкой фундаментального вопроса: каким образом интеллектуальная система создаёт язык признаков, необходимый для нового понятия.

См. также

Литература

Бонгард М. М. Проблема узнавания. — М.: Наука, 1967. — 320 с. Электронная копия.
Bongard M. M. Pattern Recognition. — New York: Spartan Books, 1970.
Hofstadter D. R. Gödel, Escher, Bach: An Eternal Golden Braid. — New York: Basic Books, 1979.
Foundalis H. E. Phaeaco: A Cognitive Architecture Inspired by Bongard's Problems. PhD thesis, Indiana University, 2006. Материалы проекта.
Depeweg S., Rothkopf C. A., Jäkel F. Solving Bongard Problems With a Visual Language and Pragmatic Constraints // Cognitive Science. — 2024. — Vol. 48. — e13432. DOI; предварительная версия.
Kharagorgiev S. Solving Bongard Problems With Deep Learning, 2018. Электронный ресурс.
Yun X., Bohn T., Ling C. A Deeper Look at Bongard Problems // Advances in Artificial Intelligence: Canadian AI 2020. — Springer, 2020. — P. 528–539. DOI.
Nie W., Yu Z., Mao L., Patel A. B., Zhu Y., Anandkumar A. Bongard-LOGO: A New Benchmark for Human-Level Concept Learning and Reasoning // Advances in Neural Information Processing Systems. — 2020. — Vol. 33. Статья.
Raghuraman N., Harley A. W., Guibas L. Support-Set Context Matters for Bongard Problems // Transactions on Machine Learning Research. — 2024. Статья; arXiv.
Wüst A., Tobiasch T., Helff L., Ibs I., Stammer W., Dhami D. S., Rothkopf C. A., Kersting K. Bongard in Wonderland: Visual Puzzles that Still Make AI Go Mad? // Proceedings of the 42nd International Conference on Machine Learning. — 2025. — PMLR 267:68118–68142. Статья.

Ссылки

Источник — «http://recognition.su/wiki/index.php?title=%D0%A2%D0%B5%D1%81%D1%82%D1%8B_%D0%91%D0%BE%D0%BD%D0%B3%D0%B0%D1%80%D0%B4%D0%B0»

Категории: Искусственный интеллект | Машинное обучение | Распознавание образов | Нейронные сети