ImageNet

Материал из MachineLearning.

(Различия между версиями)
Перейти к: навигация, поиск
 
Строка 1: Строка 1:
-
{{well|Статья написана с использованием LLM '''ChatGPT 5.6 Sol - xhigh''' и проверена участником [[Юхарев Роман Андреевич]] 8:31 15 июля 2026.}}
+
{{well|Статья написана с использованием LLM '''ChatGPT 5.6 Sol - xhigh''' и проверена участником [[Юхарев Роман Андреевич]] 8:31 15 июля 2026 (MSD).}}
{{TOCright}}
{{TOCright}}

Текущая версия

Статья написана с использованием LLM ChatGPT 5.6 Sol - xhigh и проверена участником Юхарев Роман Андреевич 8:31 15 июля 2026 (MSD).


Содержание

ImageNet — база размеченных изображений для задач компьютерного зрения, классы которой организованы согласно иерархии существительных лексической сети WordNet.

В WordNet слова и словосочетания, выражающие одно значение, объединены в синсеты (англ. synset, от synonym set). Каждому синсету в ImageNet соответствует набор изображений, представляющих это значение. Проект был создан как инфраструктура для обучения и сравнения алгоритмов компьютерного зрения.[1]

В литературе словом ImageNet обозначают разные наборы. Полная база на сайте проекта содержит 14 197 122 изображения в 21 841 синсете.[1] Наиболее распространённый экспериментальный вариант — выборка из 1000 классов, использованная в ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Её также называют ImageNet-1K, ILSVRC-2012 или, в контексте классификации, просто ImageNet. Результаты на ImageNet-1K нельзя без уточнений переносить на полную базу.

Создание и устройство

Синсеты WordNet связаны отношениями, в частности отношением «является разновидностью»: например, конкретная порода собаки является потомком более общего понятия «собака». ImageNet использует эту понятийную иерархию как основу списка классов.

При создании базы кандидатов находили поиском изображений в интернете. Чтобы повысить полноту, использовали расширенные запросы и переводы на разные языки. Затем разметчики проверяли, действительно ли на изображении присутствует заданное понятие. Для масштабирования этой проверки применялся краудсорсинг. Такой процесс позволил собрать миллионы примеров, но одновременно унаследовал свойства поисковой выдачи, языка запросов и решений разметчиков.[1]

Основные варианты набора различаются следующим образом:

Набор Классы Изображения и разбиение Назначение
Полный ImageNet 21 841 синсет 14 197 122 изображения; единого стандартного разбиения для всех задач нет Иерархическая база и источник подмножеств
ILSVRC-2012 CLS-LOC, или ImageNet-1K 1000 непересекающихся синсетов 1 281 167 обучающих, 50 000 валидационных и 100 000 тестовых изображений Классификация и локализация объектов
ILSVRC Object Detection 200 классов Отдельные разбиения и аннотации ограничивающих прямоугольников Обнаружение нескольких объектов

Точные размеры ImageNet-1K относятся к данным классификации и локализации, закреплённым начиная с ILSVRC-2012. В обучающей части на класс приходится от 732 до 1300 изображений, в валидационной — ровно 50.[1] Тестовые ответы соревнования не публиковались участникам: предсказания отправлялись на сервер оценки.

Изображения имеют разные размеры и соотношения сторон. Стандартные реализации при обучении декодируют JPEG, масштабируют и вырезают фрагменты заданного размера, часто добавляя случайное отражение и цветовые преобразования. Эти операции являются частью экспериментального протокола, а не свойством исходной базы. Поэтому одинаковая архитектура при разных процедурах предобработки и аугментации может давать разные результаты.

ILSVRC

ImageNet Large Scale Visual Recognition Challenge проводился ежегодно с 2010 по 2017 год. Его целью было сравнение методов на большом общем наборе с фиксированными правилами. Набор из 1000 классов, использовавшийся в классификации с 2012 года, построен так, чтобы ни один выбранный синсет не был предком другого выбранного синсета. Это уменьшает прямое иерархическое перекрытие классов, хотя семантически близкие категории, например породы собак, остаются.[1]

В разные годы соревнование включало несколько задач:

  • классификация изображения — предсказать класс основного объекта;
  • локализация одного объекта — предсказать класс и ограничивающий прямоугольник для его экземпляра;
  • обнаружение объектов — найти и классифицировать несколько объектов из 200 категорий;
  • обнаружение объектов на видео — обнаруживать объекты из 30 категорий в видеокадрах.

Не все задачи и категории присутствовали во все годы. Поэтому название соревнования, год, задача и разрешение использовать внешние данные должны быть частью описания результата. После ILSVRC-2017 организаторы завершили ежегодный формат и передали дальнейшее проведение соревнования по классификации платформе Kaggle.[1]

Оценивание классификации

Пусть модель выдаёт оценки s_c(x) для классов c=1,\ldots,C. Обозначим через {\rm Top}_k(s(x)) множество k классов с наибольшими оценками. Тогда top-k accuracy на выборке из n объектов равна

{\rm Acc}_k=\frac{1}{n}\sum_{i=1}^n I\left[y_i\in {\rm Top}_k(s(x_i))\right],

где I[A] равно единице, если утверждение A истинно, и нулю иначе. Соответствующая ошибка равна

{\rm Err}_k=1-{\rm Acc}_k.

Для ImageNet-1K обычно сообщают top-1 и top-5 accuracy либо error. Top-1 требует, чтобы истинный класс занимал первое место; top-5 — чтобы он входил в первые пять предсказаний. Метрика top-5 особенно использовалась в соревновании, поскольку среди 1000 мелкозернистых классов несколько ответов модели могут быть семантически близкими.

При обучении классификатора часто минимизируют среднюю кросс-энтропию

L=-\frac{1}{n}\sum_{i=1}^n\log p_{y_i}(x_i),

где p_c(x) — предсказанная вероятность класса. Кросс-энтропия является функцией потерь обучения, а top-1 и top-5 — метриками конечного качества; улучшение одной величины не обязано монотонно улучшать другую.

Для локализации дополнительно сравнивают предсказанный и истинный прямоугольники. Их пересечение над объединением равно

{\rm IoU}(B,\widehat B)=\frac{|B\cap\widehat B|}{|B\cup\widehat B|}.

В правилах ILSVRC локализация считалась правильной только при верно предсказанном классе и достаточном IoU, обычно не менее 0.5. Для обнаружения объектов применялась средняя точность по классам (mean average precision, mAP). Детали подсчёта, включая обработку нескольких экземпляров и число разрешённых предсказаний, зависят от задачи и года.

Влияние на глубокое обучение

ImageNet объединил три фактора: большой размеченный набор, стандартный протокол и публичное соревнование. Это сделало возможным сравнение вычислительно тяжёлых моделей в масштабе, на котором преимущества представительного обучения проявлялись заметнее, чем на небольших наборах.

Поворотным результатом стал AlexNet, победивший в классификации ILSVRC-2012. Глубокая свёрточная сеть обучалась на графических процессорах и использовала ReLU, аугментацию данных, dropout и ансамблирование; её top-5 error оказался существенно ниже результата следующей команды.[1] Этот результат не был единственной причиной развития глубокого обучения, но убедительно показал преимущество больших нейронных сетей при наличии данных и вычислений.

В последующие годы ImageNet служил полигоном для архитектурных идей:

  • VGG исследовал увеличение глубины сетей с малыми свёрточными фильтрами;[1]
  • GoogLeNet ввёл модуль Inception и показал, как повышать вычислительную эффективность глубокой сети;[1]
  • ResNet использовал остаточные связи, облегчив обучение очень глубоких сетей; система на их основе победила в ILSVRC-2015.[1]

Предобученные на ImageNet-1K модели стали стандартными извлекателями признаков для переноса обучения на небольшие наборы. Обучение на ImageNet также стимулировало развитие аугментации, нормализации, распределённого обучения и библиотек готовых моделей. Однако выигрыш от предобучения зависит от сходства исходной и целевой областей; высокая точность ImageNet не гарантирует надёжность в медицинских, спутниковых или промышленных данных.

Смещения и ограничения

ImageNet не является случайной выборкой всех возможных изображений мира. Его состав определяется словарём WordNet, поисковыми системами, формулировкой запросов, доступностью изображений в интернете и процедурой подтверждения меток. В результате возникают несколько видов смещения.

Источник ограничения Возможное следствие Что проверять на практике
Иерархия WordNet Неравномерная детализация понятий: много близких пород или видов и меньше категорий из других областей Соответствие таксономии прикладной задаче
Поисковая выдача Канонические, хорошо освещённые и расположенные по центру объекты представлены чаще повседневных сцен Качество на данных из других источников и камер
География, язык и доступ к интернету Неравномерное представление регионов, культур и групп людей Срезы метрик по релевантным группам и отдельные локальные выборки
Одна целевая метка в классификации Остальные объекты кадра игнорируются; допустима неоднозначность между близкими классами Повторная или многометочная разметка спорных примеров
Фиксированная валидационная выборка Многолетняя настройка методов может частично адаптировать исследовательское сообщество к конкретному тесту Независимая контрольная выборка и проверка сдвига распределения

Смещение между наборами данных наблюдается даже у наборов, созданных для одной задачи: классификатор часто хуже переносится на другой источник, чем предполагает результат случайного разбиения одного набора.[1] В ImageNetV2 были собраны новые тестовые изображения по процедуре, близкой к исходной. Точность проверенных моделей снизилась на 11–14 процентных пунктов, хотя модели с лучшим результатом на исходном тесте обычно оставались лучше и на новом.[1]

Разметка также не безошибочна. В исследовании систематических ошибок популярных тестовых наборов для валидационной части ImageNet была оценена доля как минимум в 6 % примеров с ошибочной меткой; это оценка конкретной процедуры аудита, а не точное число для всех вариантов ImageNet.[1]

Отдельные проблемы связаны с поддеревом понятий о людях. Таксономия WordNet содержит устаревшие, неравномерно детализированные и потенциально оскорбительные категории, а найденные в интернете изображения неравномерно представляют демографические группы. Аудит и работа по фильтрации и балансировке этого поддерева показали, что исправление требует одновременно пересмотра словаря понятий, правил включения изображений и распределения представленных людей.[1]

Следовательно, ImageNet измеряет качество на определённом историческом срезе интернет-изображений и таксономии. Он полезен как общий тест, но не является доказательством универсального распознавания или безопасности модели.

Доступ и правовой статус

ImageNet не владеет авторскими правами на собранные изображения. Официальный сайт предоставляет доступ при принятии условий, ограничивающих использование некоммерческими исследовательскими и образовательными целями.[1] Пользователь должен отдельно учитывать авторские права владельцев изображений, условия конкретного архива и требования своей организации. Наличие изображения в исследовательском наборе не означает разрешения на его произвольное коммерческое распространение.

Правила доступа и состав доступных архивов могут меняться. Воспроизводимое исследование должно указывать дату получения, точное название варианта, контрольные суммы или версию файлов разметки, если они доступны.

Рекомендации по эксперименту

Для однозначного результата на ImageNet следует указать:

  • вариант и год данных: например, ILSVRC-2012 CLS-LOC, а не только «ImageNet»;
  • использованное разбиение и способ выделения выборки для настройки гиперпараметров;
  • размер входа, масштабирование, вырезание фрагмента и число тестовых фрагментов;
  • наличие внешних данных, предварительного обучения, псевдометок и ансамбля;
  • точное определение метрики — top-1 или top-5, accuracy или error;
  • соответствие индексов классов синсетам WordNet;
  • способ обработки повреждённых файлов, дубликатов и потенциального пересечения с данными предобучения.

Валидационная часть часто используется как фактический тест, поскольку официальные метки тестовой части закрыты. В таком случае гиперпараметры желательно выбирать на отдельной части обучающих данных, а роль валидационной выборки явно описывать. При сравнении с опубликованными числами необходимо согласовать протокол: центрированное вырезание и многократное тестовое усреднение дают разные результаты.

Типичные ошибки

  • Полный ImageNet и ImageNet-1K считают одним набором. Они различаются числом классов, размером и назначением.
  • Не указывают год и задачу ILSVRC. Классификация, локализация и обнаружение имеют разные данные и метрики.
  • Смешивают accuracy и error. Например, top-5 error равна единице минус top-5 accuracy.
  • Сравнивают модели с разными источниками данных как равные. Внешнее предобучение, псевдометки и ансамбли могут существенно изменить результат.
  • Настраивают модель на валидации и называют её независимым тестом. Многократная настройка создаёт оптимистичную оценку.
  • Считают метки абсолютной истиной. Кадры могут содержать несколько объектов, а классы — быть неоднозначными или ошибочными.
  • Переносят результат ImageNet на другую область без проверки. Сдвиг данных может быть больше различия между архитектурами на исходном тесте.

См. также

Примечания

Литература

  • Deng J. et al. ImageNet: A Large-Scale Hierarchical Image Database // IEEE Conference on Computer Vision and Pattern Recognition. 2009. P. 248–255.
  • Russakovsky O. et al. ImageNet Large Scale Visual Recognition Challenge // International Journal of Computer Vision. 2015. Vol. 115. P. 211–252.
  • Krizhevsky A., Sutskever I., Hinton G. E. ImageNet Classification with Deep Convolutional Neural Networks // Advances in Neural Information Processing Systems. 2012. Vol. 25.
  • Recht B. et al. Do ImageNet Classifiers Generalize to ImageNet? // Proceedings of the 36th International Conference on Machine Learning. 2019. P. 5389–5400.
  • Yang K. et al. Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy // Proceedings of the Conference on Fairness, Accountability, and Transparency. 2020. P. 547–558.
Источник — «http://recognition.su/wiki/index.php?title=ImageNet»
Личные инструменты