Краудсорсинг

Материал из MachineLearning.

Статья написана с использованием LLM Gemini и проверена участником Said Mavletov 21:08, 13 июля 2026 (MSD)

Краудсорсинг (англ. crowdsourcing, от crowd — «толпа» и sourcing — «использование ресурсов») — это концепция привлечения широкого круга добровольцев или удалённых исполнителей для решения задач, генерации идей или производства контента. Впервые термин был предложен журналистом Джеффом Хау в 2006 году. В широком смысле краудсорсинг охватывает всё: от написания статей в Википедию до поиска внеземных цивилизаций на домашних компьютерах.

Однако в контексте машинного обучения (Machine Learning, ML) и искусственного интеллекта краудсорсинг приобрёл специфическое и фундаментальное значение. Здесь он выступает главным инструментом для масштабного сбора, аннотирования и верификации данных. Поскольку современные модели зависят от огромных объёмов качественной обучающей выборки, распределение разметки данных среди "толпы" через специализированные платформы позволяет сделать этот процесс быстрым и экономически целесообразным.

Содержание 1 Эволюция краудсорсинга в машинном обучении 2 Агрегация вердиктов (Truth Inference) 2.1 Голосование большинства 2.2 Модель Дэвида — Скина 2.3 Модель GLAD 3 Интеграция в конвейер машинного обучения 3.1 Активное обучение 3.2 Гибридная разметка (Human-in-the-Loop) 4 Контроль качества и оценка 5 Этические аспекты 6 Будущее: LLM как судья 7 Заключение 8 Литература 9 Ссылки

Эволюция краудсорсинга в машинном обучении

Роль краудсорсеров в создании систем искусственного интеллекта постоянно меняется по мере усложнения самих алгоритмов. Можно выделить три основных этапа:

1. Сбор и базовая верификация данных: Исторически краудсорсинг применялся для оцифровки или генерации простого контента. Знаковым стал проект базы изображений ImageNet (2009). База изначально формировалась парсингом поисковых систем и структурировалась через семантическую сеть WordNet. Однако именно платформа Amazon Mechanical Turk использовалась для масштабной ручной верификации — сотни тысяч людей подтверждали, действительно ли на фото изображён нужный объект.
2. Сложное аннотирование: С развитием глубокого обучения возникла потребность в разметке сложной структуры. В компьютерном зрении это выделение объектов ограничивающими рамками (Bounding boxes) и попиксельная сегментация. В обработке естественного языка (NLP) — классификация тональности, выделение именованных сущностей (NER) и синтаксический анализ.
3. Обучение на основе предпочтений (RLHF): С появлением больших языковых моделей (LLM) задача кардинально изменилась. В пайплайне Обучение с подкреплением на основе отзывов людей (RLHF) краудсорсеры (часто называемые асессорами) не пишут тексты с нуля, а выступают судьями, ранжируя ответы модели. На основе этих оценок сперва обучается модель вознаграждения (Reward Model), имитирующая человеческие предпочтения. Затем алгоритмы обучения с подкреплением, такие как PPO, оптимизируют саму языковую модель относительно этих вознаграждений.

Агрегация вердиктов (Truth Inference)

Главная проблема краудсорсинга — зашумлённость данных. Исполнители могут ошибаться из-за невнимательности, недостатка квалификации или злого умысла. Чтобы получить достоверный результат, одно и то же задание дают нескольким независимым исполнителям (создают перекрытие). Возникает задача математической агрегации ответов: как из множества несовершенных оценок получить одну истинную.

Голосование большинства

Самый простой эвристический подход — голосование большинства (Majority Voting). Для объекта $i$ и множества ответов исполнителей $z_{ij}$ итоговая метка $\hat{y}_i$ выбирается как наиболее частый ответ:

Здесь $\mathbb{I}(\cdot)$ — индикаторная функция, которая равна $1$, если ответ исполнителя $j$ совпадает с классом $k$, и $0$ в противном случае. Метод предельно прост, но имеет серьёзный недостаток: голос эксперта и голос случайного спамера имеют одинаковый математический вес.

Модель Дэвида — Скина

Более строгий вероятностный подход был предложен А. Дэвидом и А. Скином в 1979 году. Модель (Dawid-Skene model) учитывает, что каждый исполнитель имеет свой уникальный уровень ошибок.

Поскольку истинные метки объектов нам изначально неизвестны (они являются скрытыми, латентными переменными), мы не можем напрямую максимизировать правдоподобие. Поэтому применяется EM-алгоритм (Expectation-Maximization), который итеративно уточняет ответы:

• E-шаг (Ожидание): Принимая текущую оценку надёжности каждого воркера как данность, алгоритм вычисляет вероятностное распределение того, к какому классу на самом деле принадлежит объект.
• M-шаг (Максимизация): Зная эти вероятностные оценки истинных классов, алгоритм пересчитывает "рейтинг" каждого исполнителя (его матрицу ошибок, то есть вероятности того, что он систематически путает одни конкретные классы с другими).

Процесс повторяется, пока оценки не перестанут меняться. В результате мы получаем точные метки данных и профиль качества каждого разметчика.

Модель GLAD

Модель GLAD (Generative model of Labels, Abilities, and Difficulties) расширяет этот подход. Её авторы учли интуитивно понятный факт: не только люди бывают с разной компетенцией, но и сами задачи обладают разным уровнем сложности.

В GLAD вводится параметр компетенции исполнителя $\alpha_j$ и параметр сложности задачи $\beta_i$. Вероятность правильного ответа описывается логистической функцией:

В данной параметризации маленькое значение $\beta_i$ (близкое к нулю) соответствует более сложной задаче. Если задача экстремально сложная, то произведение в экспоненте стремится к нулю, и вероятность правильного ответа падает до 0.5 (уровень случайного угадывания при бинарном выборе), даже если компетенция исполнителя $\alpha_j$ очень высока.

Интеграция в конвейер машинного обучения

В современной промышленной разработке краудсорсинг — это не разовая акция по выгрузке датасета, а часть непрерывного цикла обучения модели.

Активное обучение

Размечать все доступные сырые данные слишком долго и дорого. Активное обучение (Active Learning) позволяет модели самой решать, какие данные принесут ей наибольшую пользу. Процесс выглядит так:

1. Модель делает предсказания на огромном массиве неразмеченных данных.
2. Вычисляется метрика неуверенности модели (например, энтропия предсказаний).
3. Только те объекты, где модель сомневается сильнее всего, отправляются к людям на краудсорс.
4. Полученная экспертная разметка используется для дообучения модели, и цикл повторяется.

Гибридная разметка (Human-in-the-Loop)

Подход Human-in-the-Loop (HitL) предполагает тесное взаимодействие человека и алгоритма. Вместо того чтобы человек выполнял работу с нуля, используется предварительная разметка силами ИИ (Pre-labeling).

Например, в пайплайнах автономного вождения базовая нейросеть может автоматически и с высокой уверенностью размечать 95% типовых объектов (машины, разметка, пешеходы). Человеку на платформу передаются лишь оставшиеся 5% сложных, перекрытых или аномальных ситуаций (Edge cases). Человек исправляет ошибки алгоритма, и именно эти ценнейшие исправления отправляются обратно в датасет для дообучения модели. Это кардинально снижает стоимость и ускоряет процесс аннотирования.

Контроль качества и оценка

Сбор данных вслепую ведет к деградации моделей (Garbage in, garbage out). Качественные платформы реализуют многоуровневый контроль:

• Контрольные задания (Golden Tasks): В общий поток незаметно подмешиваются задачи с заранее известным заказчику эталонным ответом. Если качество ответов воркера на них падает ниже допустимого порога, система автоматически блокирует его.
• Поведенческий анализ: Отслеживание времени выполнения задания, хаотичных движений курсора или прокликивания "вслепую".
• Метрики согласия разметчиков: Для оценки того, насколько задача вообще объективна и понятна людям, измеряют уровень согласия между независимыми исполнителями. Применяются статистические метрики: каппа Коэна (Cohen's $\kappa$) для двух разметчиков и альфа Криппендорфа (Krippendorff's $\alpha$) для множества. Если согласие низкое, проблема обычно кроется в запутанной инструкции.

Этические аспекты

Масштабный краудсорсинг обнажил серьёзные проблемы платформенной экономики (Gig economy). Широкую огласку получил кейс кенийских сотрудников аутсорсинговой компании Sama. Чтобы сделать языковые модели OpenAI безопасными, эти асессоры за минимальную почасовую оплату обрабатывали тысячи текстов, содержащих описания насилия и незаконных действий, что приводило к психологическим травмам.

Кроме того, демографический перекос среди исполнителей приводит к тому, что в обучающие данные закладывается специфическая культурная предвзятость (Bias). Модели лучше усваивают ценности тех регионов, чьи жители активнее участвуют в разметке.

Будущее: LLM как судья

Стремительное развитие языковых моделей породило мощный тренд на автоматизацию самого краудсорсинга — подход LLM-as-a-Judge. Оценивать качество текстов, размечать тональность или классифицировать документы поручают передовым нейросетям (например, GPT-4). Во многих академических задачах согласованность оценок GPT-4 с мнением эксперта-человека оказывается сопоставимой с согласованностью двух людей между собой.

Тем не менее, подход имеет ограничения. LLM склонны отдавать предпочтение более длинным ответам (Verbosity bias), могут наследовать собственные внутренние смещения и чувствительны к формулировке промпта. Поэтому человеческая экспертиза остаётся незаменимой для финального контроля качества и решения нетривиальных доменных задач.

Заключение

Краудсорсинг в машинном обучении прошел огромный путь: от простых задач классификации картинок в эпоху зарождения Deep Learning до тончайшей настройки ценностей искусственного интеллекта в эпоху больших языковых моделей. Несмотря на попытки автоматизировать процесс генерации данных с помощью самих же нейросетей, "мудрость толпы" и узкоспециализированная человеческая экспертиза остаются тем фундаментом, без которого невозможно создание надежных, безопасных и полезных ИИ-систем.

Литература

• Dawid A. P., Skene A. M. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm // Journal of the Royal Statistical Society. Series C (Applied Statistics). — 1979. — Т. 28. — С. 20–28.
• Whitehill J. et al. Whose Vote Should Count More: Optimal Integration of Labels from Labelers of Unknown Expertise // Advances in Neural Information Processing Systems. — 2009. — Т. 22.
• Deng J. et al. ImageNet: A large-scale hierarchical image database // 2009 IEEE Conference on Computer Vision and Pattern Recognition. — 2009. — С. 248–255.
• Ouyang L. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems (NeurIPS). — 2022. — Т. 35. — С. 27730–27744.
• Settles B. Active Learning Literature Survey // Computer Sciences Technical Report 1648, University of Wisconsin–Madison. — 2009.
• Artstein R., Poesio M. Inter-Coder Agreement for Computational Linguistics // Computational Linguistics. — 2008. — Т. 34. — № 4. — С. 555–596.
• Zheng L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // arXiv preprint arXiv:2306.05685. — 2023.
• Surowiecki J. The Wisdom of Crowds. — Anchor Books, 2005. — ISBN 978-0385721707

Ссылки

• Perrigo B. Exclusive: OpenAI Used Kenyan Workers on Less Than $2 a Hour to Make ChatGPT Less Toxic2023-01-18.