Краудсорсинг

Материал из MachineLearning.

(Различия между версиями)

Текущая версия

Статья написана с использованием LLM Gemini и проверена участником Said Mavletov 21:27, 13 июля 2026 (MSD)

Краудсорсинг (англ. crowdsourcing, от crowd — «толпа» и sourcing — «использование ресурсов») — это концепция привлечения широкого круга добровольцев или удалённых исполнителей для решения задач, генерации идей или производства контента. Впервые термин был предложен журналистом Джеффом Хау в 2006 году. В широком смысле краудсорсинг охватывает всё: от написания статей в Википедию до поиска внеземных цивилизаций на домашних компьютерах.

Однако в контексте машинного обучения (Machine Learning, ML) и искусственного интеллекта краудсорсинг приобрёл специфическое и фундаментальное значение. Здесь он выступает главным инструментом для масштабного сбора, аннотирования и верификации данных. Поскольку современные модели зависят от огромных объёмов качественной обучающей выборки, распределение разметки данных среди "толпы" через специализированные платформы позволяет сделать этот процесс быстрым и экономически целесообразным.

Содержание

1 Эволюция краудсорсинга в машинном обучении
2 Агрегация вердиктов (Truth Inference)
3 Интеграция в конвейер машинного обучения
- 3.1 Активное обучение
- 3.2 Гибридная разметка (Human-in-the-Loop)
4 Контроль качества и оценка
5 Этические аспекты
6 Будущее: LLM как судья
7 Заключение
8 Литература
9 Ссылки

Эволюция краудсорсинга в машинном обучении

Роль краудсорсеров в создании систем искусственного интеллекта постоянно меняется по мере усложнения самих алгоритмов. Можно выделить три основных этапа:

Сбор и базовая верификация данных: Исторически краудсорсинг применялся для оцифровки или генерации простого контента. Знаковым стал проект базы изображений ImageNet (2009). База изначально формировалась парсингом поисковых систем и структурировалась через семантическую сеть WordNet. Однако именно платформа Amazon Mechanical Turk использовалась для масштабной ручной верификации — сотни тысяч людей подтверждали, действительно ли на фото изображён нужный объект.
Сложное аннотирование: С развитием глубокого обучения возникла потребность в разметке сложной структуры. В компьютерном зрении это выделение объектов ограничивающими рамками (Bounding boxes) и попиксельная сегментация. В обработке естественного языка (NLP) — классификация тональности, выделение именованных сущностей (NER) и синтаксический анализ.
Обучение на основе предпочтений (RLHF): С появлением больших языковых моделей (LLM) задача кардинально изменилась. В пайплайне Обучение с подкреплением на основе отзывов людей (RLHF) краудсорсеры (часто называемые асессорами) не пишут тексты с нуля, а выступают судьями, ранжируя ответы модели. На основе этих оценок сперва обучается модель вознаграждения (Reward Model), имитирующая человеческие предпочтения. Затем алгоритмы обучения с подкреплением, такие как PPO, оптимизируют саму языковую модель относительно этих вознаграждений.

Агрегация вердиктов (Truth Inference)

Главная проблема краудсорсинга — зашумлённость данных. Исполнители могут ошибаться из-за невнимательности, недостатка квалификации или злого умысла. Чтобы получить достоверный результат, одно и то же задание дают нескольким независимым исполнителям (создают перекрытие). Возникает задача математической агрегации ответов: как из множества несовершенных оценок получить одну истинную.

Голосование большинства

Самый простой эвристический подход — голосование большинства (Majority Voting). Для объекта $i$ и множества ответов исполнителей $z_{ij}$ итоговая метка $\hat{y}_i$ выбирается как наиболее частый ответ:

$\hat{y}_i = \arg\max_{k} \sum_{j} \mathbb{I}(z_{ij} = k)$

Здесь $\mathbb{I}(\cdot)$ — индикаторная функция, которая равна 1, если ответ исполнителя $j$ совпадает с классом $k$ , и 0 в противном случае. Метод предельно прост, но имеет серьёзный недостаток: голос эксперта и голос случайного спамера имеют одинаковый математический вес.

Модель Дэвида — Скина

Более строгий вероятностный подход был предложен А. Дэвидом и А. Скином в 1979 году. Модель (Dawid-Skene model) учитывает, что каждый исполнитель имеет свой уникальный уровень ошибок.

Поскольку истинные метки объектов нам изначально неизвестны (они являются скрытыми, латентными переменными), мы не можем напрямую максимизировать правдоподобие. Поэтому применяется EM-алгоритм (Expectation-Maximization), который итеративно уточняет ответы:

E-шаг (Ожидание): Принимая текущую оценку надёжности каждого воркера как данность, алгоритм вычисляет вероятностное распределение того, к какому классу на самом деле принадлежит объект.
M-шаг (Максимизация): Зная эти вероятностные оценки истинных классов, алгоритм пересчитывает "рейтинг" каждого исполнителя (его матрицу ошибок, то есть вероятности того, что он систематически путает одни конкретные классы с другими).

Процесс повторяется, пока оценки не перестанут меняться. В результате мы получаем точные метки данных и профиль качества каждого разметчика.

Модель GLAD

Модель GLAD (Generative model of Labels, Abilities, and Difficulties) расширяет этот подход. Её авторы учли интуитивно понятный факт: не только люди бывают с разной компетенцией, но и сами задачи обладают разным уровнем сложности.

В GLAD вводится параметр компетенции исполнителя $\alpha_j$ и параметр сложности задачи $\beta_i$ . Вероятность правильного ответа описывается логистической функцией:

$P(z_{ij} = y_i) = \frac{1}{1 + \exp(-\alpha_j \beta_i)}$

В данной параметризации маленькое значение $\beta_i$ (близкое к нулю) соответствует более сложной задаче. Если задача экстремально сложная, то произведение в экспоненте стремится к нулю, и вероятность правильного ответа падает до 0.5 (уровень случайного угадывания при бинарном выборе), даже если компетенция исполнителя $\alpha_j$ очень высока.

Интеграция в конвейер машинного обучения

В современной промышленной разработке краудсорсинг — это не разовая акция по выгрузке датасета, а часть непрерывного цикла обучения модели.

Активное обучение

Размечать все доступные сырые данные слишком долго и дорого. Активное обучение (Active Learning) позволяет модели самой решать, какие данные принесут ей наибольшую пользу. Процесс выглядит так:

Модель делает предсказания на огромном массиве неразмеченных данных.
Вычисляется метрика неуверенности модели (например, энтропия предсказаний).
Только те объекты, где модель сомневается сильнее всего, отправляются к людям на краудсорс.
Полученная экспертная разметка используется для дообучения модели, и цикл повторяется.

Гибридная разметка (Human-in-the-Loop)

Подход Human-in-the-Loop (HitL) предполагает тесное взаимодействие человека и алгоритма. Вместо того чтобы человек выполнял работу с нуля, используется предварительная разметка силами ИИ (Pre-labeling).

Например, в пайплайнах автономного вождения базовая нейросеть может автоматически и с высокой уверенностью размечать типовые объекты (машины, разметка, пешеходы). Человеку на платформу передаются лишь сложные, перекрытые или аномальные ситуации (Edge cases). Человек исправляет ошибки алгоритма, и именно эти ценнейшие исправления отправляются обратно в датасет для дообучения модели. Это кардинально снижает стоимость и ускоряет процесс аннотирования.

Контроль качества и оценка

Сбор данных вслепую ведет к деградации моделей (Garbage in, garbage out). Качественные платформы реализуют многоуровневый контроль:

Контрольные задания (Golden Tasks): В общий поток незаметно подмешиваются задачи с заранее известным заказчику эталонным ответом. Если качество ответов воркера на них падает ниже допустимого порога, система автоматически блокирует его.
Поведенческий анализ: Отслеживание времени выполнения задания, хаотичных движений курсора или прокликивания "вслепую".
Метрики согласия разметчиков: Для оценки того, насколько задача вообще объективна и понятна людям, измеряют уровень согласия между независимыми исполнителями. Применяются статистические метрики: каппа Коэна (Cohen's $\kappa$ ) для двух разметчиков и альфа Криппендорфа (Krippendorff's $\alpha$ ) для множества. Если согласие низкое, проблема обычно кроется в запутанной инструкции.

Этические аспекты

Масштабный краудсорсинг обнажил серьёзные проблемы платформенной экономики (Gig economy). Широкую огласку получил кейс кенийских сотрудников аутсорсинговой компании Sama. Чтобы сделать языковые модели OpenAI безопасными, эти асессоры за минимальную почасовую оплату обрабатывали тысячи текстов, содержащих описания насилия и незаконных действий, что приводило к психологическим травмам.

Кроме того, демографический перекос среди исполнителей приводит к тому, что в обучающие данные закладывается специфическая культурная предвзятость (Bias). Модели лучше усваивают ценности тех регионов, чьи жители активнее участвуют в разметке.

Будущее: LLM как судья

Стремительное развитие языковых моделей породило мощный тренд на автоматизацию самого краудсорсинга — подход LLM-as-a-Judge. Оценивать качество текстов, размечать тональность или классифицировать документы поручают передовым нейросетям (например, GPT-4). Во многих академических задачах согласованность оценок GPT-4 с мнением эксперта-человека оказывается сопоставимой с согласованностью двух людей между собой.

Тем не менее, подход имеет ограничения. LLM склонны отдавать предпочтение более длинным ответам (Verbosity bias), могут наследовать собственные внутренние смещения и чувствительны к формулировке промпта. Поэтому человеческая экспертиза остаётся незаменимой для финального контроля качества и решения нетривиальных доменных задач.

Заключение

Краудсорсинг в машинном обучении прошел огромный путь: от простых задач классификации картинок в эпоху зарождения Deep Learning до тончайшей настройки ценностей искусственного интеллекта в эпоху больших языковых моделей. Несмотря на попытки автоматизировать процесс генерации данных с помощью самих же нейросетей, "мудрость толпы" и узкоспециализированная человеческая экспертиза остаются тем фундаментом, без которого невозможно создание надежных, безопасных и полезных ИИ-систем.

Литература

Dawid A. P., Skene A. M. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm // Journal of the Royal Statistical Society. Series C (Applied Statistics). — 1979. — Т. 28. — С. 20–28.
Whitehill J. et al. Whose Vote Should Count More: Optimal Integration of Labels from Labelers of Unknown Expertise // Advances in Neural Information Processing Systems. — 2009. — Т. 22.
Deng J. et al. ImageNet: A large-scale hierarchical image database // 2009 IEEE Conference on Computer Vision and Pattern Recognition. — 2009. — С. 248–255.
Ouyang L. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems (NeurIPS). — 2022. — Т. 35. — С. 27730–27744.
Settles B. Active Learning Literature Survey // Computer Sciences Technical Report 1648, University of Wisconsin–Madison. — 2009.
Artstein R., Poesio M. Inter-Coder Agreement for Computational Linguistics // Computational Linguistics. — 2008. — Т. 34. — № 4. — С. 555–596.
Zheng L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // arXiv preprint arXiv:2306.05685. — 2023.
Surowiecki J. The Wisdom of Crowds. — Anchor Books, 2005. — ISBN 978-0385721707

Ссылки

Perrigo B. Exclusive: OpenAI Used Kenyan Workers on Less Than $2 a Hour to Make ChatGPT Less Toxic2023-01-18.

Источник — «http://recognition.su/wiki/index.php?title=%D0%9A%D1%80%D0%B0%D1%83%D0%B4%D1%81%D0%BE%D1%80%D1%81%D0%B8%D0%BD%D0%B3»

@@ Строка 1: / Строка 1: @@
-{{well|Статья написана с использованием LLM '''Gemini 1.5 Pro''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 19:22, 12 июля 2026 (MSD)}}
+{{well|Статья написана с использованием LLM '''Gemini''' и проверена участником [[Участник:Said Mavletov|Said Mavletov]] 21:27, 13 июля 2026 (MSD)}}
-'''Краудсорсинг''' (от англ. ''crowd'' — «толпа» и ''sourcing'' — «использование ресурсов») — это метод делегирования задач, традиционно выполняемых сотрудниками или подрядчиками, неопределенной, как правило, большой группе людей (крауду) в форме открытого призыва.
+'''Краудсорсинг''' (англ. ''crowdsourcing'', от ''crowd'' — «толпа» и ''sourcing'' — «использование ресурсов») — это концепция привлечения широкого круга добровольцев или удалённых исполнителей для решения задач, генерации идей или производства контента. Впервые термин был предложен журналистом Джеффом Хау в 2006 году. В широком смысле краудсорсинг охватывает всё: от написания статей в Википедию до поиска внеземных цивилизаций на домашних компьютерах.
-В широком смысле краудсорсинг применяется в самых разных областях: от наполнения свободных энциклопедий (Википедия) и проектов совместного картографирования (OpenStreetMap) до решения сложных задач гражданской науки (например, фолдинг белка в проекте Foldit) и проведения соревнований по анализу данных (Kaggle).
+Однако в контексте [[Машинное обучение|машинного обучения]] (Machine Learning, ML) и искусственного интеллекта краудсорсинг приобрёл специфическое и фундаментальное значение. Здесь он выступает главным инструментом для масштабного сбора, аннотирования и верификации данных. Поскольку современные модели зависят от огромных объёмов качественной обучающей выборки, распределение [[Разметка данных|разметки данных]] среди "толпы" через специализированные платформы позволяет сделать этот процесс быстрым и экономически целесообразным.
-В контексте [[Машинное обучение|машинного обучения]] краудсорсинг стал фундаментальным инструментом для массовой разметки данных, необходимых для алгоритмов [[Обучение с учителем|обучения с учителем]] (Supervised Learning) и систем обучения с подкреплением на основе отзывов людей ([[RLHF]]).
+== Эволюция краудсорсинга в машинном обучении ==
-== Основные принципы ==
+Роль краудсорсеров в создании систем искусственного интеллекта постоянно меняется по мере усложнения самих алгоритмов. Можно выделить три основных этапа:
-Для обучения моделей с учителем необходимы большие объемы размеченных данных. Чтобы алгоритм научился отличать кошек от собак на фотографиях, ему нужно показать тысячи изображений, где уже указано правильное значение целевой переменной. Когда объем данных исчисляется миллионами примеров, разметка силами штатных экспертов становится слишком долгой и дорогой.
-Здесь на помощь приходит краудсорсинг. Сложная задача (например, разметка датасета из 100 000 фотографий) разбивается на множество микрозадач (microtasks). Эти задачи выкладываются на специальную платформу, где тысячи независимых исполнителей — [[Асессор|асессоров]] — со всего мира выполняют их за небольшое вознаграждение.
+# '''Сбор и базовая верификация данных:''' Исторически краудсорсинг применялся для оцифровки или генерации простого контента. Знаковым стал проект базы изображений [[ImageNet]] (2009). База изначально формировалась парсингом поисковых систем и структурировалась через семантическую сеть [[WordNet]]. Однако именно платформа [[Amazon Mechanical Turk]] использовалась для масштабной ручной верификации — сотни тысяч людей подтверждали, действительно ли на фото изображён нужный объект.
+# '''Сложное аннотирование:''' С развитием глубокого обучения возникла потребность в разметке сложной структуры. В компьютерном зрении это выделение объектов ограничивающими рамками (Bounding boxes) и попиксельная сегментация. В обработке естественного языка (NLP) — классификация тональности, выделение именованных сущностей (NER) и синтаксический анализ.
+# '''Обучение на основе предпочтений (RLHF):''' С появлением больших языковых моделей (LLM) задача кардинально изменилась. В пайплайне [[Обучение с подкреплением на основе отзывов людей]] (RLHF) краудсорсеры (часто называемые асессорами) не пишут тексты с нуля, а выступают судьями, ранжируя ответы модели. На основе этих оценок сперва обучается ''модель вознаграждения'' (Reward Model), имитирующая человеческие предпочтения. Затем алгоритмы обучения с подкреплением, такие как [[PPO]], оптимизируют саму языковую модель относительно этих вознаграждений.
-=== Типичные задачи краудсорсинга в ML ===
+== Агрегация вердиктов (Truth Inference) ==
-* Классификация изображений и модерация контента (например, поиск запрещенных материалов).
-* Разметка текста: выделение именованных сущностей ([[NER]]), [[Анализ тональности|определение тональности]] (Sentiment Analysis).
-* Оценка релевантности поисковой выдачи.
-* Аудио-транскрибация (распознавание речи для обучения голосовых помощников).
-* Оценка ответов генеративных моделей (выбор лучшего из двух вариантов ответа чат-бота для последующего RLHF).
-== Контроль качества и агрегация ==
+Главная проблема краудсорсинга — зашумлённость данных. Исполнители могут ошибаться из-за невнимательности, недостатка квалификации или злого умысла. Чтобы получить достоверный результат, одно и то же задание дают нескольким независимым исполнителям (создают перекрытие). Возникает задача математической агрегации ответов: как из множества несовершенных оценок получить одну истинную.
-Главная проблема краудсорсинга — наличие шума в данных. Исполнители могут ошибаться, уставать или намеренно кликать случайные варианты ради быстрого заработка (спамеры). Поэтому наивный подход (одно задание — один исполнитель) редко применяется при создании крупных промышленных датасетов.
-Для получения высококачественной разметки используется [[Перекрытие|перекрытие]] (overlap) — одно и то же задание дается нескольким независимым асессорам. Возникает математическая задача '''агрегации ответов'''.
+=== Голосование большинства ===
+Самый простой эвристический подход — голосование большинства (Majority Voting). Для объекта <tex>i</tex> и множества ответов исполнителей <tex>z_{ij}</tex> итоговая метка <tex>\hat{y}_i</tex> выбирается как наиболее частый ответ:
-=== Методы агрегации разметок ===
+<tex>\hat{y}_i = \arg\max_{k} \sum_{j} \mathbb{I}(z_{ij} = k)</tex>
-# '''[[Голосование большинством]]''' (Majority Vote, MV). Самый простой эвристический подход. Итоговой меткой считается та, которую выбрало большинство исполнителей. Метод хорошо работает при высоком среднем качестве крауда, но уязвим к скоординированному спаму и игнорирует тот факт, что квалификация у асессоров разная.
-# '''[[Модель Дэвида-Скина]]''' (Dawid-Skene). Классический байесовский подход, предложенный еще в 1979 году для медицинских консилиумов, но ставший одним из наиболее распространённых методов в краудсорсинге. Модель одновременно оценивает скрытую истинную метку (latent truth) объекта и [[Матрица ошибок|матрицу ошибок]] (confusion matrix) каждого исполнителя. Оптимизация параметров происходит с помощью [[EM-алгоритм|EM-алгоритма]] (Expectation-Maximization).
-# '''[[Модель GLAD]]''' (Generative model of Labels, Abilities, and Difficulties). Развитие идей Dawid-Skene. Помимо компетентности самого исполнителя, алгоритм учитывает внутреннюю сложность конкретного задания.
-=== Архитектура качества пайплайнов ===
+Здесь <tex>\mathbb{I}(\cdot)</tex> — индикаторная функция, которая равна 1, если ответ исполнителя <tex>j</tex> совпадает с классом <tex>k</tex>, и 0 в противном случае. Метод предельно прост, но имеет серьёзный недостаток: голос эксперта и голос случайного спамера имеют одинаковый математический вес.
-Современные платформы разметки (такие как [[Яндекс.Толока]], [[Amazon Mechanical Turk]], [[Scale AI]]) предлагают встроенные механизмы повышения качества еще до этапа агрегации:
-* '''Обучающие пулы и экзамены:''' исполнитель допускается к боевой задаче только после успешного прохождения теста.
-* '''Ханипоты (Honeypots / Контрольные задания):''' в общий пул задач незаметно подмешиваются задания с заранее известным правильным ответом. Если исполнитель часто ошибается на ханипотах, его блокируют, а его разметку аннулируют.
-* '''Динамическое ценообразование:''' вознаграждение растет вместе с показателем надежности (trust score) асессора.
-== Синергия с активным обучением ==
+=== Модель Дэвида — Скина ===
-В современных пайплайнах краудсорсинг часто объединяют с [[Активное обучение|активным обучением]] (Active Learning). Вместо того чтобы размечать весь огромный массив сырых данных, ML-модель сама выбирает те объекты, в которых она «не уверена» (например, где распределение вероятностей классов близко к равномерному), и отправляет в краудсорсинг только их. Это позволяет сократить бюджет на разметку в десятки раз без потери качества итоговой модели.
+Более строгий вероятностный подход был предложен А. Дэвидом и А. Скином в 1979 году. Модель (Dawid-Skene model) учитывает, что каждый исполнитель имеет свой уникальный уровень ошибок.
+Поскольку истинные метки объектов нам изначально неизвестны (они являются скрытыми, латентными переменными), мы не можем напрямую максимизировать правдоподобие. Поэтому применяется [[EM-алгоритм]] (Expectation-Maximization), который итеративно уточняет ответы:
+* '''E-шаг (Ожидание):''' Принимая текущую оценку надёжности каждого воркера как данность, алгоритм вычисляет вероятностное распределение того, к какому классу на самом деле принадлежит объект.
+* '''M-шаг (Максимизация):''' Зная эти вероятностные оценки истинных классов, алгоритм пересчитывает "рейтинг" каждого исполнителя (его матрицу ошибок, то есть вероятности того, что он систематически путает одни конкретные классы с другими).
+Процесс повторяется, пока оценки не перестанут меняться. В результате мы получаем точные метки данных и профиль качества каждого разметчика.
+=== Модель GLAD ===
+Модель GLAD (Generative model of Labels, Abilities, and Difficulties) расширяет этот подход. Её авторы учли интуитивно понятный факт: не только люди бывают с разной компетенцией, но и сами задачи обладают разным уровнем сложности.
+В GLAD вводится параметр компетенции исполнителя <tex>\alpha_j</tex> и параметр сложности задачи <tex>\beta_i</tex>. Вероятность правильного ответа описывается логистической функцией:
+<tex>P(z_{ij} = y_i) = \frac{1}{1 + \exp(-\alpha_j \beta_i)}</tex>
+В данной параметризации маленькое значение <tex>\beta_i</tex> (близкое к нулю) соответствует более сложной задаче. Если задача экстремально сложная, то произведение в экспоненте стремится к нулю, и вероятность правильного ответа падает до 0.5 (уровень случайного угадывания при бинарном выборе), даже если компетенция исполнителя <tex>\alpha_j</tex> очень высока.
+== Интеграция в конвейер машинного обучения ==
+В современной промышленной разработке краудсорсинг — это не разовая акция по выгрузке датасета, а часть непрерывного цикла обучения модели.
+=== Активное обучение ===
+Размечать все доступные сырые данные слишком долго и дорого. [[Активное обучение]] (Active Learning) позволяет модели самой решать, какие данные принесут ей наибольшую пользу.
+Процесс выглядит так:
+# Модель делает предсказания на огромном массиве ''неразмеченных данных''.
+# Вычисляется метрика неуверенности модели (например, энтропия предсказаний).
+# Только те объекты, где модель сомневается сильнее всего, отправляются к людям на краудсорс.
+# Полученная экспертная разметка используется для дообучения модели, и цикл повторяется.
+=== Гибридная разметка (Human-in-the-Loop) ===
+Подход Human-in-the-Loop (HitL) предполагает тесное взаимодействие человека и алгоритма. Вместо того чтобы человек выполнял работу с нуля, используется предварительная разметка силами ИИ (Pre-labeling).
+Например, в пайплайнах автономного вождения базовая нейросеть может автоматически и с высокой уверенностью размечать типовые объекты (машины, разметка, пешеходы). Человеку на платформу передаются лишь сложные, перекрытые или аномальные ситуации (Edge cases). Человек исправляет ошибки алгоритма, и именно эти ценнейшие исправления отправляются обратно в датасет для дообучения модели. Это кардинально снижает стоимость и ускоряет процесс аннотирования.
+== Контроль качества и оценка ==
+Сбор данных вслепую ведет к деградации моделей (Garbage in, garbage out). Качественные платформы реализуют многоуровневый контроль:
+* '''Контрольные задания (Golden Tasks):''' В общий поток незаметно подмешиваются задачи с заранее известным заказчику эталонным ответом. Если качество ответов воркера на них падает ниже допустимого порога, система автоматически блокирует его.
+* '''Поведенческий анализ:''' Отслеживание времени выполнения задания, хаотичных движений курсора или прокликивания "вслепую".
+* '''Метрики согласия разметчиков:''' Для оценки того, насколько задача вообще объективна и понятна людям, измеряют уровень согласия между независимыми исполнителями. Применяются статистические метрики: каппа Коэна (Cohen's <tex>\kappa</tex>) для двух разметчиков и альфа Криппендорфа (Krippendorff's <tex>\alpha</tex>) для множества. Если согласие низкое, проблема обычно кроется в запутанной инструкции.
+== Этические аспекты ==
+Масштабный краудсорсинг обнажил серьёзные проблемы платформенной экономики (Gig economy). Широкую огласку получил кейс кенийских сотрудников аутсорсинговой компании [[Sama]]. Чтобы сделать языковые модели OpenAI безопасными, эти асессоры за минимальную почасовую оплату обрабатывали тысячи текстов, содержащих описания насилия и незаконных действий, что приводило к психологическим травмам.
+Кроме того, демографический перекос среди исполнителей приводит к тому, что в обучающие данные закладывается специфическая культурная [[Предвзятость (машинное обучение)|предвзятость (Bias)]]. Модели лучше усваивают ценности тех регионов, чьи жители активнее участвуют в разметке.
+== Будущее: LLM как судья ==
+Стремительное развитие языковых моделей породило мощный тренд на автоматизацию самого краудсорсинга — подход '''LLM-as-a-Judge'''. Оценивать качество текстов, размечать тональность или классифицировать документы поручают передовым нейросетям (например, [[GPT-4]]). Во многих академических задачах согласованность оценок GPT-4 с мнением эксперта-человека оказывается сопоставимой с согласованностью двух людей между собой.
+Тем не менее, подход имеет ограничения. LLM склонны отдавать предпочтение более длинным ответам (Verbosity bias), могут наследовать собственные внутренние смещения и чувствительны к формулировке промпта. Поэтому человеческая экспертиза остаётся незаменимой для финального контроля качества и решения нетривиальных доменных задач.
+== Заключение ==
+Краудсорсинг в машинном обучении прошел огромный путь: от простых задач классификации картинок в эпоху зарождения Deep Learning до тончайшей настройки ценностей искусственного интеллекта в эпоху больших языковых моделей. Несмотря на попытки автоматизировать процесс генерации данных с помощью самих же нейросетей, "мудрость толпы" и узкоспециализированная человеческая экспертиза остаются тем фундаментом, без которого невозможно создание надежных, безопасных и полезных ИИ-систем.
 == Литература ==
-* {{статья | автор = Dawid A. P., Skene A. M. | заглавие = Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm | журнал = Journal of the Royal Statistical Society. Series C (Applied Statistics) | год = 1979 | том = 28 | номер = 1 | страницы = 20-28 }}
+* {{статья|автор=Dawid A. P., Skene A. M.|заглавие=Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm|издание=Journal of the Royal Statistical Society. Series C (Applied Statistics)|год=1979|том=28|страницы=20–28}}
-* {{статья | автор = Raykar V. C. [и др.] | заглавие = Learning from Crowds | журнал = Journal of Machine Learning Research | год = 2010 | том = 11 | страницы = 1297-1322 }}
+* {{статья|автор=Whitehill J. et al.|заглавие=Whose Vote Should Count More: Optimal Integration of Labels from Labelers of Unknown Expertise|издание=Advances in Neural Information Processing Systems|год=2009|том=22}}
-* {{статья | автор = Zheng Y. [и др.] | заглавие = Truth Inference in Crowdsourcing: Is the Problem Solved? | журнал = Proceedings of the VLDB Endowment | год = 2017 | том = 10 | номер = 5 | страницы = 541-552 }}
+* {{статья|автор=Deng J. et al.|заглавие=ImageNet: A large-scale hierarchical image database|издание=2009 IEEE Conference on Computer Vision and Pattern Recognition|год=2009|страницы=248–255}}
-* {{статья | автор = Ouyang L. [и др.] | заглавие = Training language models to follow instructions with human feedback (RLHF) | журнал = Advances in Neural Information Processing Systems | год = 2022 | том = 35 | страницы = 27730-27744 }}
+* {{статья|автор=Ouyang L. et al.|заглавие=Training language models to follow instructions with human feedback|издание=Advances in Neural Information Processing Systems (NeurIPS)|год=2022|том=35|страницы=27730–27744}}
+* {{статья|автор=Settles B.|заглавие=Active Learning Literature Survey|издание=Computer Sciences Technical Report 1648, University of Wisconsin–Madison|год=2009}}
+* {{статья|автор=Artstein R., Poesio M.|заглавие=Inter-Coder Agreement for Computational Linguistics|издание=Computational Linguistics|год=2008|том=34|номер=4|страницы=555–596}}
+* {{статья|автор=Zheng L. et al.|заглавие=Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena|издание=arXiv preprint arXiv:2306.05685|год=2023}}
+* {{книга|автор=Surowiecki J.|заглавие=The Wisdom of Crowds|издательство=Anchor Books|год=2005|isbn=978-0385721707}}
-[[Категория:Машинное обучение]]
+== Ссылки ==
-[[Категория:Сбор данных]]
+* {{cite web |url=https://time.com/6247678/openai-chatgpt-kenya-workers/ |title=Exclusive: OpenAI Used Kenyan Workers on Less Than $2 a Hour to Make ChatGPT Less Toxic |author=Perrigo B. |website=TIME Magazine |date=2023-01-18 |accessdate=2024-05-20}}
-[[Категория:Методология]]