|
|
| Строка 1: |
Строка 1: |
| - | {{well| Статья написана с использованием LLM '''Claude Sonnet 5''' и проверена участником [[Участник:Gadel Mahmutov|Gadel Mahmutov]] 19:56, 5 июля 2026 (MSD)
| + | #REDIRECT[[Композиционные методы]] |
| - | Промпт приводится полностью в [[Обсуждение:Ансамбль алгоритмов]]}}
| + | |
| - | '''Ансамбль алгоритмов''' (англ. ''ensemble learning'') — методология [[машинное обучение|машинного обучения]], в которой для решения одной задачи прогнозирования используется не одна [[модель машинного обучения|модель]], а согласованный набор (ансамбль) моделей, называемых '''базовыми алгоритмами''' или '''базовыми классификаторами''' (''base learners''), а итоговый прогноз получается путём объединения (агрегирования) их индивидуальных предсказаний — например, голосованием, усреднением или обучаемой комбинацией<ref name="dietterich2000">Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), ''Multiple Classifier Systems'' (Lecture Notes in Computer Science, Vol. 1857, pp. 1–15). Springer. https://doi.org/10.1007/3-540-45014-9_1</ref>. Ансамблевые методы, как правило, показывают более высокое качество и устойчивость предсказаний, чем любой из составляющих их базовых алгоритмов в отдельности, за счёт снижения дисперсии, смещения или того и другого одновременно<ref name="hastie2009">Hastie, T., Tibshirani, R., & Friedman, J. (2009). ''The Elements of Statistical Learning: Data Mining, Inference, and Prediction'' (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7</ref>.
| + | |
| - | | + | |
| - | К числу наиболее известных ансамблевых подходов относятся [[бэггинг]] (''bagging''), [[бустинг]] (''boosting''), [[случайный лес]] (''random forest'') и [[стекинг]] (''stacking''); эти методы широко применяются в задачах [[классификация (машинное обучение)|классификации]], [[регрессионный анализ|регрессии]] и во многих прикладных областях, а также стабильно занимают ведущие места в соревнованиях по анализу данных, включая [[Kaggle]]<ref name="dietterich2000" />.
| + | |
| - | | + | |
| - | == Определение и мотивация ==
| + | |
| - | | + | |
| - | Формально пусть требуется построить прогностическую функцию <tex>f: \mathcal{X} \to \mathcal{Y}</tex>, которая по объекту <tex>x \in \mathcal{X}</tex> предсказывает целевую переменную <tex>y \in \mathcal{Y}</tex>. Вместо обучения единственной модели <tex>f</tex> строится набор из <tex>M</tex> базовых алгоритмов <tex>h_1, h_2, \ldots, h_M</tex>, а итоговое решение ансамбля <tex>H(x)</tex> формируется как функция их выходов:
| + | |
| - | | + | |
| - | <tex>
| + | |
| - | H(x) = C\bigl(h_1(x), h_2(x), \ldots, h_M(x)\bigr),
| + | |
| - | </tex>
| + | |
| - | | + | |
| - | где <tex>C</tex> — правило комбинирования (агрегатор). Для задач классификации в качестве <tex>C</tex> часто используется [[мажоритарное голосование]] (простое или взвешенное), а для регрессии — [[среднее арифметическое]] или взвешенное среднее предсказаний<ref name="zhou2012">Zhou, Z.-H. (2012). ''Ensemble Methods: Foundations and Algorithms''. CRC Press. ISBN 978-1-4398-3003-1.</ref>.
| + | |
| - | | + | |
| - | Идея ансамблей опирается на несколько взаимодополняющих соображений, сформулированных Т. Дитерихом<ref name="dietterich2000" />:
| + | |
| - | | + | |
| - | * '''Статистическая причина.''' Если обучающая выборка невелика, у алгоритма обучения может существовать несколько разных гипотез, одинаково хорошо объясняющих данные. Выбор одной из них рискован; усреднение по нескольким снижает риск выбрать неудачную гипотезу.
| + | |
| - | * '''Вычислительная причина.''' Многие алгоритмы обучения (например, построение [[дерево решений|деревьев решений]] или обучение [[нейронная сеть|нейронных сетей]]) выполняют локальный поиск и могут застревать в локальных оптимумах. Запуск алгоритма из разных начальных точек и объединение результатов даёт лучшее приближение к оптимальному решению, чем единичный запуск.
| + | |
| - | * '''Репрезентационная причина.''' Истинная зависимость между признаками и целевой переменной может не входить в пространство гипотез, доступное отдельному базовому алгоритму. Взвешенная сумма нескольких гипотез из этого пространства способна аппроксимировать функции, недостижимые ни одной гипотезой по отдельности.
| + | |
| - | | + | |
| - | С теоретической точки зрения выигрыш ансамблей часто объясняют через классическое '''разложение ошибки на смещение и дисперсию''' (''bias–variance decomposition''): ожидаемая квадратичная ошибка прогноза раскладывается как
| + | |
| - | | + | |
| - | <tex>
| + | |
| - | \mathbb{E}\bigl[(y - \hat f(x))^2\bigr] = \operatorname{Bias}[\hat f(x)]^2 + \operatorname{Var}[\hat f(x)] + \sigma^2,
| + | |
| - | </tex>
| + | |
| - | | + | |
| - | где <tex>\sigma^2</tex> — неустранимый шум<ref name="hastie2009" />. Методы, подобные бэггингу, усредняют предсказания моделей с высокой дисперсией, обученных на разных подвыборках, и тем самым уменьшают член <tex>\operatorname{Var}</tex>, почти не меняя смещения; методы, подобные бустингу, последовательно уменьшают смещение, комбинируя простые («слабые») модели во всё более точную составную модель<ref name="hastie2009" /><ref name="schapire1990">Schapire, R. E. (1990). The strength of weak learnability. ''Machine Learning'', 5(2), 197–227. https://doi.org/10.1007/BF00116037</ref>.
| + | |
| - | | + | |
| - | Другой ключевой фактор эффективности ансамбля — '''разнообразие''' (''diversity'') базовых алгоритмов: если ошибки отдельных моделей слабо коррелированы между собой, их усреднение взаимно гасит случайные ошибки. Для ансамбля из <tex>M</tex> независимых и одинаково точных классификаторов с вероятностью ошибки <tex>p < 0{,}5</tex> каждого голосование большинством может дать вероятность ошибки, стремящуюся к нулю при росте <tex>M</tex> — это классический результат, восходящий к [[теорема присяжных Кондорсе|теореме присяжных Кондорсе]] и применённый к ансамблям классификаторов Хансеном и Саламоном<ref name="hansen1990">Hansen, L. K., & Salamon, P. (1990). Neural network ensembles. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'', 12(10), 993–1001. https://doi.org/10.1109/34.58871</ref>. На практике полной независимости моделей добиться нельзя, поэтому реальный выигрыш зависит от компромисса между точностью отдельных базовых алгоритмов и их взаимным разнообразием — это соотношение формализуется, в частности, разложением ошибки ансамбля на «средняя ошибка минус разброс» (''ambiguity decomposition'')<ref name="krogh1995">Krogh, A., & Vedelsby, J. (1995). Neural network ensembles, cross validation, and active learning. In ''Advances in Neural Information Processing Systems'' (Vol. 7, pp. 231–238). MIT Press.</ref>.
| + | |
| - | | + | |
| - | == Способы построения ансамбля ==
| + | |
| - | | + | |
| - | Существующие методы различаются прежде всего тем, ''как'' создаётся разнообразие между базовыми алгоритмами и ''как'' их предсказания объединяются.
| + | |
| - | | + | |
| - | === Управление обучающей выборкой ===
| + | |
| - | | + | |
| - | Базовые алгоритмы можно обучать на разных подвыборках или взвешенных версиях исходной обучающей выборки:
| + | |
| - | | + | |
| - | * при [[бэггинг]]е (сокращение от ''bootstrap aggregating'') каждый базовый алгоритм обучается на собственной [[бутстрэп|бутстрэп-выборке]] — выборке того же размера, полученной случайным выбором объектов с возвращением, — а итоговый прогноз усредняется (регрессия) или определяется голосованием (классификация)<ref name="breiman1996">Breiman, L. (1996). Bagging predictors. ''Machine Learning'', 24(2), 123–140. https://doi.org/10.1007/BF00058655</ref>;
| + | |
| - | * при [[бустинг]]е объекты обучающей выборки получают веса, которые итеративно перевзвешиваются: после каждого шага веса неверно классифицированных объектов увеличиваются, так что следующий базовый алгоритм вынужден концентрироваться на «трудных» примерах<ref name="freund1997">Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. ''Journal of Computer and System Sciences'', 55(1), 119–139. https://doi.org/10.1006/jcss.1997.1504</ref>.
| + | |
| - | | + | |
| - | === Управление пространством признаков ===
| + | |
| - | | + | |
| - | Разнообразие также достигается обучением базовых алгоритмов на разных подмножествах признаков — этот приём называется ''методом случайных подпространств'' (''random subspace method'')<ref name="ho1998">Ho, T. K. (1998). The random subspace method for constructing decision forests. ''IEEE Transactions on Pattern Analysis and Machine Intelligence'', 20(8), 832–844. https://doi.org/10.1109/34.709601</ref>. Комбинация случайного отбора и объектов, и признаков лежит в основе [[случайный лес|случайного леса]] — ансамбля [[дерево решений|деревьев решений]], в котором каждое дерево строится на своей бутстрэп-выборке, а при выборе очередного расщепления в узле дерева рассматривается только случайное подмножество признаков<ref name="breiman2001">Breiman, L. (2001). Random forests. ''Machine Learning'', 45(1), 5–32. https://doi.org/10.1023/A:1010933404324</ref>.
| + | |
| - | | + | |
| - | === Управление алгоритмом и способом комбинирования ===
| + | |
| - | | + | |
| - | Разнообразие можно получить также, обучая базовые алгоритмы разных типов (например, дерево решений, линейную модель и метод опорных векторов) на одних и тех же данных. В этом случае для комбинирования их предсказаний часто применяют не фиксированное правило вроде голосования, а отдельную обучаемую модель — '''метаалгоритм''' (''meta-learner''), которая принимает на вход предсказания базовых моделей и выдаёт итоговый ответ. Такой подход называется '''стекинг''' (''stacked generalization'', ''stacking'') и был предложен Д. Вольпертом<ref name="wolpert1992">Wolpert, D. H. (1992). Stacked generalization. ''Neural Networks'', 5(2), 241–259. https://doi.org/10.1016/S0893-6080(05)80023-1</ref>. Чтобы метаалгоритм не переобучался на предсказаниях базовых моделей, обучающие данные для него формируют по схеме, аналогичной [[перекрёстная проверка|перекрёстной проверке]] (''cross-validation'').
| + | |
| - | | + | |
| - | Простейшей альтернативой обучаемому агрегатору является '''смешивание''' (''blending'') — усреднение или взвешенное голосование по предсказаниям нескольких независимо обученных моделей с весами, подобранными на отдельной валидационной выборке.
| + | |
| - | | + | |
| - | == Основные семейства методов ==
| + | |
| - | | + | |
| - | === Бэггинг ===
| + | |
| - | {{main|Бэггинг}}
| + | |
| - | [[Бэггинг]] снижает дисперсию предсказаний, усредняя результаты множества базовых моделей, обученных на независимых бутстрэп-выборках. Метод особенно эффективен для '''неустойчивых''' алгоритмов обучения — таких, у которых небольшое изменение обучающей выборки приводит к существенному изменению построенной модели (например, деревья решений большой глубины); для устойчивых алгоритмов (например, [[метод k ближайших соседей]]) выигрыш от бэггинга невелик<ref name="breiman1996" />. Побочным продуктом бэггинга является '''out-of-bag'''-оценка ошибки: поскольку в среднем около трети объектов не попадает в каждую конкретную бутстрэп-выборку, эти объекты можно использовать как встроенную контрольную выборку без отдельного разбиения данных<ref name="breiman1996" /><ref name="breiman2001" />.
| + | |
| - | | + | |
| - | === Случайный лес ===
| + | |
| - | {{main|Случайный лес}}
| + | |
| - | [[Случайный лес]] расширяет идею бэггинга применительно к деревьям решений, дополнительно вводя случайность на уровне выбора признаков при построении каждого расщепления. За счёт этого деревья ансамбля становятся менее скоррелированными между собой, что дополнительно уменьшает дисперсию итогового предсказания по сравнению с обычным бэггингом деревьев<ref name="breiman2001" />.
| + | |
| - | | + | |
| - | === Бустинг ===
| + | |
| - | {{main|Бустинг}}
| + | |
| - | [[Бустинг]] строит ансамбль последовательно: каждый следующий базовый алгоритм обучается с учётом ошибок уже построенной части ансамбля. Первым практически реализуемым алгоритмом бустинга стал '''[[AdaBoost]]''' («адаптивный бустинг»), предложенный Й. Фрейндом и Р. Шапире<ref name="freund1997" />; он опирался на более ранний теоретический результат Шапире о том, что набор «слабых» классификаторов (точность каждого из которых лишь немного превышает случайное угадывание) можно объединить в один «сильный» классификатор произвольно высокой точности<ref name="schapire1990" />. Дальнейшим развитием идеи стал '''градиентный бустинг''' (''gradient boosting''), в котором построение ансамбля рассматривается как численная оптимизация функционала ошибки методом [[градиентный спуск|градиентного спуска]] в пространстве функций: каждый следующий базовый алгоритм обучается приближать [[антиградиент]] функции потерь по текущим предсказаниям ансамбля<ref name="friedman2001">Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. ''The Annals of Statistics'', 29(5), 1189–1232. https://doi.org/10.1214/aos/1013203451</ref>. На основе градиентного бустинга над деревьями решений построены широко используемые библиотеки [[XGBoost]], [[LightGBM]] и [[CatBoost]].
| + | |
| - | | + | |
| - | === Стекинг и смешивание ===
| + | |
| - | {{main|Стекинг}}
| + | |
| - | [[Стекинг]] и смешивание, в отличие от бэггинга и бустинга, обычно применяются не для ансамблирования большого числа однотипных слабых моделей, а для комбинирования небольшого числа разнородных, уже достаточно точных моделей с целью получить дополнительный прирост качества за счёт их взаимодополняющих ошибок<ref name="wolpert1992" />.
| + | |
| - | | + | |
| - | == Историческая справка ==
| + | |
| - | | + | |
| - | Идея объединения нескольких оценок для получения более надёжного результата восходит к статистике XVIII—XIX веков (например, к усреднению независимых измерений и к [[теорема присяжных Кондорсе|теореме Кондорсе]] о коллективном принятии решений). В машинном обучении первые систематические результаты о выигрыше от комбинирования моделей относятся к концу 1980-х — началу 1990-х годов: Хансен и Саламон показали, что усреднение по ансамблю нейронных сетей снижает ошибку обобщения по сравнению с отдельной сетью<ref name="hansen1990" />, а Вольперт предложил стекинг как общую схему обучаемого комбинирования моделей<ref name="wolpert1992" />.
| + | |
| - | | + | |
| - | Решающий теоретический сдвиг произошёл в 1990 году, когда Р. Шапире доказал, что «слабую обучаемость» (существование алгоритма, чуть более точного, чем случайное угадывание) можно преобразовать в «сильную обучаемость» (произвольно высокую точность), формально обосновав саму возможность бустинга<ref name="schapire1990" />. Эта теоретическая конструкция была превращена в практичный и широко применимый алгоритм — AdaBoost — Фрейндом и Шапире в 1996—1997 годах<ref name="freund1997" />. Параллельно Л. Брейман предложил бэггинг (1996)<ref name="breiman1996" /> и позднее объединил идеи бэггинга и случайного выбора признаков в методе случайного леса (2001)<ref name="breiman2001" />, а Т. Хо независимо развивала метод случайных подпространств для построения ансамблей деревьев<ref name="ho1998" />.
| + | |
| - | | + | |
| - | На рубеже 2000-х годов Дж. Фридман переформулировал бустинг в общих терминах численной оптимизации в функциональном пространстве, предложив градиентный бустинг как единую схему, применимую к произвольным дифференцируемым функциям потерь и различным типам базовых моделей<ref name="friedman2001" />. Обзорная статья Т. Дитериха 2000 года систематизировала накопленные к тому времени подходы и статистические, вычислительные и репрезентационные аргументы в пользу ансамблевых методов, закрепив ансамблевое обучение как самостоятельное направление машинного обучения<ref name="dietterich2000" />. В 2000-е и 2010-е годы на основе градиентного бустинга над деревьями решений были разработаны высокопроизводительные промышленные библиотеки (XGBoost, LightGBM, CatBoost), которые благодаря сочетанию точности, скорости и удобства использования стали одними из самых популярных инструментов для работы со структурированными (табличными) данными и регулярно применяются победителями соревнований по анализу данных.
| + | |
| - | | + | |
| - | == Практические аспекты и ограничения ==
| + | |
| - | | + | |
| - | Ансамблевые методы, как правило, требуют больше вычислительных ресурсов и памяти, чем единичная модель, поскольку нужно хранить и применять сразу несколько базовых алгоритмов. Итоговые модели также обычно менее интерпретируемы, чем одно дерево решений или линейная модель, — это часто компенсируют дополнительными методами объяснения предсказаний (например, оценками важности признаков в случайном лесе).
| + | |
| - | | + | |
| - | Кроме того, ансамблевые методы неравнозначно устойчивы к переобучению: бэггинг и случайный лес слабо подвержены переобучению при увеличении числа базовых моделей, тогда как бустинг, продолжающий добавлять базовые алгоритмы после достижения нулевой ошибки на обучающей выборке, при неудачном подборе параметров (числа итераций, скорости обучения, глубины деревьев) может переобучаться, хотя на практике часто демонстрирует устойчивость к переобучению существенно дольше, чем можно было бы ожидать теоретически<ref name="dietterich2000" />.
| + | |
| - | | + | |
| - | == См. также ==
| + | |
| - | | + | |
| - | * [[Машинное обучение]]
| + | |
| - | * [[Бэггинг]]
| + | |
| - | * [[Бустинг]]
| + | |
| - | * [[Случайный лес]]
| + | |
| - | * [[Стекинг]]
| + | |
| - | * [[AdaBoost]]
| + | |
| - | * [[Градиентный бустинг]]
| + | |
| - | * [[Смещение и дисперсия (статистика)|Разложение ошибки на смещение и дисперсию]]
| + | |
| - | * [[Дерево решений]]
| + | |
| - | * [[Переобучение]]
| + | |
| - | | + | |
| - | == Примечания ==
| + | |
| - | <references/>
| + | |
| - | | + | |
| - | == Литература ==
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Breiman L.
| + | |
| - | |заглавие = Bagging predictors
| + | |
| - | |издание = Machine Learning
| + | |
| - | |год = 1996
| + | |
| - | |том = 24
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 123–140
| + | |
| - | |ссылка = https://doi.org/10.1007/BF00058655
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Breiman L.
| + | |
| - | |заглавие = Random forests
| + | |
| - | |издание = Machine Learning
| + | |
| - | |год = 2001
| + | |
| - | |том = 45
| + | |
| - | |номер = 1
| + | |
| - | |страницы = 5–32
| + | |
| - | |ссылка = https://doi.org/10.1023/A:1010933404324
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Dietterich T. G.
| + | |
| - | |часть = Ensemble Methods in Machine Learning
| + | |
| - | |заглавие = Multiple Classifier Systems (Lecture Notes in Computer Science)
| + | |
| - | |год = 2000
| + | |
| - | |место = Berlin
| + | |
| - | |издательство = Springer
| + | |
| - | |том = 1857
| + | |
| - | |страницы = 1–15
| + | |
| - | |ссылка = https://doi.org/10.1007/3-540-45014-9_1
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Freund Y., Schapire R. E.
| + | |
| - | |заглавие = A decision-theoretic generalization of on-line learning and an application to boosting
| + | |
| - | |издание = Journal of Computer and System Sciences
| + | |
| - | |год = 1997
| + | |
| - | |том = 55
| + | |
| - | |номер = 1
| + | |
| - | |страницы = 119–139
| + | |
| - | |ссылка = https://doi.org/10.1006/jcss.1997.1504
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Friedman J. H.
| + | |
| - | |заглавие = Greedy function approximation: A gradient boosting machine
| + | |
| - | |издание = The Annals of Statistics
| + | |
| - | |год = 2001
| + | |
| - | |том = 29
| + | |
| - | |номер = 5
| + | |
| - | |страницы = 1189–1232
| + | |
| - | |ссылка = https://doi.org/10.1214/aos/1013203451
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Hansen L. K., Salamon P.
| + | |
| - | |заглавие = Neural network ensembles
| + | |
| - | |издание = IEEE Transactions on Pattern Analysis and Machine Intelligence
| + | |
| - | |год = 1990
| + | |
| - | |том = 12
| + | |
| - | |номер = 10
| + | |
| - | |страницы = 993–1001
| + | |
| - | |ссылка = https://doi.org/10.1109/34.58871
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{книга
| + | |
| - | |автор = Hastie T., Tibshirani R., Friedman J.
| + | |
| - | |заглавие = The Elements of Statistical Learning: Data Mining, Inference, and Prediction
| + | |
| - | |издание = 2-е изд.
| + | |
| - | |место = New York
| + | |
| - | |издательство = Springer
| + | |
| - | |год = 2009
| + | |
| - | |ссылка = https://doi.org/10.1007/978-0-387-84858-7
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Ho T. K.
| + | |
| - | |заглавие = The random subspace method for constructing decision forests
| + | |
| - | |издание = IEEE Transactions on Pattern Analysis and Machine Intelligence
| + | |
| - | |год = 1998
| + | |
| - | |том = 20
| + | |
| - | |номер = 8
| + | |
| - | |страницы = 832–844
| + | |
| - | |ссылка = https://doi.org/10.1109/34.709601
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Krogh A., Vedelsby J.
| + | |
| - | |часть = Neural network ensembles, cross validation, and active learning
| + | |
| - | |заглавие = Advances in Neural Information Processing Systems
| + | |
| - | |год = 1995
| + | |
| - | |издательство = MIT Press
| + | |
| - | |том = 7
| + | |
| - | |страницы = 231–238
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Schapire R. E.
| + | |
| - | |заглавие = The strength of weak learnability
| + | |
| - | |издание = Machine Learning
| + | |
| - | |год = 1990
| + | |
| - | |том = 5
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 197–227
| + | |
| - | |ссылка = https://doi.org/10.1007/BF00116037
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{статья
| + | |
| - | |автор = Wolpert D. H.
| + | |
| - | |заглавие = Stacked generalization
| + | |
| - | |издание = Neural Networks
| + | |
| - | |год = 1992
| + | |
| - | |том = 5
| + | |
| - | |номер = 2
| + | |
| - | |страницы = 241–259
| + | |
| - | |ссылка = https://doi.org/10.1016/S0893-6080(05)80023-1
| + | |
| - | }}
| + | |
| - | | + | |
| - | {{книга
| + | |
| - | |автор = Zhou Z.-H.
| + | |
| - | |заглавие = Ensemble Methods: Foundations and Algorithms
| + | |
| - | |место = Boca Raton
| + | |
| - | |издательство = CRC Press
| + | |
| - | |год = 2012
| + | |
| - | |isbn = 978-1-4398-3003-1
| + | |
| - | }}
| + | |
| - | | + | |
| - | [[Категория:Машинное обучение]]
| + | |
| - | [[Категория:Статистическая классификация]]
| + | |
| - | [[Категория:Энциклопедия анализа данных]]
| + | |
| - | [[Категория:Популярные и обзорные статьи]]
| + | |
