Обсуждение:Проклятие размерности

Материал из MachineLearning.

Перейти к: навигация, поиск

В целом статья принимается, но надо ещё кое-что подправить — К.В.Воронцов 21:54, 5 января 2010 (MSK)

Замечания

  • Не упомянуты очень важные вещи:
    • В метрических классификаторах проклятие размерности выражается в том, что расстояния во всех парах объектов стремятся к одному и тому же пределу. Это происходит из-за того, что обычно расстояния вычисляются путём усреднения модулей разностей по всем признакам. А сумма n слагаемых стремится к фиксированному пределу, когда n стремится к бесконечности (согласно закону больших чисел). В результате расстояния становятся неинформативными — все примерно одинаковыми. Чтобы этого не происходило, можно делать отбор признаков, или вычислять много разных расстояний по небольшим подмножествам признаков, а потом устраивать голосование — так устроен алгоритм вычисления оценок.
    • В линейных алгоритмах классификации и регрессии увеличение числа признаков неизбежно ведёт к мультиколлинеарности и переобучению
  • Общие пожелания (почти ко всем студентам):
    • желательно расставлять больше внутренних ссылок (пусть некоторые из них окажутся красными) на те понятия, которые достойны быть отдельными статьями
    • больше внешних ссылок на полезные ресурсы (начните с английской Википедии: Machine Learning)
    • не забывайте про категоризацию!!!
    • исправить тире в предложениях на —
    • исправить кавычки на «ёлочки»
    • словечко «бороться» я употреблял в лекциях как жаргон, для оживления изложения :) есть много других более подходящих слов: избегать, устранять, предотвращать
    • НЕ УВЛЕКАЙТЕСЬ ОСОБО, ОСТАВЬТЕ ВРЕМЯ НА ПОДГОТОВКУ К ЭКЗАМЕНУ!!!

— К.В.Воронцов 21:54, 5 января 2010 (MSK)

Источник — «http://recognition.su/wiki/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5:%D0%9F%D1%80%D0%BE%D0%BA%D0%BB%D1%8F%D1%82%D0%B8%D0%B5_%D1%80%D0%B0%D0%B7%D0%BC%D0%B5%D1%80%D0%BD%D0%BE%D1%81%D1%82%D0%B8»