Обсуждение:TF-IDF

Напиши статью для MachineLearning.ru на русском языке на тему «TF-IDF». Целевая аудитория: студенты профильных вузов, математики, специалисты по обработке естественного языка и практикующие ML-инженеры. Стиль — энциклопедическая вики-статья: строго, содержательно, без рекламного, разговорного и водянистого текста. Статья должна выглядеть как законченная страница MachineLearning.ru, а не как сырой текст, сгенерированный LLM. В начале статьи обязательно добавь код в точности: {{well|Статья написана с использованием LLM ''GPT-5.5 Thinking'' и проверена участником [[Участник:Eva Vallistu|Eva Vallistu]] 22:03, 13 июля 2026 (MSD) Промпт приводится полностью в [[Обсуждение:TF-IDF]]}} {{TOCright}} Пиши только в MediaWiki-разметке, без Markdown. Математические формулы оформляй через <tex>...</tex>, код — через блок: <source lang="python"> ... </source> Используй внутренние ссылки MachineLearning.ru на связанные термины: [[Обработка естественного языка]], [[Информационный поиск]], [[Мешок слов]], [[Векторное представление текста]], [[Косинусное сходство]], [[Машинное обучение]], [[Классификация]], [[Кластеризация]], [[Стоп-слово]], [[Стемминг]], [[Лемматизация]]. Обязательно раскрой содержание, а не только приведи формулу: * введи интуицию TF-IDF и объясни, почему частота слова внутри документа должна учитывать распространённость этого слова во всей коллекции; * введи обозначения для корпуса документов, отдельного документа, терма и словаря; * дай строгие определения частоты терма TF, документной частоты DF и обратной документной частоты IDF; * приведи классическую формулу TF-IDF; * объясни различные варианты вычисления TF: абсолютную частоту, относительную частоту, логарифмическое масштабирование и расширенную частоту; * опиши варианты вычисления IDF, включая сглаживание и формулы, используемые в практических библиотеках; * объясни смысл логарифма в формуле IDF и влияние основания логарифма; * покажи, как документ преобразуется в разреженный вектор признаков; * объясни нормализацию TF-IDF-векторов с использованием норм <tex>L_1</tex> и <tex>L_2</tex>; * подробно опиши этапы построения TF-IDF-представления корпуса; * добавь небольшой численный пример с несколькими документами и пошагово вычисли TF, DF, IDF и итоговые веса; * объясни применение TF-IDF в [[Информационный поиск|информационном поиске]], классификации текстов, кластеризации документов, поиске ключевых слов и измерении сходства текстов; * покажи связь TF-IDF с моделью «[[Мешок слов|мешка слов]]» и [[Косинусное сходство|косинусным сходством]]; * объясни влияние токенизации, регистра, пунктуации, [[Стоп-слово|стоп-слов]], [[Стемминг|стемминга]], [[Лемматизация|лемматизации]] и использования n-грамм; * укажи достоинства, ограничения и вычислительную сложность метода; * отдельно опиши проблемы TF-IDF: игнорирование порядка слов, отсутствие учёта семантики, высокая размерность, разреженность, зависимость от корпуса и слабая обработка синонимии и многозначности; * сравни TF-IDF с бинарным представлением, обычными счётчиками слов, BM25 и плотными векторными представлениями текста; * поясни, в каких задачах TF-IDF остаётся предпочтительным, а в каких целесообразно использовать эмбеддинги; * добавь пример самостоятельной реализации на Python; * добавь пример использования <code>TfidfVectorizer</code> из библиотеки <code>scikit-learn</code>; * в примере выведи словарь признаков, матрицу TF-IDF и косинусное сходство между документами. Структура статьи: == Основные понятия и определения == == Вычисление TF-IDF == == Пример вычисления == == Предобработка текста == == Применение == == Свойства == == Реализация == == См. также == == Литература == В разделе «Основные понятия и определения» последовательно введи корпус <tex>D={d_1,d_2,\ldots,d_N}</tex>, терм <tex>t</tex>, частоту терма <tex>\operatorname{tf}(t,d)</tex>, документную частоту <tex>\operatorname{df}(t,D)</tex> и обратную документную частоту <tex>\operatorname{idf}(t,D)</tex>. В качестве основной формулы используй запись: <tex> \operatorname{tfidf}(t,d,D) = \operatorname{tf}(t,d)\operatorname{idf}(t,D). </tex> Приведи один из базовых вариантов IDF: <tex> \operatorname{idf}(t,D) = \log\frac{N}{\operatorname{df}(t,D)}. </tex> Также покажи сглаженный вариант: <tex> \operatorname{idf}_{\mathrm{smooth}}(t,D) = \log\frac{N+1}{\operatorname{df}(t,D)+1}+1. </tex> Уточни, что конкретные определения TF, IDF, сглаживания и нормализации могут различаться между реализациями, поэтому при сравнении результатов необходимо учитывать используемую формулу. В разделе «Свойства» обязательно создай подразделы: === Достоинства === === Ограничения === === Вычислительная сложность === === Сравнение с другими представлениями текста === В разделе «Реализация» сначала приведи понятную самостоятельную реализацию TF-IDF на Python без использования <code>TfidfVectorizer</code>, а затем отдельный пример с <code>sklearn.feature_extraction.text.TfidfVectorizer</code>. Код должен быть корректным, запускаемым и согласованным с формулами статьи. Не используй вымышленные функции, библиотеки или результаты выполнения. Не утверждай, что TF-IDF учитывает смысл, контекст или порядок слов. Чётко разделяй свойства базового TF-IDF и возможности дополнительных методов предварительной обработки текста. В разделе «См. также» используй список через символ *. В разделе «Литература» используй только вики-шаблоны {{статья | ...}} и {{книга | ...}}. Не оформляй источники обычным текстом. Включи только реально существующие и непосредственно связанные с темой источники, в том числе классические работы по статистическому взвешиванию терминов, векторной модели информационного поиска и современные учебники по информационному поиску. Не добавляй вымышленные DOI, ISBN, названия статей, выпуски журналов или номера страниц. В конце добавь категории: [[Категория:Обработка естественного языка]] [[Категория:Информационный поиск]] [[Категория:Машинное обучение]] [[Категория:Алгоритмы машинного обучения]] Выведи только готовый MediaWiki-код статьи, без Markdown-ограждений и без пояснений вне статьи.