Титло
Ранжирование и факторыСинонимы: tf idf, tf-idf, тиф-идф, term frequency inverse document frequency, обратная частота документа

Что такое TF-IDF

Обновлено Время чтения: 17 мин

Коротко

TF-IDF (от англ. term frequency — inverse document frequency, «частота термина — обратная частота документа») — это статистическая мера, которая показывает, насколько слово важно для конкретного документа относительно всей коллекции, или корпуса. Частота термина (term frequency, TF) говорит, как часто слово встречается в этом тексте. Обратная частота документа (inverse document frequency, IDF) снижает вес слов, которые есть почти во всех текстах, и повышает вес редких, характерных слов. Итоговое значение TF-IDF — произведение этих двух величин: чем чаще слово встречается в документе и чем реже оно появляется в остальных документах коллекции, тем выше его вес.

Что такое TF-IDF простыми словами

Представьте три статьи: две про выбор ноутбука и одну про кофемашины. Слово «экран» в статье про ноутбук полезно: оно описывает тему документа и не встречается в тексте про кофе. Слово «это» есть почти в каждом документе, поэтому само по себе почти ничего не говорит о теме. TF-IDF как раз и отделяет такие общие слова от тех, которые помогают понять, о чём конкретный текст.

По-русски ту же идею называют «частота слова и обратная частота документа». В английских формулах обычно пишут term, frequency, document и inverse: TF считает частоту слова внутри одного document, IDF смотрит, в скольких документах коллекции это word вообще появляется. Вместе они дают вес, который удобно сравнивать между словами и между текстами.

Важно

TF-IDF — не оценка «хорошо / плохо» и не норма вхождений для SEO-текста. Это способ взвесить слова. Высокий вес значит «слово характерно для этого документа», а не «его нужно повторить ещё несколько раз».

Метрику используют в информационном поиске, в анализе текстовых данных и в машинном обучении: чтобы найти важные термины, сравнить документы и превратить текст в числовой вектор. В SEO её чаще всего применяют, когда сравнивают страницу сайта с другими страницами по тому же запросу: какие слова и словосочетания получают высокий вес у конкурентов и каких не хватает вам.

Формула TF-IDF

Классическая формула состоит из трёх шагов. Сначала считают частоту термина в документе, затем — обратную частоту документа по всей коллекции, и в конце перемножают эти значения. Ниже — простой вариант, который удобно считать вручную. На практике встречаются и другие нормировки: сырое число вхождений, логарифм частоты, сглаженный IDF. Идея при этом одна и та же.

  1. TF — частота термина

    TF(t, d) = число вхождений слова t в документе d / число слов в этом документе. Если слово «анализ» встречается один раз в тексте из 200 слов, TF равен 1/200. Чем чаще термин появляется именно в этом документе, тем выше TF.

  2. IDF — обратная частота документа

    IDF(t) = log(N / n_t), где N — число документов в коллекции, а n_t — число документов, в которых слово t есть хотя бы один раз. Если слово встречается почти во всех документах, знаменатель большой, IDF низкий. Если слово редкое, IDF растёт. В формуле обычно берут логарифм, чтобы резкие различия в частоте не раздували вес сверх меры; основание логарифма (10, 2 или натуральный) меняет масштаб, но не смысл.

  3. TF-IDF — произведение

    TF-IDF(t, d) = TF(t, d) × IDF(t). Высокий результат получается у слов, которые часто встречаются в данном документе и редко — в остальных. Низкий — у слов, которые либо редки в самом тексте, либо слишком обычны для всей коллекции.

Совет

В библиотеках для машинного обучения формула часто чуть другая: к IDF добавляют единицу, чтобы не обнулять слова, которые есть во всех документах, и используют сглаживание вроде log((N + 1) / (n_t + 1)) + 1. Сравнивая цифры из разных инструментов, сначала посмотрите, какую именно формулу они считают.

Ещё один важный нюанс — что считать «словом». Перед расчётом текст обычно приводят к нижнему регистру, убирают пунктуацию, иногда делают токенизацию и лемматизацию, отбрасывают слишком короткие токены и стоп-слова. Без этой обработки формы «документа» и «документов» могут уйти в разные строки, а вес размажется.

Пример расчёта TF-IDF

Чтобы увидеть, как работает формула IDF и вес слова, возьмём крошечную коллекцию из трёх документов и десятичный логарифм. Это учебный пример, а не расчёт по реальному сайту, но арифметика та же, что в большой коллекции.

  • Документ 1: «анализ текста» — 2 слова.
  • Документ 2: «анализ сайта» — 2 слова.
  • Документ 3: «продвижение сайта» — 2 слова.

Слово «анализ» есть в двух документах из трёх, поэтому IDF = log10(3 / 2) ≈ 0,176. В первом документе его TF = 1/2 = 0,5, значит TF-IDF ≈ 0,088. То же значение получится во втором документе. Слово «продвижение» встречается только в третьем тексте: IDF = log10(3 / 1) ≈ 0,477, TF = 0,5, TF-IDF ≈ 0,239. Оно сильнее характеризует свой документ, чем «анализ» — первые два, хотя по числу вхождений внутри текста частота одинаковая.

TF-IDF для слов учебной коллекции из трёх документов (log10, округление до тысячных)
Слово В скольких документах IDF Документ 1 Документ 2 Документ 3
анализ 2 из 3 0,176 0,088 0,088 0
текста 1 из 3 0,477 0,239 0 0
сайта 2 из 3 0,176 0 0,088 0,088
продвижение 1 из 3 0,477 0 0 0,239
Значение 0 значит, что слова в этом документе нет. Если взять другой логарифм или считать TF как сырое число вхождений, абсолютные цифры изменятся, а порядок слов останется похожим: редкие для коллекции термины получат больший вес.
Как читать значение TF-IDF
Ситуация Что происходит с весом Как это понимать
Слово часто встречается в этом тексте и редко в других TF-IDF высокий Термин хорошо характеризует документ
Слово есть почти во всех документах коллекции IDF и итоговый вес низкие Слово слишком общее, само по себе тему не выделяет
Слово есть только в одном коротком упоминании TF низкий, даже если IDF высокий Термин редкий, но для этого текста не центральный
Одинаковая частота у двух слов, разный IDF Выше вес у более редкого в коллекции Важна не только частота внутри документа
Другая коллекция или другая формула Абсолютные цифры меняются Сравнивать можно только расчёты на одном и том же наборе документов

На этом примере видно главное. Не само число вхождений делает слово важным, а сочетание частоты в документе и редкости в коллекции. Именно поэтому «продвижение» в третьем тексте получает более высокий вес, чем «анализ» в первом, хотя оба слова встречаются по разу.

TF-IDF в SEO

В поисковой оптимизации TF-IDF используют не как «оценку страницы», а как способ понять, какие слова и словосочетания характерны для сильных документов по запросу. Обычно берут выдачу Яндекса или Google, считают метрику по текстам конкурентов и сравнивают со своей страницей. Если у страниц из топа высокий вес у терминов вроде «формула», «коллекции» или «ключевых слов», а на вашей странице этих слов нет, это сигнал: тема раскрыта не полностью.

  • Это не норма плотности. Высокий TF-IDF у конкурентов не значит, что вам нужно столько же точных вхождений. Нужно понять, какой смысл стоит за словами, и раскрыть его своими формулировками.
  • Коллекция задаёт масштаб. IDF зависит от того, какие документы вы сравнили. Набор информационных статей и набор карточек товара дадут разный вес одним и тем же словам.
  • Служебные слова почти бесполезны. Названия разделов вроде «контакты» или общие глаголы часто встречаются у всех и мало что говорят о теме.
  • Метрика не заменяет интент. Если по запросу в выдаче магазины, одной «правильной» лексики в информационной статье будет мало.

С релевантностью страницы TF-IDF связан так: это один из способов оценить текстовую близость документа к запросу и к другим релевантным страницам. Но релевантность шире. Поисковые системы смотрят ещё на смысл, ссылки, поведение и тип страницы. Формулы вроде TF-IDF и BM25 до сих пор используются внутри текстового анализа, однако их итоговый вклад поисковики не публикуют, и «подогнать» страницу под конкретное значение метрики нельзя.

Ошибка

Ошибка — загонять в текст все слова с высоким TF-IDF списком. Так растёт плотность ключевых слов и риск переоптимизации, а польза для читателя не появляется. Лучше взять термины как подсказки к плану статьи: о чём ещё стоит написать.

Рядом с TF-IDF в SEO часто обсуждают LSI-слова. Это разные вещи. LSI-слова — тематическая лексика, которая помогает раскрыть запрос. TF-IDF — способ численно оценить важность уже встретившихся слов на фоне коллекции. На практике их удобно сочетать: сначала понять тему и интент, собрать лексику, написать текст, затем посмотреть, каких характерных слов всё ещё не хватает.

Как TF-IDF используют в анализе текста

Сервисы анализа текста и релевантности считают TF-IDF автоматически. На вход обычно подают URL страницы, запрос и набор конкурентов из выдачи. Инструмент очищает HTML, считает частоту слов и фраз, сравнивает вашу страницу с коллекцией чужих документов и показывает, какие термины дают высокий вес у других и какие слабо представлены у вас.

  1. Собрать коллекцию

    Для SEO это чаще всего страницы из поиска по нужному запросу. Чем ближе документы по интенту, тем полезнее сравнение. Случайные тексты из другой тематики исказят IDF.

  2. Посчитать веса

    Для каждого слова получают TF на вашей странице и у конкурентов, IDF по всей коллекции и итоговое значение. Отдельно часто считают похожие метрики для словосочетаний.

  3. Сравнить результаты анализа

    Смотрят, каких важных слов не хватает, где частота явно ниже, чем у сильных страниц, и где, наоборот, слишком много повторов. Затем решают, что добавить по смыслу, а что не трогать.

В Титло это делают два модуля. Анализ релевантности сравнивает страницу с результатами выдачи и помогает увидеть пробелы в лексике. Анализ текста считает частоту, тошноту и водность, чтобы при доработке не уйти в переспам. TF-IDF здесь — один из слоёв данных, а не единственная цифра, под которую нужно «подогнать» текст.

Совет

Смотрите не только на одно слово, но и на словосочетания: «обратная частота», «ключевых слов», «inverse document frequency». Часто именно фразы точнее показывают, какой аспект темы не раскрыт.

Как использовать TF-IDF на практике

В SEO-проектах основной вопрос обычно не в самой формуле, а в том, как использовать метрику для конкретных поисковых запросов и ключей. Например, берут страницы из топа Google и Яндекс, собирают тексты конкурентов и смотрят, какие термины имеют высокий вес в этом корпусе. Количество редких слов само по себе ничего не решает: важнее, хватает ли контента, чтобы раскрыть связанные темы и ответить на намерение пользователя.

По данным Wordstat за 09.09–08.10.2026 в России у запроса «tf idf» было 965 показов в широком соответствии. Рядом идут хвосты «tf idf векторы» (91), «tf idf формула» (47), «tf idf в машинном обучении» (41), «tf idf векторизация» (39), «tf idf пример» (26), «tf idf как работает» (17) и «пример задачи tf idf» (7). Отдельно ищут «tf idf это» (54). Спрос смешанный: часть людей хочет определение и расчет для SEO, часть — векторизацию текстов и машинное обучение. Поэтому на одной странице полезно закрыть оба угла, не смешивая их в одну кучу.

  • Соберите сопоставимую коллекцию. Считать веса нужно на основе страниц по тому же запросу и той же категории интента. Случайный набор документов из другой темы исказит IDF и даст шум вместо подсказок.
  • Сравните результаты, а не копируйте ключи. Техническая аналитика сервисов позволяет увидеть, каких слов высокой важности не хватает вашей странице сайта. Это сигнал к плану текста, а не готовый список для вставки.
  • Доработайте смысл и структуру. Новые абзацы, примеры, определения и понятные формулировки помогут лучше, чем дополнительные точные вхождения. Просто набрать больше ключей — самый короткий путь к переспаму.
  • Проверьте плотность после правок. Когда вы используете подсказки TF-IDF, легко переборщить. Иметь перед глазами частоту, тошноту и водность полезно, чтобы доработка оставалась читаемой.

Так метрика используется в повседневной работе с контентом: она дает карту темы и помогает сделать страницу полнее. Пользователь поисковой системы всё равно оценивает пользу, а не таблицу весов. Поэтому основная задача — показать связанные аспекты темы своими словами и получить более полный текст, а не «набрать норму».

Ту же идею используют в разработке моделей обработки языка: NLP (natural language processing) и machine learning. В Python метрику чаще всего считает библиотека scikit-learn: класс TfidfVectorizer делает токенизацию, считает TF-IDF и возвращает матрицу признаков. Типичный вызов выглядит так: `from sklearn.feature_extraction.text import TfidfVectorizer`. На корпусе текстовых данных (`data`) вызывают `fit` и `transform`, иногда сразу `fit_transform`, и при необходимости смотрят результат через `print`. Рядом ставят nltk, numpy или pandas, если нужна своя нормализация, список stopwords или разбор таблицы. Это один из базовых способов векторизации текста перед классификацией и поиском.

Такой расчет на Python удобен для учебных задач, прототипов и прикладных кейсов: классификация текстов, поиск похожих документов, извлечение ключевых слов. Алгоритмы вроде SVM, наивного Bayes или логистическая регрессия хорошо работают на разреженных TF-IDF-векторах. Но в случае смысловых задач — синонимов, перефразирования, семантики — одного статистического взвешивания часто недостаточно, и лучше переходить к эмбеддингам (embedding). Нейронные сети обычно точнее улавливают связь между формулировками, зато вес отдельного keyword в них уже не прочитать одной формулой.

TF-IDF в машинном обучении

Часть спроса на запрос «tf idf» приходит из машинного обучения и обработки естественного языка. Там метрику используют, чтобы превратить тексты в числовые векторы. Каждый документ становится набором признаков: координата вектора — это TF-IDF конкретного слова или n-граммы. Дальше такие векторы слов подают в модели классификации, кластеризации и поиска похожих документов.

В SEO

Коллекция — это обычно страницы по одному запросу. Цель — понять, каких тематических слов не хватает тексту и как улучшить релевантность страницы.

В машинном обучении

Коллекция — это обучающий корпус из многих документов. Цель — получить признаки для модели: классификация писем, поиск, извлечение ключевых слов, сравнение текстов.

У такого представления есть пределы. Вектор TF-IDF не понимает синонимы и порядок слов: «купить билет» и «приобрести билеты» для простой схемы — разные координаты, если не было лемматизации и аккуратной токенизации. Поэтому в современных задачах всё чаще используют векторные представления вроде word embeddings и нейросетевые модели. TF-IDF при этом не исчез: его по-прежнему берут как простой базовый метод, для интерпретируемых признаков и как один из слоёв в гибридных схемах.

Если вы решаете учебную задачу, полезно отдельно выписать формулу, посчитать маленький пример вручную и только потом сверить результат с библиотекой. Так проще заметить, какую нормировку выбрала реализация и почему цифры не совпали с таблицей из статьи. В информации к TfidfVectorizer стоит сразу посмотреть, какой логарифм, сглаживание и нормализация включены: от этого зависит итог вычисления и вид вектора.

Для SEO-специалиста этот контур тоже полезен. Даже если вы не пишете код, полезно понимать, что сервисы анализа по сути делают тот же метод: очищают HTML-текст страниц, отбрасывают стоп-слова, считают веса и сравнивают документы. Это не отдельная «магия Google», а давно известный способ работы с текстовыми данными. Чем аккуратнее собрана коллекция, тем полезнее результаты использования метрики в продвижении сайта.

TF-IDF и BM25

BM25 — родственник TF-IDF, который чаще встречается в современных поисковых системах. Он тоже штрафует слишком общие слова и повышает вес характерных терминов, но делает это аккуратнее. Частота термина в BM25 растёт не линейно, а с насыщением: десятое вхождение почти не добавляет веса. Кроме того, учитывается длина документа: короткий текст с тем же числом вхождений не приравнивается автоматически к длинному.

  • TF-IDF проще считать и объяснять. Хорошо подходит для разбора идеи, для анализа корпуса и как базовый метод в машинном обучении.
  • BM25 обычно лучше работает в поиске: меньше переоценивает повторы и учитывает длину документа. Именно его чаще берут как практическую формулу ранжирования.
  • Для SEO-вывода разница важна так ни одна из метрик не задаёт «нужное число вхождений». Обе подсказывают, какие слова характерны для темы, но не заменяют смысл и полезность страницы.

Подробнее о том, чем BM25 отличается на практике и как это влияет на работу с текстом, — в отдельной статье блога. Здесь достаточно помнить ограничение: TF-IDF — полезная и понятная мера важности слов, но не единственная и не самая новая модель, которую используют поисковики.

Частые ошибки

  • Путать TF-IDF с нормой вхождений Метрика не говорит, сколько раз нужно вставить ключ. Она показывает относительный вес слова в коллекции.
  • Копировать чужой список терминов в текст Слова с высоким весом — подсказка к темам, а не готовый абзац.
  • Сравнивать несравнимое Если в коллекции смешаны магазины, форумы и научные статьи, IDF будет шуметь, а выводы — слабыми.
  • Игнорировать формулу инструмента Разные сервисы считают TF и IDF по-разному, поэтому абсолютные значения из двух отчётов нельзя складывать «в лоб».
  • Ждать, что одна метрика заменит смысл Без интента, структуры и пользы для читателя даже идеальные веса слов не сделают страницу сильной.
  • Забывать про пределы модели TF-IDF не понимает синонимы и контекст так, как нейросети. Это инструмент анализа, а не полная модель языка.

Главное

  • TF-IDF показывает важность слова для документа на фоне коллекции: частое в этом тексте и редкое в остальных получает больший вес.
  • Формула — произведение частоты термина (TF) и обратной частоты документа (IDF); конкретная нормировка в инструментах может отличаться.
  • В SEO метрику используют, чтобы найти пробелы в лексике, а не чтобы подогнать число вхождений под конкурентов.
  • BM25 и нейросетевые модели решают задачу поиска точнее, но идея взвешивания слов никуда не делась.

TF-IDF в Титло

Посмотреть, какие слова дают высокий вес на фоне выдачи и чего не хватает вашей странице, можно в инструментах Титло.

Связанные термины

Термины без ссылки ещё в работе — ссылки появятся после публикации.

Частые вопросы

Что такое TF-IDF простыми словами?
Это способ оценить, насколько слово важно для конкретного текста по сравнению со всей коллекцией документов. Слова, которые часто встречаются в одной статье и редко в остальных, получают больший вес.
Как считается формула TF-IDF?
Сначала считают частоту слова в документе (TF), затем обратную частоту документа (IDF) по всей коллекции и перемножают эти величины. На практике встречаются разные нормировки и логарифмы, но смысл формулы один.
Как использовать TF-IDF в SEO?
Сравните свою страницу с сильными результатами по запросу и посмотрите, каких характерных слов и фраз не хватает. Затем раскройте эти темы в тексте, а не копируйте список терминов. Проверить пробелы можно в анализе релевантности, а переспам — в анализе текста.
Какое значение TF-IDF считается хорошим?
Универсального порога нет. Цифра зависит от коллекции, формулы и длины документа. Ориентироваться нужно на то, какие слова получают высокий вес у релевантных страниц и хватает ли этих тем в вашем материале.
Чем TF-IDF отличается от BM25?
Обе меры взвешивают слова по частоте в документе и редкости в коллекции. BM25 дополнительно ограничивает пользу от многократных повторов и учитывает длину документа, поэтому в поиске его применяют чаще. Для понимания идеи обычно начинают с TF-IDF.
Зачем TF-IDF в машинном обучении, если есть нейросети?
Это простой и понятный способ превратить тексты в векторы признаков. Его до сих пор используют как базовый метод, для интерпретируемых моделей и в учебных задачах. Нейросетевые представления обычно точнее улавливают смысл, но хуже объясняются одной формулой.