8 926 275-51-29
Техничка — Как закрыть страницу от индексации: noindex, X-Robots-Tag, robots.txt, 404 и 410

Техничка

11 апреля 2026 г. 10 мин Сергей

Как закрыть страницу от индексации: noindex, X-Robots-Tag, robots.txt, 404 и 410

Разбираем, чем отличаются noindex, X-Robots-Tag, robots.txt, 404 и 410, в каких случаях использовать каждый способ и как не закрыть полезные страницы по ошибке.

Практический разбор SEO Владимир Без воды
Авторский материал Проверка на практике Связь с SEO Понятные выводы
Закрытие страниц от индексации через noindex и X-Robots-Tag

Когда у сайта начинаются проблемы с индексом, владельцы обычно ищут одну кнопку: «как запретить роботу видеть это». Но у поисковых систем нет одного универсального инструмента на все случаи. Для дублей, служебных URL, удалённых страниц, PDF-файлов и временного мусора нужны разные механизмы. Если смешать их в одну кучу, можно случайно закрыть полезные посадочные, оставить мусор в индексе или получить конфликтующие сигналы.

Google в документации отдельно разводит page-level directives и server-level controls: meta robots, X-Robots-Tag, ответы сервера и правила обхода: Robots meta tag, data-nosnippet, and X-Robots-Tag. Для бизнеса это означает простую вещь: сначала нужно определить задачу, и только потом выбирать инструмент.

Сначала определите, чего вы хотите добиться

На практике у сайта обычно есть пять разных сценариев:

  • страницу можно показывать пользователю, но не нужно держать в поиске;
  • документ не HTML, а PDF или другой файл;
  • URL нужно ограничить в обходе;
  • страница удалена навсегда;
  • страница должна переехать на другой адрес.

Проблема начинается там, где все эти случаи пытаются решать через один robots.txt.

Когда нужен noindex

noindex нужен тогда, когда страница существует для пользователя, но не должна находиться в поисковой базе. Чаще всего это:

  • внутренний поиск;
  • thank-you page после формы;
  • служебные страницы фильтров;
  • промежуточные сервисные URL;
  • слабые дубли, которые не убираются сразу архитектурно.

Здесь есть важный нюанс: чтобы поисковик увидел noindex, он должен иметь возможность скачать страницу. Если URL полностью заблокирован в robots.txt, робот может не увидеть page-level directive. Это типовая ошибка: бизнес думает, что страница одновременно и закрыта, и исключена из индекса, а на деле она висит в подвешенном состоянии.

Когда нужен X-Robots-Tag

X-Robots-Tag делает ту же логическую работу, что и meta robots, но на уровне HTTP-заголовка. Он особенно полезен там, где нет удобного HTML <head>:

  • PDF-файлы;
  • технические документы;
  • выгрузки;
  • изображения;
  • не-HTML ответы сервера.

Если нужно убрать из поиска старый PDF-прайс или архивный документ, X-Robots-Tag обычно чище, чем костыли через другие слои.

Что умеет robots.txt, а что нет

robots.txt управляет прежде всего обходом, а не прямым удалением URL из индекса. Это хороший инструмент, когда нужно:

  • не тратить обход на мусорные параметры;
  • закрыть админку, корзину и личный кабинет;
  • ограничить бесконечные комбинации сортировок и фильтров;
  • сократить расход краулингового бюджета на технический шум.

Но Disallow не равен «удалить из поиска». Если URL уже известен поисковику из внутренних или внешних ссылок, он может ещё фигурировать в базе без полноценного сниппета.

Поэтому robots.txt полезен как профилактика мусора, но слаб как единственный инструмент удаления.

Когда возвращать 404

404 Not Found нужен, когда страницы больше нет и вы не планируете поддерживать её по старому адресу. Типовые случаи:

  • удаленная услуга без новой версии;
  • карточка товара без замены;
  • завершенная акция;
  • ошибочно созданная страница.

Если страницы больше нет, честный 404 лучше, чем пустой шаблон с текстом «ничего не найдено», отдающий 200 OK.

Когда использовать 410

410 Gone уместен там, где вы хотите дать более жесткий сигнал: страница удалена окончательно. Например:

  • тестовые URL, случайно попавшие в индекс;
  • старые служебные страницы;
  • архивные файлы без новой версии;
  • мусорные адреса, которые нужно быстрее вычистить.

Для большинства проектов разница между 404 и 410 не магическая, но 410 полезен там, где вы точно уверены, что возврата URL не будет.

Когда не нужен ни один из этих способов

Иногда страницу не нужно закрывать от индексации вовсе. Её нужно:

  • склеить через canonical;
  • перевести на новый URL через 301;
  • переписать и усилить;
  • встроить в нормальную структуру сайта.

Если использовать noindex как замену архитектуре, вы просто временно маскируете проблему.

На одном проекте каталог разросся до тысяч URL с параметрами. Часть дублей закрыли в robots.txt, часть через noindex, а часть оставили как есть. Через месяц в индексе сохранялся шум, а полезные посадочные иногда теряли обход. После разметки сценариев всё упростилось: мусор в robots.txt, слабые живые страницы в noindex, реально умершие URL в 410. Только после этого индекс начал очищаться предсказуемо.

Как выбрать правильный инструмент

Если страница нужна пользователю, но не нужна в поиске

Используйте noindex или X-Robots-Tag.

Если это технический мусор, на который не нужен обход

Используйте robots.txt, но не путайте его с удалением из поиска.

Если страницы больше нет

Возвращайте 404 или 410.

Если страница переехала на новый адрес

Чаще нужен 301, а не удаление.

Типовые ошибки

Закрывают URL в robots.txt, хотя хотят удалить его из индекса

Так робот может не увидеть page-level signal.

Возвращают 200 OK на пустую страницу

Поисковик видит не удаление, а слабый soft 404.

Делают 404 там, где нужна релевантная замена

Так теряются сигналы, которые можно было перенести через 301.

Закрывают полезные посадочные на эмоциях

Особенно часто это происходит с фильтрами, региональными страницами и категориями, если нет внятной карты интентов.

Короткий чек-лист

  • страница реально должна исчезнуть из поиска;
  • вы понимаете разницу между обходом и индексацией;
  • для HTML используется meta robots, для файлов — X-Robots-Tag;
  • robots.txt не подменяет удаление URL;
  • удаленные страницы отдают честный 404 или 410;
  • сценарии зафиксированы в одной логике, а не разбросаны по проекту.

Итог

Закрытие страниц от индексации — это не одна настройка, а набор разных сценариев. noindex не заменяет 404, robots.txt не удаляет URL из поиска, а X-Robots-Tag особенно полезен для файлов и не-HTML контента. Чем быстрее вы разложите URL по этим сценариям, тем чище будет индекс и тем меньше случайных потерь по полезным страницам.

Понравился материал? Следующим шагом проверьте, нет ли у сайта конфликтов между удалением, каноникалами и редиректами.

Также рекомендуем:

Если индекс раздувается, а в поиске всплывают технические URL, проблема обычно не в одном теге, а в отсутствии внятной матрицы для всех типов страниц. Команда SEO Владимир поможет разложить URL по сценариям, вычистить мусор и не потерять полезные посадочные. Матрицу «что закрывать, а что оставлять» мы составляем в рамках технического аудита.

Тема статьи

Техническое SEO

Статьи про техническую сторону SEO: индексация и robots.txt, sitemap.xml, canonical и дубли, редиректы, Core Web Vitals и скорость, микроразметка, SPA и рендеринг. То, что решается в коде и настройках, а не в текстах.

Все статьи по теме Заказать SEO-аудит
← Вернуться ко всем статьям

Читайте также

Похожие статьи

Техничка 19 апр. 2026 г.

301 и 302 редиректы: когда какой использовать в SEO

Чем отличаются 301 и 302 редиректы, как их видят поисковики, когда нужен постоянный перенос и какие ошибки ломают миграции.

10 мин
Техничка 18 апр. 2026 г.

Canonical URL: как выбрать главную версию страницы и убрать дубли

Разбираем, как работает rel="canonical", когда он действительно помогает, почему не заменяет редиректы и какие ошибки чаще всего ломают индексацию дублей.

11 мин
GEO 7 апр. 2026 г.

Как добавить организацию в Яндекс.Бизнес и прокачать карточку в Картах

Разбираем, как добавить компанию в Яндекс.Бизнес, оформить карточку в Картах, работать с отзывами и связать профиль с сайтом для локального спроса.

10 мин