Как закрыть от индексации отдельные страницы WordPress без вреда для SEO

Служебные страницы, фильтры, результаты поиска по сайту, тестовые шаблоны и дубли архивов часто попадают в индекс не потому, что сайт «плохо настроен», а потому что WordPress по умолчанию публикует слишком много URL. Если закрыть всё подряд через robots.txt, можно сделать хуже: поисковик перестанет видеть нужные страницы, но уже проиндексированные дубли останутся в выдаче надолго.

Ниже — рабочий сценарий: как точечно закрывать отдельные страницы и типы контента, чем отличается noindex от nofollow, когда нужен canonical, и как проверить, что поисковик действительно получил нужную директиву.

Когда проблема уже есть: что именно искать в индексе

Сначала нужно понять, что вы хотите убрать из поиска. В WordPress чаще всего мешают:

• страницы внутреннего поиска вида ?s=;
• архивы автора на небольших сайтах, где один автор и дублируется контент;
• страницы тегов, если они не несут самостоятельной ценности;
• служебные страницы плагинов, корзина, оформление, личный кабинет;
• параметры фильтров и сортировки;
• тестовые или временные страницы, которые уже были опубликованы.

Диагностика простая: введите в Google запрос site:example.com и посмотрите, какие URL реально попали в индекс. Для точечной проверки используйте Search Console: раздел «Страницы» покажет, что именно исключено, а что всё ещё индексируется.

Что считать ошибкой, а что нормой

Не каждая страница с noindex — проблема. Например, архив автора на блоге с несколькими редакторами может быть полезен. А вот страницы поиска по сайту, внутренние фильтры и результаты сортировки обычно не должны конкурировать с основными посадочными страницами.

Как выбрать способ закрытия: robots.txt, meta robots или canonical

У каждого инструмента своя задача. Если смешать их, легко получить конфликт: страница закрыта в robots.txt, но при этом уже висит в индексе без возможности переобхода; или наоборот — страница доступна, но поисковик не понимает, какую версию считать основной.

Практически всегда для удаления из индекса лучше начинать с noindex, а robots.txt использовать только для сканирования мусорных параметров и служебных путей.

Пошаговое решение: закрываем отдельную страницу или тип записей

Если у вас одна конкретная страница, самый безопасный путь — добавить noindex только для неё. Для этого не обязательно ставить тяжёлый SEO-плагин, если задача точечная.

Вариант 1: закрыть конкретный URL через код темы или мини-плагин

Ниже пример, который добавляет noindex, nofollow только на страницу с указанным ID. Если вам нужно закрыть не страницу, а, например, результаты поиска, условие можно заменить.

<?php
add_action('wp_head', function () {
    if (is_page(123)) {
        echo '<meta name="robots" content="noindex, nofollow" />' . "\n";
    }
});

Если страница должна оставаться доступной для переходов, но не индексироваться, обычно достаточно noindex, follow. Для служебных страниц это чаще предпочтительнее, чем nofollow.

<?php
add_action('wp_head', function () {
    if (is_page(123)) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
});

Вариант 2: закрыть результаты поиска WordPress

Внутренний поиск почти всегда создаёт тонкие страницы без самостоятельной ценности. Для них можно добавить noindex глобально:

<?php
add_action('wp_head', function () {
    if (is_search()) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
});

Если на сайте есть отдельная страница поиска с полезными фильтрами и контентом, не закрывайте её автоматически. Сначала проверьте, не используется ли она как полноценная посадочная.

Вариант 3: закрыть архивы автора или теги

На небольших сайтах архив автора и теги часто дублируют рубрики и отдельные записи. Тогда можно убрать их из индекса через условные теги WordPress:

<?php
add_action('wp_head', function () {
    if (is_author() || is_tag()) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
});

Но здесь нужен здравый смысл. Если теги у вас реально собирают трафик и имеют уникальные описания, закрывать их не стоит. Решение должно опираться на структуру конкретного сайта, а не на шаблон.

Как убрать дубли без закрытия страницы от индексации

Иногда проблема не в самой странице, а в её дублях: с параметрами, с разными слешами, с UTM-метками, с сортировкой. В этом случае noindex — не всегда лучший ответ. Лучше указать каноническую версию.

Когда нужен canonical

Если одна и та же статья доступна по нескольким URL, поисковику нужно явно сказать, какой адрес основной. В WordPress это часто решается SEO-плагином, но в некоторых случаях можно добавить canonical вручную.

<?php
add_action('wp_head', function () {
    if (is_singular('post')) {
        $url = get_permalink();
        echo '<link rel="canonical" href="' . esc_url($url) . '" />' . "\n";
    }
});

Если canonical уже выводит SEO-плагин, второй тег добавлять не нужно. Два canonical на странице — частая ошибка, которая только путает поисковик.

Проверка результата после внедрения

После изменений не ограничивайтесь просмотром кода страницы в браузере. Проверьте три вещи: HTML-метатег, ответ сервера и статус в Search Console.

• Откройте страницу и посмотрите исходный код: должен быть виден <meta name="robots" ...> или <link rel="canonical" ...>.
• Проверьте, что страница не закрыта случайно через robots.txt, если вам нужен обход поисковиком.
• В Search Console отправьте URL на повторную проверку и посмотрите, как Google интерпретирует директиву.

Если страница уже была в индексе, удаление может занять время. Это нормально. Важно, чтобы новая версия была доступна для обхода и содержала корректную директиву.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt и ждёте удаления из индекса

Это самая частая ошибка. Если поисковик не может зайти на URL, он не увидит noindex и не всегда быстро уберёт страницу из выдачи. Для удаления из индекса сначала нужен доступ к странице, потом директива noindex.

Ставите nofollow везде подряд

nofollow не нужен большинству служебных страниц. Если вы закрываете всё подряд, можно ухудшить внутреннюю перелинковку. В большинстве случаев достаточно noindex, follow.

Добавляете canonical на страницу, которую нужно полностью убрать

Canonical не равен запрету на индексацию. Он лишь подсказывает основную версию. Если страница мусорная и не должна участвовать в поиске, используйте noindex.

Дублируете директивы из плагина и из темы

Если SEO-плагин уже выводит meta robots, ручной код в теме может создать конфликт. Перед внедрением проверьте исходный код страницы и отключите лишний источник директивы.

Чек-лист перед публикацией изменений

• Понял, какие URL нужно убрать: одна страница, тип записей, архивы или параметры.
• Выбрал правильный механизм: noindex, canonical или robots.txt.
• Проверил, нет ли уже такого же правила в SEO-плагине.
• Убедился, что страница остаётся доступной для обхода, если нужен noindex.
• Посмотрел исходный код и убедился, что директива выводится только там, где нужно.
• Отправил URL на повторную проверку в Search Console.

Безопасность и производительность: что не стоит делать

Не правьте robots.txt «на глаз» и не закрывайте целые разделы сайта только потому, что они кажутся второстепенными. На практике это часто ломает индексацию полезных страниц. Если на сайте много дублей, сначала разберитесь со структурой URL и каноникалами, а уже потом режьте индексацию.

Если задача регулярная, удобнее вынести правила в мини-плагин, а не в functions.php. Так вы не потеряете настройки при смене темы. Для сайтов с большим количеством технических дублей полезно также проверить, не создаёт ли их сам шаблон, фильтры, пагинация или сторонний плагин. Иногда проще убрать источник дубля, чем маскировать его директивами.

Если нужен более широкий аудит дублей, индексации и технической чистки сайта, имеет смысл смотреть в сторону инструментов, которые помогают управлять мета-тегами, архивами и служебными страницами. Например, Clearfy Pro закрывает часть типовых технических задач без ручного кода, но перед включением любых автоматических правил всё равно стоит проверить, что именно они меняют в HTML и robots.txt.

Главный критерий простой: после внедрения нужная страница либо исчезает из индекса, либо получает корректный canonical, а полезные URL не теряют видимость. Если этого не произошло, значит, правило применено не туда или конфликтует с другим источником директив.