Чтобы страницы сайта или сам сайт появлялись в выдаче поисковых систем, необходимо, чтобы сайт был проиндексирован индексирующими роботами. Обычно, сайты доступны для индексации, но бывают случае, когда ресурс требуется запретить к сканирование. Ситуации, требующие запрета индексирования сайта:
- Сайт находится в процессе разработки и вывод в результатах поиска «сырых» страниц не желательно. Чтобы каждый раз не вычищать ненужные страницы из индекса, лучше сразу закрыть сайт от индексирования.
- Создается дубликат основного сайта, на котором разработчики тестируют различные доработки. Если дубликат попадет в индекс, что это может привести к путанице и серьезно ухудшить позиции основного сайта.
- На страницах содержится конфиденциальная или предназначенная для узкого круга пользователей информация, например если это корпоративный ресурс.
- На страницах содержится контент, который не нужно индексировать, так как он неактуальный или относится к административной части сайта и бесполезен в плане индексации.
4 основных способа запрета индексации сайта
С помощью файла robots.txt
Более надежный способ внести все изменения вручную непосредственно в сам файл robots.txt. Этот файл, который находится в корневом каталоге вашего сайта (обязательное требование), содержит в себе директивы для поисковых роботов, поэтому они сразу же посещают именно его, а затем уже остальные страницы и директории.
Помимо того, что robots.txt должен находится в корневом каталоге, он должен соответствовать еще ряду обязательных требований:
- Размер не более 500 КБ;
- Название файла должно быть полностью в нижнем регистре;
- Доступен по адресу mysite/robots.txt, а при запросе сервер должен отправить ответ 200 ОК.
В файле прописываются следующие директивы:
- User-agent, указывающий, для каких именно поисковых роботов эта директива предназначается;
- Disallow указывает на запрет действия;
- Allow указывает на разрешение действия;
- Clean-param облегчает поисковому роботу Яндекс правильное определение страницы для индексации;
- Sitemap с содержанием прямого адреса карты вашего сайта.
Для полное закрытие сайта от индексации необходимо прописать следующую команду;
User-agent: * Disallow: /
Можно закрыть сайт только от одного типа поисковых роботов, например Google:
User-agent: Googlebot Disallow: /
Перейдя в Google Search Console, вы можете в поле проверки адреса вставить URL нескольких страниц своего сайта. Скорее всего, система покажет вам результат «Заблокировано по строке», но это не 100% — так как данная директива носит рекомендательный, но не обязательный характер, то поисковые системы Google все равно могут индексировать страницы. В Яндексе запрет на индексацию сайта действует со 100% результатом.
Также есть возможность закрыть сайт для всех роботов поисковых систем, кроме одной:
User-agent: * Disallow: / User-agent: Yandex Allow: /
Таким образом, вы можете открыть свой сайт для индексации только поисковым роботом Яндекса.
Кроме полного запрета на индексацию сайта, можно запретить индексацию отдельных папок
User-agent: * Disallow: /category/
Запретить индексировать отдельные страницы
User-agent: * Disallow: /page.html
Закрыть все категории кроме указанной
User-agent: * Disallow: / Allow: /category
Таким же способом можно скрыть директории скриптовые файлы и файлы определенного формата, UTM-метки, всю категорию кроме отдельного файла.
- Выведем в топ с нуля — без накруток и санкций
С использованием тега name=»robots»
Еще одним вариантом закрыть сайт от индексации является использование тега name=”robots”, который поисковики считают приоритетным. Этот тег в обязательном порядке должен прописываться внутри тегов <head> и </head>. Например:
<meta name=”robots” content=”noindex, nofollow”/>
или
<meta name=”robots” content=”none”/>
С помощью HTML-кода
Метатеги в блоке <head> самого HTML кода также позволяют полностью закрыть страницу от индексации поисковыми системами. Здесь используется атрибут «content» со следующими значениями:
- follow — разрешение на индексацию всех ссылок.
- nofollow — разрешение на сканирование всех ссылок, но запрет на их индексацию.
- index — разрешение на индексацию содержимого страницы.
- noindex — запрет на индексацию содержимого страницы, кроме ссылок.
- all — разрешение на индексацию всего содержимого страницы, включая ссылки.
Атрибут «name» позволяет открывать или закрывать страницу для роботов определенной поисковой системы.
Например, данный код запрещает роботу Google индексировать страницу:
<meta name="googlebot" content="noindex, nofollow"/><br>
С помощью настроек сервера
В случае, если все вышеописанные способы не помоги и поисковые роботы (в частности роботы Google) продолжают индексировать страницы сайта, можно ограничить возможность посещения в настройках сервера. Это крайний способ, который рекомендуется использовать в последнюю очередь.
Запрет на и в настройках сервера вводится в файле .htaccess. Необходимо открыть этот файл и вручную прописать в нем следующий код:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot SetEnvIfNoCase User-Agent "^Yandex" search_bot SetEnvIfNoCase User-Agent "^Yahoo" search_bot SetEnvIfNoCase User-Agent "^Aport" search_bot SetEnvIfNoCase User-Agent "^msnbot" search_bot SetEnvIfNoCase User-Agent "^spider" search_bot SetEnvIfNoCase User-Agent "^Robot" search_bot SetEnvIfNoCase User-Agent "^php" search_bot SetEnvIfNoCase User-Agent "^Mail" search_bot SetEnvIfNoCase User-Agent "^bot" search_bot SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot SetEnvIfNoCase User-Agent "^Snapbot" search_bot SetEnvIfNoCase User-Agent "^WordPress" search_bot SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot SetEnvIfNoCase User-Agent "^Parser" search_bot
Так вы сможете закрыть сайт от поисковых роботов всех систем. Если следует ограничить робота какой-то определенной системы, то достаточно будет строки кода с ее упоминанием.
Запрет на индексацию для сайтов на WordPress
Учитывая, что все больше ресурсов создаются на движке WordPress, рассмотрим этот способ отдельно. Тем более, что он является наиболее простым и быстрым и не требует особых знаний – все делается с помощью встроенного набора инструментов.
- Переходим в «Панель управления» CMS;
- Выбираем «Настройки» — «Чтение»;
- В разделе «Видимость для поисковых систем» ставим галочку в поле «Рекомендовать поисковым системам не индексировать сайт»;
- Нажимаем кнопку «Сохранить изменения».
Система сама вносит все необходимые изменения в файл robots.txt, чтобы запретить индексацию сайта. Плюсом этого способа является его простота, но здесь есть и обратная сторона – вы не ставите полный запрет на индексацию, а лишь «рекомендуете» поисковикам не обращать внимание на него. Причем для Яндекс эта рекомендация действует в 100% случаев, а вот с Google все не так и просто – примерно в половине случаев поисковые роботы все равно могут проиндексировать сайт.
Для WordPress имеется отдельный плагин Yoast SEO, который также позволяет закрывать как отдельные страницы сайта, так и весь ресурс от индексации.
- Установите плагин на вашу CMS
- Откройте страницу в редакторе и перейдите в самый низ до окна плагина;
- На вкладке плагина «Дополнительно» настройте разрешение или запрет на индексацию.
Проверка индексации сайта
После того, как вы закрыли сайт или отдельные страницы от индексации одним из описанных выше способов, рекомендуется произвести проверку. Существует несколько вариантов, как это сделать.
В Google Search Console
В панели Google Search Console выберите пункт «Проверка по URL», после чего вставьте в поисковую строку адрес вашего сайта или определенной страницы (если закрывались отдельные страницы). Если вы все сделали правильно, то увидите надпись «URL нет в индексе Google».
В Яндекс.Вебмастер
Аналогичным способом подобная проверка производится в Яндекс.Вебмастер. Сначала следует пройти верификацию, после чего перейти в инструментарий и выбрать там пункт «Проверка ответа сервера».
Откроется новая страница, где будет отдельное поле, куда следует вставить URL проверяемой страницы. В случае, если страница закрыта от индексации, вы увидите уведомление «URL запрещен к индексированию».
Через поисковую строку поисковика
Откройте ваш браузер и в поисковой строке введите site:https://mysite.ru, где mysite.ru – это адрес вашего ресурса. Если действует запрет на индексацию, то в результатах поиска вы увидите 0 страниц.
