Сайт может отлично открываться у владельца и клиентов, но поисковая система в этот момент видит совсем другую картину. Причина иногда скрывается в двух служебных файлах — robots.txt и sitemap. Их редко открывают вручную, поэтому ошибка способна неделями оставаться незаметной.
Чаще всего проблема появляется не из-за злого умысла, а после обычных работ: запустили новую версию сайта, перенесли его на другой сервер, включили защиту, сменили CMS или забыли убрать временные ограничения тестовой площадки.
Что делает robots.txt
Файл robots.txt подсказывает поисковым роботам, какие адреса им разрешено обходить. Он помогает не тратить обход на служебные разделы, фильтры и повторяющиеся страницы. Но одна неудачная строка может закрыть роботу важный каталог, блог или даже весь сайт.
Важно не путать обход и появление страницы в поиске. Запрет в robots.txt управляет доступом робота, но не является надежным способом удалить уже известный адрес из результатов. Для исключения страницы используют другие настройки или ограничивают доступ паролем.
Зачем нужен sitemap
Sitemap — это список адресов, которые владелец считает важными. Он помогает поисковой системе находить новые и обновленные страницы, особенно если сайт большой, новый или имеет сложную структуру.
Само наличие адреса в sitemap не гарантирует обход и место в поиске. Это подсказка, а не приказ. Поэтому файл должен содержать только актуальные страницы, которые действительно открываются и предназначены для посетителей.
Как возникают тихие ошибки
На рабочий сайт попали правила тестовой версии
На тестовой площадке обычно закрывают обход всего сайта. Если такой robots.txt случайно перенести вместе с релизом, для клиента ничего не изменится, а поисковый робот получит запрет.
Sitemap остался на старом адресе
После смены домена, протокола или структуры в файле могут сохраниться старые ссылки. Поисковая система будет тратить время на перенаправления и несуществующие страницы, а новые разделы обнаружит позже.
Файл существует, но отвечает ошибкой
Плагин CMS может быть отключен, сервер — вернуть ошибку, а защита от ботов — заблокировать запрос. Поэтому важно проверять не только адрес файла, но и фактический ответ снаружи.
В список попало все подряд
Корзина, страницы входа, результаты внутреннего поиска и технические дубли обычно не помогают поиску. Большой файл не становится полезнее, если в нем смешаны ценные и служебные адреса.
Когда проводить проверку
Проверяйте robots.txt и sitemap после запуска сайта, смены CMS, переноса, изменения структуры адресов и подключения CDN или защиты. Отдельный повод — неожиданное снижение числа страниц в поиске, хотя сам сайт продолжает работать.
Практичный минимум: открыть оба файла снаружи, убедиться в успешном ответе, проверить основной домен внутри sitemap и просмотреть правила robots.txt на случай полного запрета. После крупных изменений полезно повторить проверку, когда обновились DNS и кеши.
Чем помогает Core Monitor
Core Monitor следит, доступны ли robots.txt и sitemap, и замечает изменение их содержимого. Сервис не решает за владельца, какие страницы должны быть в поиске, но помогает быстро увидеть, что важный служебный файл исчез или стал другим.
Это ранний сигнал, а не замена Search Console или Яндекс Вебмастеру. После уведомления нужно понять, было ли изменение плановым, и при необходимости проверить обработку страниц в инструментах поисковой системы.
Короткий итог
Работающий сайт и корректный обход поисковыми роботами — разные состояния. Храните правила понятными, не переносите ограничения тестовой версии на рабочую и проверяйте sitemap после каждого заметного изменения структуры.