Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: заголовок X-Robots-Tag «googlebot: noindex»

Ожидается: предупреждение NoIndex (HTTP-заголовок X-Robots-Tag).

Заголовок адресован только роботу Google: перед директивой стоит имя бота и двоеточие. Проверка должна отрезать имя бота и увидеть запрет. Такие точечные правила обычно настраивают через CDN, и после смены провайдера о них часто забывают.