Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoFollow: заголовок X-Robots-Tag «googlebot: nofollow»

Ожидается: предупреждение Nofollow (HTTP-заголовок X-Robots-Tag).

Заголовок адресован конкретному роботу: перед директивой стоит имя бота и двоеточие. Проверка должна отрезать имя бота и увидеть сам запрет. Так настраивают точечные правила для одного поисковика, не трогая остальные, и такую настройку легко упустить при переезде.