Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoFollow: заголовок X-Robots-Tag «noindex» — ссылки открыты

Ожидается: без предупреждения Nofollow. Попутно сработает NoIndex (HTTP).

Сервер закрывает страницу от индексации заголовком, но переход по ссылкам не запрещает. Это аналог meta noindex, follow, только на уровне сервера. Проверка Nofollow не должна срабатывать, иначе заголовок noindex будет давать ложное предупреждение на каждой такой странице.