Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: заголовок X-Robots-Tag «none»

Ожидается: предупреждение NoIndex (HTTP-заголовок X-Robots-Tag). Попутно сработает Nofollow (HTTP).

Сервер отдаёт директиву none и этим закрывает страницу целиком: и от индексации, и от перехода по ссылкам. Одна такая строка в конфигурации сервера может убрать из поиска весь сайт. В коде страниц при этом нет ни одного подозрительного тега.