Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: два заголовка X-Robots-Tag

Ожидается: предупреждение NoIndex (HTTP-заголовок X-Robots-Tag). Попутно сработает Nofollow (HTTP).

Сервер отдаёт заголовок дважды: первый закрывает ссылки для всех, второй закрывает индексацию только для Google. Клиент склеивает их в одну строку, и старая проверка смотрела только на текст после последнего двоеточия. Запрет из второго заголовка не должен потеряться.