Тестовый стенд аудита сайта
Ожидается: предупреждение NoIndex (HTTP-заголовок X-Robots-Tag). Попутно сработает Nofollow (HTTP).
Сервер отдаёт директиву none и этим закрывает страницу целиком: и от индексации, и от перехода по ссылкам. Одна такая строка в конфигурации сервера может убрать из поиска весь сайт. В коде страниц при этом нет ни одного подозрительного тега.