Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: meta bingbot «noindex» — запрет для чужого бота

Ожидается: без предупреждения NoIndex.

Запрет индексации адресован только роботу Bing. Для Google и Яндекса страница открыта, поэтому предупреждать не о чем. Старая проверка считала закрытой любую страницу, где встречается слово noindex в любом meta-теге, и ошибалась именно на таких страницах.