Crawler tester

crawler.realtysev.ru

Тестовый стенд аудита сайта

NoIndex: страница закрыта в robots.txt только для Bingbot

Ожидается: без предупреждения NoIndex.

Запрет Disallow записан только в группе User-agent: Bingbot. Для Google и Яндекса страница открыта, краулер обходит её при любых настройках. Проверка учитывает только запреты для поисковиков, по которым работает сервис, поэтому предупреждения здесь быть не должно.