Что делать, если хостинг блокирует поисковых роботов? Первым делом откройте файл .htaccess в корневой директории сайта и проверьте, нет ли там директив deny from all или блокировок по IP-адресам Google и Яндекс (список можно найти в справке). Если блокировка стоит на уровне сервера – зайдите в панель управления хостингом и найдите раздел «Безопасность» или «Защита от ботов»; там должен быть пункт «WhiteList поисковых систем», который нужно включить.
Для проверки используйте инструмент Проверка robots.txt в Google Search Console или модуль «Анализ robots.txt» Яндекс.Вебмастера – они покажут, видит ли робот ваш сайт. Если нет, добавьте серверные IP-адреса ботов в исключения через поддержку хостинга: путь к поддержке обычно лежит в тикете «Настройки доступа роботов». Важный нюанс: не путайте блокировку с ограничением по трафику – если хост отключает ботов из-за нагрузки, попросите увеличить лимит запросов в секунду в разделе «Лимиты хостинга».