Как настроить robots.txt для интернет-магазина, чтобы не потерять страницы товаров в поиске?
Для интернет-магазина в robots.txt нужно разрешить индексацию карточек товаров и категорий, но закрыть служебные разделы: корзину, личный кабинет, поиск, фильтры и сортировки. Пропишите директивы User-agent: * и запретите пути вроде /cart/, /personal/, /search/, а также параметры вроде ?sort= или ?page=, если они не нужны для индексации. Обязательно укажите Sitemap и не блокируйте CSS и JS.
Практическое уточнение: если ваш магазин использует фильтры, не закрывайте их целиком, а разрешите индексацию только основных страниц выдачи — иначе рискуете потерять целевой трафик. Проверить результат можно в Google Search Console, во вкладке «Проверка URL», или через режим «Как видит Googlebot». Также помните: robots.txt не запрещает индексацию, а только скачивание — для полного исключения дублей и служебных страниц используйте мета-тег noindex или canonical.
Готовый корректный robots.txt — это часть технической базы, которая влияет на видимость и конверсию. Если нужно провести аудит и настроить файл под структуру вашего магазина, закажите услугу — мы учтём все нюансы CMS и SEO-стратегии за один рабочий день.