Как закрыть от индексации дубликаты и сортировки

Очень удобно, когда пользователи могут сортировать листинги товаров по цене, алфавиту, наличию на складе и так далее. Кроме того, вебмастера часто разбивают большое количество товаров в листинге с помощью постраничной навигации.

Естественно и то, что сортированные листинги или страница с товарами №517 имеют свои уникальные URL-адреса.
Пример пагинации листинга товаров
В результате этих, казалось бы правильных действий, в базу данных поисковых машин попадает большое количество бесполезных страниц. Сортировки дублируют контент, а страница №517 запросто может перетянуть релевантность страницы №1 на себя.
Огромное количество страниц-дублиткатов
На скриншоте из Панели Вебмастера видно, что Яндекс знает на сайте свыше 1 000 000 страниц, а в поиске участвует всего 0,15%!

Самое неприятное, что квота на индексацию сайта с каждым шагом становится всё меньше.

Чем больше поисковая машина находит бесполезных страниц, тем реже робот сканирует сайт. Работает экономика — зачем тратить мощности серверов на сайт, который генерирует, к примеру, дубликаты? В результате о быстром эффекте от продвижения сайта можно забыть уже на этапе разработки сайта.

К счастью, поисковые машины в своих руководствах уже дают план действий.

С помощью мета-тегов meta name="robots", rel="canonical", rel="prev" и rel="next" задаем следующее:

  1. Индексировать и тексты, и ссылки — на первых страницах листингов и сортировок
  2. Не индексировать тексты, но переходить по ссылкам в карточки товаров — на страницах листингов дальше первой. Карточки товаров получат свой статический вес и будут проиндексированы.
  3. Не индексировать тексты и не переходить по ссылкам — на страницах сортировок или подборов по параметрам, результатов поиска.
  4. Предпочитаемый канонический адрес в поиске. Для сортировок — это страница в начальном состоянии. Для листингов — соответствующая страница листинга или страница «Показать всё».

Памятка в виде таблицы

Тип страницыmeta name="robots"rel="canonical", rel="prev" и rel="next"
Параметры к адресу страницы (?utm_source и другие)<link rel="canonical" href="http://адрес раздела или подраздела без параметра"/>
Сортировки<meta name="robots" content="noindex, nofollow"/><link rel="canonical" href="http://адрес раздела или подраздела или страницы N"/>
Результаты работы «Подбора по параметрам»<meta name="robots" content="noindex, nofollow"/><link rel="canonical" href="http://адрес раздела или подраздела или страницы N"/>
Первая страница листинга (раздел или подраздел)<meta name="robots" content="index, follow"/><link rel="canonical" href="http://адрес раздела или подраздела"/>

<rel="next" href="http://страница №2"/>

Вторая страница листинга<meta name="robots" content="noindex, follow"/><link rel="canonical" href="http://адрес страницы №2 или «Показать всё»"/>

<rel="next" href="http://страница №3"/>

<rel="prev" href="http://адрес раздела или подраздела"/>

N страница листинга<meta name="robots" content="noindex, follow"/><link rel="canonical" href="http://адрес страницы N или «Показать всё»"/>

<rel="next" href="http://страница N+1"/>

<rel="prev" href="http://страница N-1"/>
Последняя страница листинга<meta name="robots" content="noindex, follow"/><link rel="canonical" href="http://адрес последней страницы или «Показать всё»"/>

<rel="prev" href="http://предыдущая страница листинга"/>
Результаты поиска <meta name="robots" content="noindex, nofollow"/>

 
В случае реализации такой памятки, мы сможем уже на этапе разработки сайта снизить количество дубликатов и корректно распределить статический вес по карточкам товаров. Скорость сканирования сайта роботом увеличится.
 
Ещё по теме:

Такие конструкции мы выстраиваем после аудита сайта. Не читайте руководства. Сэкономьте своё время.

Думаете, мы горазды только в планшетики тыкать рассуждать да умные статейки пописывать? :)

А вот и нет! Мы поработаем с вашим сайтом бесплатно и проверим с точки зрения SEO и удобства использования:

  • — корректность заголовков, HTML-тегов, верстки;
  • — скорость загрузки страниц;
  • — работу форм;
  • — тексты (орфографию, переспам) и дубликаты страниц (!);
  • — ссылки на сайте — есть ли «путь», который приведет к заказу;
  • — файлы robots.txt, sitemap.xml.

Оставьте контакт для бесплатной проверки сайта:


После прочтения статьи рекомендую посмотреть это релакс-видео

Бая-я-янНе пригодитсяУже слышал об этомПолезноОчень полезно ← Оцените пост
  • uran

    а если мне лень и я закрою все ненужные страницы в robots.txt, то будет хуже?

    • letov_e

      Сортировки.
      Пагинацию нельзя закрывать. Даже если она прописана в XML-карте