Очень удобно, когда пользователи могут сортировать листинги товаров по цене, алфавиту, наличию на складе и так далее. Кроме того, вебмастера часто разбивают большое количество товаров в листинге с помощью постраничной навигации.
Естественно и то, что сортированные листинги или страница с товарами №517 имеют свои уникальные URL-адреса.
В результате этих, казалось бы правильных действий, в базу данных поисковых машин попадает большое количество бесполезных страниц. Сортировки дублируют контент, а страница №517 запросто может перетянуть релевантность страницы №1 на себя.
На скриншоте из Панели Вебмастера видно, что Яндекс знает на сайте свыше 1 000 000 страниц, а в поиске участвует всего 0,15%!
Самое неприятное, что квота на индексацию сайта с каждым шагом становится всё меньше.
Чем больше поисковая машина находит бесполезных страниц, тем реже робот сканирует сайт. Работает экономика — зачем тратить мощности серверов на сайт, который генерирует, к примеру, дубликаты? В результате о быстром эффекте от продвижения сайта можно забыть уже на этапе разработки сайта.
К счастью, поисковые машины в своих руководствах уже дают план действий.
С помощью мета-тегов meta name="robots", rel="canonical", rel="prev" и rel="next" задаем следующее:
- Индексировать и тексты, и ссылки — на первых страницах листингов и сортировок
- Не индексировать тексты, но переходить по ссылкам в карточки товаров — на страницах листингов дальше первой. Карточки товаров получат свой статический вес и будут проиндексированы.
- Не индексировать тексты и не переходить по ссылкам — на страницах сортировок или подборов по параметрам, результатов поиска.
- Предпочитаемый канонический адрес в поиске. Для сортировок — это страница в начальном состоянии. Для листингов — соответствующая страница листинга или страница «Показать всё».
Памятка в виде таблицы
| Тип страницы | meta name="robots" | rel="canonical", rel="prev" и rel="next" |
| Параметры к адресу страницы (?utm_source и другие) | — | <link rel="canonical" href="http://адрес раздела или подраздела без параметра"/> |
| Сортировки | <meta name="robots" content="noindex, nofollow"/> | <link rel="canonical" href="http://адрес раздела или подраздела или страницы N"/> |
| Результаты работы «Подбора по параметрам» | <meta name="robots" content="noindex, nofollow"/> | <link rel="canonical" href="http://адрес раздела или подраздела или страницы N"/> |
| Первая страница листинга (раздел или подраздел) | <meta name="robots" content="index, follow"/> | <link rel="canonical" href="http://адрес раздела или подраздела"/> <rel="next" href="http://страница №2"/> |
| Вторая страница листинга | <meta name="robots" content="noindex, follow"/> | <link rel="canonical" href="http://адрес страницы №2 или «Показать всё»"/> <rel="next" href="http://страница №3"/> <rel="prev" href="http://адрес раздела или подраздела"/> |
| N страница листинга | <meta name="robots" content="noindex, follow"/> | <link rel="canonical" href="http://адрес страницы N или «Показать всё»"/> <rel="next" href="http://страница N+1"/> <rel="prev" href="http://страница N-1"/> |
| Последняя страница листинга | <meta name="robots" content="noindex, follow"/> | <link rel="canonical" href="http://адрес последней страницы или «Показать всё»"/> <rel="prev" href="http://предыдущая страница листинга"/> |
| Результаты поиска | <meta name="robots" content="noindex, nofollow"/> | — |
В случае реализации такой памятки, мы сможем уже на этапе разработки сайта снизить количество дубликатов и корректно распределить статический вес по карточкам товаров. Скорость сканирования сайта роботом увеличится.
Ещё по теме:
- Статический вес — http://promo-techart.ru/analysis/range.htm
- Еще более правильное оформление ссылок пагинации — http://habrahabr.ru/post/128746/
Такие конструкции мы выстраиваем после аудита сайта. Не читайте руководства. Сэкономьте своё время.
а если мне лень и я закрою все ненужные страницы в robots.txt, то будет хуже?
Сортировки.
Пагинацию нельзя закрывать. Даже если она прописана в XML-карте