Очень удобно, когда пользователи могут сортировать листинги товаров по цене, алфавиту, наличию на складе и так далее. Кроме того, вебмастера часто разбивают большое количество товаров в листинге с помощью постраничной навигации.
Естественно и то, что сортированные листинги или страница с товарами №517 имеют свои уникальные URL-адреса.
В результате этих, казалось бы правильных действий, в базу данных поисковых машин попадает большое количество бесполезных страниц. Сортировки дублируют контент, а страница №517 запросто может перетянуть релевантность страницы №1 на себя.
На скриншоте из Панели Вебмастера видно, что Яндекс знает на сайте свыше 1 000 000 страниц, а в поиске участвует всего 0,15%!
Самое неприятное, что квота на индексацию сайта с каждым шагом становится всё меньше.
Чем больше поисковая машина находит бесполезных страниц, тем реже робот сканирует сайт. Работает экономика — зачем тратить мощности серверов на сайт, который генерирует, к примеру, дубликаты? В результате о быстром эффекте от продвижения сайта можно забыть уже на этапе разработки сайта.
К счастью, поисковые машины в своих руководствах уже дают план действий.
С помощью мета-тегов meta name=»robots», rel=»canonical», rel=»prev» и rel=»next» задаем следующее:
- Индексировать и тексты, и ссылки — на первых страницах листингов и сортировок
- Не индексировать тексты, но переходить по ссылкам в карточки товаров — на страницах листингов дальше первой. Карточки товаров получат свой статический вес и будут проиндексированы.
- Не индексировать тексты и не переходить по ссылкам — на страницах сортировок или подборов по параметрам, результатов поиска.
- Предпочитаемый канонический адрес в поиске. Для сортировок — это страница в начальном состоянии. Для листингов — соответствующая страница листинга или страница «Показать всё».
Памятка в виде таблицы
| Тип страницы | meta name=»robots» | rel=»canonical», rel=»prev» и rel=»next» |
| Параметры к адресу страницы (?utm_source и другие) | — | <link rel=»canonical» href=»http://адрес раздела или подраздела без параметра»/> |
| Сортировки | <meta name=»robots» content=»noindex, nofollow»/> | <link rel=»canonical» href=»http://адрес раздела или подраздела или страницы N»/> |
| Результаты работы «Подбора по параметрам» | <meta name=»robots» content=»noindex, nofollow»/> | <link rel=»canonical» href=»http://адрес раздела или подраздела или страницы N»/> |
| Первая страница листинга (раздел или подраздел) | <meta name=»robots» content=»index, follow»/> | <link rel=»canonical» href=»http://адрес раздела или подраздела»/> <rel=»next» href=»http://страница №2″/> |
| Вторая страница листинга | <meta name=»robots» content=»noindex, follow»/> | <link rel=»canonical» href=»http://адрес страницы №2 или «Показать всё»»/> <rel=»next» href=»http://страница №3″/> <rel=»prev» href=»http://адрес раздела или подраздела»/> |
| N страница листинга | <meta name=»robots» content=»noindex, follow»/> | <link rel=»canonical» href=»http://адрес страницы N или «Показать всё»»/> <rel=»next» href=»http://страница N+1″/> <rel=»prev» href=»http://страница N-1″/> |
| Последняя страница листинга | <meta name=»robots» content=»noindex, follow»/> | <link rel=»canonical» href=»http://адрес последней страницы или «Показать всё»»/> <rel=»prev» href=»http://предыдущая страница листинга»/> |
| Результаты поиска | <meta name=»robots» content=»noindex, nofollow»/> | — |
В случае реализации такой памятки, мы сможем уже на этапе разработки сайта снизить количество дубликатов и корректно распределить статический вес по карточкам товаров. Скорость сканирования сайта роботом увеличится.
Ещё по теме:
- Статический вес — http://promo-techart.ru/analysis/range.htm
- Еще более правильное оформление ссылок пагинации — http://habrahabr.ru/post/128746/
Такие конструкции мы выстраиваем после аудита сайта. Не читайте руководства. Сэкономьте своё время.
а если мне лень и я закрою все ненужные страницы в robots.txt, то будет хуже?
Сортировки.
Пагинацию нельзя закрывать. Даже если она прописана в XML-карте