Как убрать или закрыть дубли страниц от индексации

Дубликаты страниц на сайте негативно влияют на продвижение сайтов в поисковых системах. Поэтому их нужно находить, а дальше устранять или закрывать от индексации.

В данном посте мы детально рассмотрим, как же можно закрыть дубли страниц от индексации или их устранить.
 
1. Rel «canonical»
Для начала нужно разобраться, что такое каноническая страница – это рекомендуемый экземпляр из набора страниц с практически походим содержанием.
С помощью тега rel «canonical» можно закрыть дубликаты страниц и практика показывает, что в последнее время все больше seo оптимизаторов применяют тег на крупных сайтах. 
 
2. Robots.txt
С его помощью можно закрыть дублирующий контент от индексации. Необходимо использовать директиву disallow, и указывать какие типы страниц или разделов не нужно индексировать, чтобы их не обходил поисковый бот. С помощью robots закрывают страницы от индексации чаще всего, так как это удобнее и привычнее многим вебмастерам, но опять же всегда зависит от ситуации.
 
3. 301 редирект
С помощью 301-го редиректа можно склеить похожие страницы. Идентичные страницы, и это плохо для продвижения, нужно оставить какой-то один вариант, а второй, чтобы перенаправлялся на тот, что мы выбрали. Это частая ошибка на многих сайтах, на которую не обращают внимание, а такой дубль влияет на ранжирование сайта.
Многие системы управления сайтом сразу учитывают этот момент, но не все, и поэтому если мы обнаружили дубликаты, мы закрываем его с помощью 301-го редиректа, где в файле .htaccess прописываем какие страницы на какие перенаправлять.
 
4. Ручное удаление страниц
Ручное удаление страниц подходит для небольших сайтов, или для сайтов в которых системы управления имеют нормальные возможности. Все что нужно сделать найти страницы, и удалить их или через систему управления, или если это статический сайт то через FTP.
 
Выводы: дубликаты страниц важно закрывать или удалять вовсе, поскольку поисковые системы могут наложить санкции на сайт за дублированный контент.