Как убрать дубли главной страницы сайта. Урок 2

Как проверить страницы сайта на наличие дублей

Перед тем как начинать наращивание ссылочной массы, необходимо провести внутреннюю оптимизацию сайта и подготовить его к дальнейшему продвижению.

После проверки на отображение сайта с www и без, и установки редиректа для склеивания в один адрес, поскольку таким образом вы избавляетесь от многочисленных дублей, можно приступить к проверке остальных страниц на наличие дублей.

Особое внимание уделяется главной странице, уж тем более, когда сайт сделан на одном из популярных движков, которые генерируют адреса самостоятельно (это касается joomla, wordpress и других популярных CMS, которые распространяются по бесплатной лицензии). 

Определить наличие таковых страниц можно при помощи простой команды, которую необходимо ввести в поисковике:

site: домен.ua

В место домен.ua необходимо вставить домен своего ресурса. Все пишется слитно и без пробелов. Результатом выполнения этой команды будет отображен список всех страниц сайта, которые попали в индекс поисковой системы.

Из указанного примера видно, что в базе поисковой системы находится 186 страниц. Далее начинается долгий труд, поскольку необходимо отыскать все адреса, которые ведут на один и тот же материал и после этого произвести их склейку и устранение из баз поисковых систем.

Как убрать дубли главной страницы сайта типа /index.php

Среди возможных вариантов, это страницы типа домен.ua/index.php, это самый распространенный случай, когда главная страница дублируется вот таким вот образом. Избавится от такого помогает файл htaccess, который находится на сервере, в корневом каталоге вашего сайта (в папке, которая именуется однотипно с вашем доменом т.е. домен.ua).

Открыть этот файл можно при помощи любого текстового редактора, предварительно скачав его на свой компьютер. Далее необходимо прописать следующее правило:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ http://домен.ua/ [R=301,L]

После чего данный файл необходимо скопировать на сервер в ту же директорию и заменить старый. Для того, чтобы проверить устранилась ли данная проблема нужно выполнить следующий запрос домен.ua/index.php.

Если все сделано правильно, вас перекинет 301 редиректом на домен.ua и таким образом будет удален дубль главной страницы.

Как убрать дубли страниц со слешем "/"

Также часто встречаются дубли страниц со слешем / и без него. Для устранения этой проблемы необходимо задать редирект для одного из видов отображения. Например, для показа только со слешем нужно добавить в файл следующие строки:

RewriteBase / RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_URI} !(.*)/$

RewriteRule ^(.*[^/])$ $1/ [L,R=301]

Применяя новый код в файле htaccess рекомендуем делать его резервную копию.