Wordpress VS. Bubblebabe

В WordPress есть определенное количество «служебных» файлов и папок, попадание в индекс которых не желательно по ряду объективных причин. Чтобы «спрятать» их от роботов поисковых систем, нужно использовать файл robots.txt о котором и пойдет речь в посте. Структура папок в WordPress практически не меняется от версии к версии, поэтому описанные ниже данные подойдут для большинства блогов.

Назначение файла Robots.txt

В принципе, назначение файла понятно, но давайте сформулируем его функции более точно — файл robots.txt используется для задачи правил поведения поисковых ботов на сайте, т.е. с его помощью вы можете влиять на процесс индексации. Robot.txt представляет из себя текстовый файл, составленный по определенным правилам (основные моменты хорошо описаны в том же Яндексе), находящийся в корневой папке вашего блога.

В принципе, все правила индексации строятся на 5 переменных:

1. User-agent указывает для какого конкретно поискового робота предназначены директивы.
2. Allow — разрешающая директива.
3. Disallow — запрещающая директива.
4. Host, указывающая какое из зеркал вашего сайта является главным.
5. Sitemap для указания поисковикам, где находится xml-файл карты сайта.

Составляем файл Robots.txt

По умолчанию, в стандартном дистрибутиве WordPress файл robots.txt присутствует и содержит две строчки:

[code]User-agent: *
Disallow:[/code]

Приведенный выше листинг файла robots.txt разрешает всем поисковым ботам индексировать весь сайт. Это задается пустой директивой Disallow.

Давайте добавим в него все папки, которые вы бы хотел закрыть от любопытных посетителей роботов:

[code]User-agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads/[/code]

Как вы можете видеть, мы запретили к индексации все служебные папки и файлы, используемые в работе администратором и движком блога, но не посетителями — скрываем страницы удаленного постинга, авторизации и регистрации, папки с темами и плагинами. Папки trackback, comments и feed физически не существуют, а прячем мы их дабы избежать дублирующего контента, чтобы не понести «кары» от Яндекса. Кстати, некоторые рекомендуют добавлять запрет индексации для папки tag по той же причине, но лично я этого не делал бы.

Стоит обратить внимание, что после всех запретов, директивой Allow мы откроем доступ к папке uploads — не стоит пренебрегать возможным трафиком с результатов поиска по изображениям с Google или Яндекс. Если же картинки к статьям у вас находятся в другой папке, то необходимо поменять путь.

В конце мы добавим директиву определения карты сайта и директиву определения главного зеркала Host. Её мы размещаем в самом конце, так как предназначена она только для робота поисковой системы Яндекс и другие об неё могут «спотыкаться».

[code]Sitemap: http://www.bubblebabe.ru/sitemap.xml
Host: www.bubblebabe.ru[/code]

Отсекаем ненужных роботов посредством Robots.txt

Бывает, что роботы, индексирующие сайты, не приносят пользы своими действиями, а наоборот только нагружают сервер. Если ваш блог ориентирован на получение только русского трафика или вас не интересуют какие-либо локальные китайские поисковые системы, то ненужный роботов-краулеров можно отсечь используя данный список формата «имя робота — поисковик»:

teoma — Ask/Teoma
twiceler — Cuil
gigabot — GigaBlast
scrubby — Scrub The Web
nutch — Nutch
baiduspider — Baidu
naverbot — Naver
yeti — Naver
asterias — SingingFish