Комментарии к записи: Robots.txt для Wordpress

Автор: Наталья

Наталья — Wed, 07 Apr 2010 17:52:55 +0000

Спасибо большущее! КАк раз для такого чайника как я инструкция – получилось именно то, что нужно, а то до этого как только я бедный сайт не курочила.
Развития Вам и процветания!

Автор: BBWorpdress

BBWorpdress — Mon, 11 Jan 2010 08:58:28 +0000

NewAge, вообще да, вы правы скорее всего.

Автор: NewAge

NewAge — Sat, 02 Jan 2010 19:00:22 +0000

по-моему вот эта строчка Allow: /wp-content/uploads/ лишняя, она не попадает под Disallow

Автор: Deimos

Deimos — Fri, 25 Dec 2009 13:31:28 +0000

BBWorpdress, согласен, про разбитее наверное как то так:
Disallow: /comment-page-*
Надо только через тулзу проверки роботс.тхт в вебмастере яндекса проверить.

Автор: BBWorpdress

BBWorpdress — Fri, 25 Dec 2009 12:48:55 +0000

Deimos, думаю, что нет – якорь не индексируется, т.е. он считается по сути «пустым местом», проиндексируется просто _http://www.site.ru/zagolovok/.

а вот дурацкую приблуду WP разбивки комментариев я бы закрыл:
_http://www.site.ru/zagolovok/comment-page-1/, только не знаю, как это правильно придумать.

Автор: Deimos

Deimos — Fri, 25 Dec 2009 09:35:34 +0000

Роман привет, как считаешь стоит в роботе закрывать страницы с якорями комментариев, например:
_http://www.site.ru/zagolovok/#comments
т.е. прописывать в робот:
/#comments

Автор: Макс Травиан

Макс Травиан — Wed, 23 Dec 2009 15:14:14 +0000

Роботс – хорошый файл. Только у меня с ним на еск-хостинге ничего не получается, я его закачал в папку сайта, но понту эт этого – ноль. Он не работает.

Автор: Степашка

Степашка — Tue, 22 Dec 2009 08:23:58 +0000

ScreamNews, про Crawl Delay полезное замечание для посещаемых сайтов.

Автор: Степашка

Степашка — Tue, 22 Dec 2009 08:22:43 +0000

Про директивы Allow-Disallow без параметров.

Отсутствие параметров у директивы трактуется следующим образом:

User-agent: Yandex
Disallow: # тоже что и Allow: /

User-agent: Yandex
Allow: # тоже что и Disallow: /

Источник: http://help.yandex.ru/webmaster/?id=996567

Автор: BBWorpdress

BBWorpdress — Mon, 21 Dec 2009 13:04:17 +0000

Степашка, хост прописывать не обязательно. Если в настройках WP указан один, а директивой Host другой, то вероятность 90%, что второй проигнорируется.

ScreamNews, первые две строки у вас уже технические неправильны. Disallow не должен быть пустым.