Идеальный robots.txt для WordPress

8.02.2008 | Просмотров: 7 156

Давайте вместе составим robots.txt для WordPress

User-agent: *
 
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /sitemap.xml
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
 
User-agent: Googlebot-Image
Disallow: /wp-includes/

Оставить комментарий для " Идеальный robots.txt для WordPress " (Комментарии (6))

RomanDrozd (Апрель 18th, 2008, 7:07)

Спасибо : ) Я все думал как ссылки на трэкбеки закрыть, оказывается звездочку надо было ставить.

Пошел менять файлик на блогах : )

Вопрос только есть. Зачем sitemap.xml закрывать?
Nadin (Март 24th, 2009, 3:02)

По поводу закрытия от индексации index.php ну и Всех *.php файлов, Насколько это целесообразно? У меня постоянные ссылки ЧПУ следующего вида /%postname%.html т.е. по сути у меня путь вида http://www.mydomain.ru/*.html
Добрый Incinerator (Июнь 13th, 2009, 7:10)

Сделал robots.txt как описано — засумлевался тоько в одной строчке — в запрет фида ведь приведет к тому что его перестанет индексировать Яндексовский блогоробот? Или я ошибаюсь?
Miletopolis (Июнь 13th, 2009, 9:37)

Добрый Incinerator, Возможно, актуальная тема про файл robots.txt смотрите на http://misterkim.org/articles/robots-txt-for-wordpress.html
Alex (Август 13th, 2009, 8:37)

А что-то все закрыто, если посисковик не успел проиндексировать статью и она на 2 страницу ушла, как он ее найдет, если нет ссылок на нее например?
Alex (Август 13th, 2009, 8:38)

:) опечатался забавно