[vadimon]

Где можно взять самый оптимальную структуру файла robots.txt для WordPress?

[c0yc]

Я вот последнее время начал себе редактировать его

User-Agent: *
Disallow: /URL/

User-agent: Yandex
Allow: /feed
Allow: /page/*
Disallow: /*/page/*
Disallow: /*/feed
Disallow: /wp-trackback.php?p= 
Disallow: /0/*

а теперь более подробно

Allow: /feed
Disallow: /*/feed

Убирает ошибки индексации у гугла.ну вот не хочет он есть ссылку вида ввв.сайт.ру/запись/feed (подпись на комментарии) и выдает ошибку на эту страницу.

Allow: /page/*
Disallow: /*/page/*
Disallow: /0/*

Клюк этот понял из-за плагина Page Navigation. Яша берет (от куда я понять все не могу) ссылки вида

http://www.thatif.ru/2010/01/page/8/Science.YoRead.ru
http://www.thatif.ru/page/0/Science.YoRead.ru

итд

Disallow: /wp-trackback.php?p= 

Аналогичная ситуация с Feed, лучше нафиг убрать из индексации.

После ввода этих правил - кол-во ошибок индексации практически упало до нуля.

Сообщение отредактировал c0yc: 15 March 2010 - 23:57

[c0yc]

Вот еще нашел:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru

 User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

 Sitemap: http://yourdomain.ru/sitemap.xml

[c0yc]

Короче мой вот такой вот:

User-Agent: *
Disallow: /URL/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments


User-agent: Yandex
Allow: /feed
Allow: /page/*
Disallow: /*/page/*
Disallow: /*/feed
Disallow: /wp-trackback.php?p= 
Disallow: /0/*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments

Sitemap: http://www.thatif.ru/sitemap.xml

[vadimon]

c0yc (16 March 2010 - 00:00) писал:

Короче мой вот такой вот:

User-Agent: *
Disallow: /URL/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments


User-agent: Yandex
Allow: /feed
Allow: /page/*
Disallow: /*/page/*
Disallow: /*/feed
Disallow: /wp-trackback.php?p= 
Disallow: /0/*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments

Sitemap: http://www.thatif.ru/sitemap.xml

у меня сейчас как раз такой

[c0yc]

ну тогда не парься по блогам ща полазил, везде одно и то же советуют

[Арчил]

Дело не в том, что советуют другие, а в том чего хочешь ты. Если хочешь закрыть теги - то закрывай, если нет - то оставь открытыми. Это дело каждого отдельно. Я б тебе посоветовал изучать структуру robots.txt и сделать то, что нужно тебе и, что будет тебя устраивать.
Использование robots.txt

[c0yc]

Советую тут появится http://webmaster.yandex.ru/ и смотреть как проходит индексация вашего сайта.
Я раньше жил и не парился, смотрел сколько в индексе у Яши а потом глянул http://webmaster.yandex.ru/ и упал там было порядка 2к страниц с ошибками и столько же с замечаниями. Причем все эти глюки и ошибки на 90% решились с помощью robots.txt

[vadimon]

c0yc (15 March 2010 - 23:58) писал:

Вот еще нашел:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru

 User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

 Sitemap: http://yourdomain.ru/sitemap.xml

Что-то не пойму смысл вот этой структуры. Сначала для робота Яндекс задаются параметры, а потом для всех поисковиков, для Яндекса в том числе. Зачем тогда два раза повторять?

[NeBankir]

Держи мой, собирал долго, имхо, самый сок: http://nebankir.ru/robots.txt