Вопрос #32720

 #  

 #  

 #  

в инэте есть сервисы для автоматической генерации рбота) я таким пользовалась,вроде норм)

 #  

Да дело в том что у меня tag закрыт стоял для индекса, я его открыл и видимо поисковик неочень вспринял это! хотя может пока рано судить, день прошел, но 20 страниц пропали(((

 #  

#962434 пишет

я таким пользовалась,вроде норм)

пока на сайте одна папка и 10 страниц... а потом, когда сайт начнет развиваться и ПС реально прислушаются к вашему роботс, вот тогда беда будет) Автомат никогда не заменит голову человека, даже если голова пуста (данное изречение не несет никакого отрицательного смысла и не адресовано никому... просто сравнение)

Добавлено спустя 01 минуту 48 секунд
Вот с allow кстати, я бы поспорила... файл робот создается для того чтобы запрещать... соответственно allow по моему мнению не должно быть... все что не запрещено, то разрешено...

 #  

#884793 пишет

Вот с allow кстати, я бы поспорила... файл робот создается для того чтобы запрещать... соответственно allow по моему мнению не должно быть... все что не запрещено, то разрешено...

не до конца понял мысль!
У меня Аллов стоит только на картинках

 #  

R1mlin пишет

не до конца понял мысль!
У меня Аллов стоит только на картинках

уберите его вообще...
слушайте, я не спец в wp, но будь я разработчиком wp, то в папке wp-content у меня бы лежали тексты, которые участвуют в генерации страницы... а эта папка у вас закрыта... разберитесь с точным назначением папок и посмотрите, может вы просто путь к тексту запретили...

 #  

#884793 пишет

у меня бы лежали тексты, которые участвуют в генерации страницы.

тексты беруться из базы данных, насколько я знаю

 #  

#665191 пишет

тексты беруться из базы данных, насколько я знаю

а база данных не в этой ли папке лежит?)

 #  

в /wp-content/uploads/ лежат картинки, а в /wp-content/ все остальное, что индексировать ненадо, помоему и плагины!

 #  

R1mlin пишет

Как правильно составить robots.txt на WordPress
Правильно ли у меня?

User-agent: YandexBlog
Disallow:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: мой сайт.ru

Sitemap: http://мой сайт.ru/sitemap.xml

убрал Disallow: /tag
правильно ли сделал, помоему поисковики неочень это восприняли, из индекса Яндекса пропало около 20 страниц.

+1 Cr    
хороший вопрос    
плохой вопрос

Закрывать страницы рубрик, архивов, тегов обязательно. Иначе поисковики сочтут это за дубли и выкинуть некоторые страницы сами.

 #  

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: ваш сайт

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

 #  

после того как tag разрешил индексировать, в поиске появилось больше моих страниц, следовательно тегс, надо открывать

 #  

Интересно.