Я - начинающий вебмастер)) поэтому попросил бы очень громко не хохотать и помочь) ну и как все столкнулся с проблемой в которой хоть ноут из окна выбрасывать. Уже 2 дня ломаю голову и меняю файл robots.txt...
Половину статей гугл проиндексировал более мения хорошо, но последние пишет, что:
Страницу не удалось просканировать, так как она заблокирована с помощью robots.txt.
Так вот вопрос как снять эту блокировку?
Если важно, то блог на вордпресе.
Вот сам файл robots.txt:
http://robotstxt.org.ru/
зачем вам чтобы робот индексировал ваши шаблоны ?
хотя если вам не чего скрывать так и не скрывайте. :) http://www.wp-info.ru/pravilnyj-robotstxt-dlya-wordpress/
з.ы. причина почему не проиндексировались какие-то страницы может скрываться в вашем хосте.
поисковый ботик просто не успел выкачать все и отвалился по тайм ауту.
я тоже начинающий вебмастер тоже сталкивался с такой проблемой, месяц назат создал сайт разместил рекламу гугл но она не появилась из-за файла робстоп,ну я забил на всё это дело,через месяц решил посмотреть свой сайт и О чудо реклама появилась!!! А если хочешь побыстрей то отключить робстопможно в панели управления сайта за три доллара ( и не надо искать всяких хитростей) эти три доллара в гугле принесут тебе в три раза больше.