мой новости на сайте да почти все страницы в google.webmaster
показывают "URL, запрещенный файлом robots.txt"
как блин изменить может из-за этого сайт не индексируется
Раздел: Другое, последний комментарий: 10.02.2012 13:18 Тема закрыта пользователем lenajuk
Не советую трогать файлик индексации он сам сделается автоматически (тоесть сам откроет им доступ) и остаётся только ждать пока роботы проиндексируют, можно ускорить добавить им в базу индексации (это не сразу сработает, но намного быстрее если не хочеш ждать), я так делал давненько на юкозе...
тоесть файл индексации даже если создаш правильный, поисковики видят стандартный, глянь не текстовиком тот файлик, а через поисковик что он видит
Не советую трогать файлик индексации он сам сделается автоматически (тоесть сам откроет им доступ) и остаётся только ждать пока роботы проиндексируют, можно ускорить добавить им в базу индексации (это не сразу сработает, но намного быстрее если не хочеш ждать), я так делал давненько на юкозе...
тоесть файл индексации даже если создаш правильный, поисковики видят стандартный, глянь не текстовиком тот файлик, а через поисковик что он видит
robots.txt
Если тут запрещено , то страницы никогда не проиндексируются
Лучше обратиться в их тех поддержку а собственно созданный файлик поисковики не видят (раньше точно пропускали), а стандартный файл после какого то периода открывает доступ, не знаю как сейчас, раньше около месяца, после создания блокировался доступ ботам...
просто наберите http:/url сайтика/robots.txt ну и сами увидите что он отображает, это и есть стандартный а не созданный