У меня такой вопрос: изменения в файле robots.txt вступают в силу сразу или для этого необходимо какое-то время? Дело в том, что я запретил индексацию своего блога (надоело им заниматься; лучше продам статьи, которые я для него писал), вписав в вышеуказанный файл такие строки: 1) User-agent: *
2)Disallow: / . Пока что сайт индексируется Гуглом.
Раздел: Интернет, последний комментарий: 07.07.2012 11:54 Вопрос закрыт пользователем MiSsiS_IA
думаю, что с продажей статей будет затруднительно, потому что тексты уже есть в базе поисковиков. Что касаемо запрета в robots, то google чихать на него хотел, он всё равно индексирует весь сайт, другое дело, что он выводит в индекс для поиска то, что не запрещено для индексации. Но если руки не кривые то найти можно все. Ну а насчет того, что вы запретили к индексации весь блог, то ваши страницы есть в кэшэ поисковых систем. думаю, для того, чтобы страницы вылетели из поиска нужно ждать минимум месяц - два (для яшы). Ну а для гугла, как я писал выше, это будет сделать затруднительно.
robots.txt
