Итак, вы создали файл, осталось узнать, что именно сюда писать.
User-agent: *
Это первая строчка указывает, кому адресован файл, т.е. каких роботов касаются последующие инструкции. Например: * означает "все роботы", а User-agent: Yandex означает "только для робота Yandex".
Следующая строчка Disallow указывает, что именно вы не хотите индексировать:
User-agent: *
Disallow: /
В данном случае мы запретили всем роботам индексировать весь сайт.
Но стоит не поставить слеш, как инструкция поменяет смысл:
User-agent: *
Disallow:
Такая инструкция разрешает всем сайтам индексировать весь сайт.
Если мы хотим запретить индексировать какой-либо каталог (например, папку images), то написать надо так:
User-agent: *
Disallow: /images/
Обратите внимание, название каталога обрамлено слешами с обеих сторон.
Если же мы хотим запретить индексировать отдельный файл (например, exz.html), то написать надо так:
User-agent: *
Disallow: /exz.html
В этом случае слеша в конце быть не должно.
Если вы хотите запретить несколько каталогов или несколько файлов, то для каждого придется написать свою инструкцию. Никаких перечислений в одной строке быть не может. Т.е. если запрещаем три каталога (images, cgi-bin, example), то придется написать три строчки:
Если вы захотите запретить все файлы, кроме одного из какого-либо каталога, то возникнет проблема, т.к. такой инструкции нет. Вам придется вынести этот файл из этого каталога, а потом запретить каталог к индексации.
Как вы уже заметили, синтаксис простой, главное аккуратно все записать
Раздел: Интернет, ответов: 12, последний комментарий: 02.01.2012 14:18
0.00 
