Стоит ли закачивать файл robots.txt если я не хочу закрывать доступ поисковиков, к каким либо разделам или указывать какое зеркало считать главным? Как будет влиять на сканирование сайта отсутствие файла robots.txt (в место файла будет ошибка 404)
И если отсутствие файла robots.txt никак не влияет на качество сканирования, зачем он вообще нужен (кроме как для ограничения поисковых роботов)???
Он очень сильно нужен, правда, не знаю зачем
121
Нафиг не нужен
19
Сейчас всё расскажу
9
Задолбали тупые неумехи с дурацкими вопросами
10
Во народ какие-то файлы robots.txt… мелят что зря
8
А что такое файл robots.txt
22
РЕЙТИНГ
147
Раздел: Интернет, проголосовало: 336, последний комментарий: 17.04.2011 19:03 Вопрос закрыт автором
Я думаю, что стоит.Это как перелинковка страниц и таже карта сайта. Помогает роботам продуктивней шарить. Проблема в том, что собирать TXT не бывает желания. Обычно я заливаю яндекса и гугла, а на остальных просто индексирую по урлу.
У меня еще веселее разрешил всем сканировать всё. Навроде всё впорядке в гугле без изменений страници в индекс добавляются через карту сайта для поисковиков, а яндекс мало того что страници добавлять в индекс перестал так еще зараза из индекса весь сайт выбросил. Пишет гад сканирование страниц запрещено файлом robots.txt Хотя там нет ниодного запрета и остальные сканируют нормально. Вот и думаю может удалить этот файл к чертовой бабушке. До того как файл добавил нормально яндекс все сканировал