wmmail.ru – cервис почтовых рассылок на главную
написать письмо
карта сайта

С чего начать?РекламодательПравилаFAQСтатистикаБиржа статейTOP100ФоткиКонтакты
Логин:
Пароль: 
Регистрация   Забыли пароль?
WMLogin
Пользователей всего:

542581

Пользователей сегодня:

71

Пользователей online:

194

Выплачено ($): 7`602`640,01
Выплат: 8`111`818
Писем прочитано: 1`024`932`556

 
 
Online 1
Все ответы
 
 

Вопрос #29459

Внимание! В разделе вопрос-ответ запрещается:

  • Мат, оскорбления, флуд, реклама
  • Сообщения, не являющиеся вопросами/ответами
  • Нарушение законодательства РФ
  • Попрошайничество в любой форме

Выделите текст и нажмите для цитирования  #  
+8   [15.04.2011 14:32] V0L0ND Рейтинг 944.17     Стена пользователя V0L0ND +97

Закрытый вопрос от пользователя V0L0ND Файл robots.txt

Стоит ли закачивать файл robots.txt если я не хочу закрывать доступ поисковиков, к каким либо разделам или указывать какое зеркало считать главным? Как будет влиять на сканирование сайта отсутствие файла robots.txt (в место файла будет ошибка 404)
И если отсутствие файла robots.txt никак не влияет на качество сканирования, зачем он вообще нужен (кроме как для ограничения поисковых роботов)???
Он очень сильно нужен, правда, не знаю зачем
121
Нафиг не нужен
19
Сейчас всё расскажу
9
Задолбали тупые неумехи с дурацкими вопросами
10
Во народ какие-то файлы robots.txt… мелят что зря
8
А что такое файл robots.txt
22
РЕЙТИНГ
147
Раздел: Интернет, проголосовало: 336, последний комментарий: 17.04.2011 19:03
Вопрос закрыт автором
Проголосовали: #913091, alisa223, #788182, Rade442, #933830, #847088, eskander666, #850911

Ответы
Ответов всего: 13  вопрос закрыт 
Выделите текст и нажмите для цитирования  #  
+2   [15.04.2011 14:52] alisa223 Рейтинг 0.00     Стена пользователя alisa223 +124  Все ответы пользователя alisa223

хрен его знает. Я уже закачала все всем разрешающий Роботс, а яндекс всеравно мой сайт не находить....:unsure:
Проголосовали: V0L0ND, eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 14:54] porabotai Рейтинг 0.00     Стена пользователя porabotai +15  Все ответы пользователя porabotai

V0L0ND пишет Стоит ли закачивать файл robots.txt

Я думаю, что стоит.Это как перелинковка страниц и таже карта сайта. Помогает роботам продуктивней шарить. Проблема в том, что собирать TXT не бывает желания. Обычно я заливаю яндекса и гугла, а на остальных просто индексирую по урлу.
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 15:12] V0L0ND Рейтинг 944.17     Стена пользователя V0L0ND +97  Все ответы пользователя V0L0ND

alisa223 пишет хрен его знает. Я уже закачала все всем разрешающий Роботс, а яндекс всеравно мой сайт не находить....unsure

У меня еще веселее:tongue: разрешил всем сканировать всё. Навроде всё впорядке в гугле без изменений страници в индекс добавляются через карту сайта для поисковиков, а яндекс мало того что страници добавлять в индекс перестал так еще зараза из индекса весь сайт выбросил. Пишет гад сканирование страниц запрещено файлом robots.txt Хотя там нет ниодного запрета и остальные сканируют нормально. Вот и думаю может удалить этот файл к чертовой бабушке. До того как файл добавил нормально яндекс все сканировал:help:
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 15:13] #788182   Все ответы пользователя

Будете смеяться, но, у меня етот робот тхт, в сайте на юкозе, запрещает индексировать сайт, что делать?
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 15:17] V0L0ND Рейтинг 944.17     Стена пользователя V0L0ND +97  Все ответы пользователя V0L0ND

#788182 пишет Будете смеяться, но, у меня етот робот тхт, в сайте на юкозе, запрещает индексировать сайт, что делать?

Скинь что ты там написал?
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 15:19] #788182   Все ответы пользователя

V0L0ND пишет
#788182 пишет Будете смеяться, но, у меня етот робот тхт, в сайте на юкозе, запрещает индексировать сайт, что делать?

Скинь что ты там написал?

Да по моему ето юкоз гавнистый, п.ч. только что нагуглил, что там сайт на месяц нельзя индексировать((

Добавлено спустя 08 минут 59 секунд
#788182 пишет
V0L0ND пишет
#788182 пишет Будете смеяться, но, у меня етот робот тхт, в сайте на юкозе, запрещает индексировать сайт, что делать?

Скинь что ты там написал?

Да по моему ето юкоз гавнистый, п.ч. только что нагуглил, что там сайт на месяц нельзя индексировать((


если поможет, то вот что мне пишет яша и гугл:

http://vfl.ru/i/20110415/257089198919f5fe7170ac210ee57da6_1.bmp.html
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [15.04.2011 16:41] #665191   Все ответы пользователя

лучше залей. вместо файла ошибки в принципе не будет. елси файл есть - хорошо. нету - поисковикам на это все равно
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+2   [16.04.2011 13:23] #737980   Все ответы пользователя

Закачать нужно. Оставь только строки
User-agent: *
Disallow:
Проголосовали: #626073, eskander666
Выделите текст и нажмите для цитирования  #  
+1   [16.04.2011 15:31] #476038   Все ответы пользователя

#788182 пишет Будете смеяться, но, у меня этот робот тхт, в сайте на юкозе, запрещает индексировать сайт, что делать?

Смеятся не будем так как на укозе сайт должен прожить месац после чего откроется доступ до сканера поисковиков.:bye:

Добавлено спустя 04 минуты 50 секунд
V0L0ND пишет Нафиг не нужен

А нужен он для разных партнерок например GoogleADSense и для посковых роботов он для них как руль на машине:haha:.:bye:
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
+1   [16.04.2011 15:57] V0L0ND Рейтинг 944.17     Стена пользователя V0L0ND +97  Все ответы пользователя V0L0ND

#737980 пишет Закачать нужно. Оставь только строки
User-agent: *
Disallow:

Естественно я так и сделал. И в результате выпал из яндекса каторый пишет сканирование запрещено файлом robots.txt
Проголосовали: eskander666
Выделите текст и нажмите для цитирования  #  
0   [16.04.2011 21:23] #900491   Все ответы пользователя

вот содержимое моего файла robots.txt для сайта-блога на wordpress (сайт проиндексирован и яндексом и гуглом и роботы регулярно заходят на сайт)

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: имя хоста

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

В принципе именно такое содержимое данного файла считается идеальным для блогов на WP

Робот яндекса принято и лучше - выделять отдельно, в данном файле (как показано в моем примере)
Выделите текст и нажмите для цитирования  #  
0   [17.04.2011 18:48] Santaz Рейтинг 1135.52     Стена пользователя Santaz +252  Все ответы пользователя Santaz

V0L0ND пишет (кроме как для ограничения поисковых роботов)???


Тогда можешь сразу DNS не прописывать, чисто веси на хосте и плати за него
:thumbsup:
Выделите текст и нажмите для цитирования  #  
0   [17.04.2011 19:03] V0L0ND Рейтинг 944.17     Стена пользователя V0L0ND +97  Все ответы пользователя V0L0ND

Santaz пишет Тогда можешь сразу DNS не прописывать, чисто веси на хосте и плати за него
thumbsup

Ооо как всегда гениальный ответ в тему:hands:

Видеоурок

Вопрос-ответ

НОВОСТИ
21.02.2024QIWI
подробнее>>
31.12.2023С Новым 2024 Годом!
подробнее>>

© 2004-2024 «WMMAIL» Пользовательское соглашение