Вопрос #34865

 #  

 #  

онлайн генераторы тебе в помощь

 #  

что за генератор

 #  

для каждого движка свой robots.txt у тебя сайт на каком движке?

 #  

ucoz

 #  

Amli97 пишет

ucoz

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

заместо site.ru - свой сайт пиши

 #  

DOBREC пишет

Amli97 пишет

ucoz

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

заместо site.ru - свой сайт пиши

спасибо,щас попробую сделать.

 #  

Самое простое так:

User-agent : *
Disallow :

Тем самым будет индексироваться все что есть на сайте, всеми ботами-поисковиками.

 #  

o1ps пишет

Самое простое так:

User-agent : *
Disallow :

Тем самым будет индексироваться все что есть на сайте, всеми ботами-поисковиками.

дак у меня не ищет!вот в чем проблема

 #  

Amli97 пишет

дак у меня не ищет!вот в чем проблема

Ты хотел, чтоб робот к тебе мгновенно наглянул? Подожди недельку, вторую...


Ну и в поиск не забудь добавить

 #  

pro100serik_96 пишет

Amli97 пишет

дак у меня не ищет!вот в чем проблема

Ты хотел, чтоб робот к тебе мгновенно наглянул? Подожди недельку, вторую...


Ну и в поиск не забудь добавить

месяц прошел уже.

 #  

Amli97 пишет

Что нужно написать в robots.txt ,чтобы Яндекс проиндексировал сайт?

Вот примерный текст:
"Уважаемый Робот!
Проиндексируй, пожалуйста, мой сайт!!!
Ну мне очень надо!!!
Знаешь как надо? Сильно надо!
P.S. С меня - пузырёк!"

 #  

o1ps пишет

Самое простое так:

User-agent : *
Disallow :

Тем самым будет индексироваться все что есть на сайте, всеми ботами-поисковиками.

Абсолютно верно, подтверждаю!

 #  

 #  

Amli97 пишет

Вопрос от пользователя Amli97 Яндекс Вебмастер

Что нужно написать в robots.txt ,чтобы Яндекс проиндексировал сайт?
- Рейтинг
- Рейтинг

Не чего не пиши! Только хуже сделаешь...я сам через это прошел... файл robots.txt в твоем сайте уже давно есть , но он становится доступным для поисковиков, только через 30 дней ,после создания сайта! Где то в панели управления юкоз написанно об этом! это сделано типо что бы сократить попытки мошенничества....

 #  

Сайты созданные на UCOZ обычно открываются для индексации через месяц, если не хочешь ждать то надо платить, а так самоve файл robots.txt бесполезно переписывать

 #  

o1ps пишет

Тем самым будет индексироваться все что есть на сайте, всеми ботами-поисковиками.

в том числе и страницы входа пользователей, страницы администрирования, елси двиг нормальный, то и шаблоны. это нужно?

 #  

Вот ссылка на тему:
http://kswork.ru/sozdanie_fayla_robots.html

Сайт практически полностью индексируется. За исключением скрытого раздела: http://kswork.ru/secret/ (Но я не хочу, чтобы этот раздел индексировался!)

Если искользуешь CMS, то обычно там автоматически все создается, если же CMS нет, то можно воспользоваться тем, что написано в статье!

А вот, то что тебе пишут: Disallow: /
Это значит, что сайт не индексировать.

После тега Disallow:
Всегда должен быть тег Allow: /
Тогда все остальное будет индексироваться!

Добавлено спустя 03 минуты 04 секунды

DOBREC пишет

Amli97 пишет

ucoz

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

заместо site.ru - свой сайт пиши

По идее это должно выглядить так:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Allow: /
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

ПС. После запрещающего тега Disallow: всегда должен быть разрешающий тег Allow: /

Так что как-то так!

Добавлено спустя 10 минут 09 секунд

#41978 пишет

Amli97 пишет

Что нужно написать в robots.txt ,чтобы Яндекс проиндексировал сайт?

Вот примерный текст:
"Уважаемый Робот!
Проиндексируй, пожалуйста, мой сайт!!!
Ну мне очень надо!!!
Знаешь как надо? Сильно надо!
P.S. С меня - пузырёк!"

Рассмешил!

 #  

А для народа как написать? Не подскажите?

 #  

#809201 пишет

А для народа как написать? Не подскажите?

Там разницы нет!
Этот файл пишется одинаково для любых сайтов.

Что не нужно индесировать пишешь в Disallow:

Только в конце не забывай писать: Allow: /

А вообще если используешь CMS, то вообще не парься по этому поводу. За тебя уже все продумано!

 #  

на юкозе вообще ничего менять не надо

 #  

На юкосе, когда сайт открывается к индексации у тебя автоматом нормальный роботс появляется и сайтмэпс. Не надо ничего менять и добавлять.

 #  

на укозе роботс на месяц заблокирован, типа карантин... там ещё от посещаемости зависит

 #  

Что-то не получается(не индексирует(все уже перепробовал

Добавлено спустя 3 часа 20 минут 53 секунды

Amli97 пишет

Что-то не получается(не индексирует(все уже перепробовал

Подожду еще недельку

 #  

Даже не знаю, нет своего сайта!