Как правильно создать robots.txt для DLe (Datalife Engine)?
Всем привет,в общем я с этим файлом до сих пор не разобрался как правильно его создавать,помогите пожалуйста его правильно сделать.
Вот что у меня получилось,что то не так или не дописал скажите пожалуйста)
команда User-agent: * уже подразумевает под собой использование настроек для всех существующих роботов - нет необходимости прописывать тоже самое отдельно для Яндекса и Гугла...
Отдельно прописывают в том случае если есть какие-то расхождения в форме индексирования. Например, хочешь чтоб Яндекс сканировал admin.php а Гугл нет, тогда надо писать отдельно для каждого робота... Если таких расхождений нет то не обязательно это делать