Назначение папки. 
Автор: Андрей К.
Просмотрено 1335,
Подписчики 1,
Размещенный 0
Подскажите пожалуйста:
1. Назначение папки res.
2. Какие папки нельзя запрещать индексировать в файле robots.txt ?
Заранее Спасибо.
Размещено
Здравствуйте. Отвечу от обратного. Можно писать так:
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail
Такой файл, по умолчанию, формирует WebSite X5 17 Professional. Также туда стоит добавить ссылку на карту сайта и другие правила, если они Вам нужны.
Автор
Мне ненужна информация с вебсайта х5. Я и сам могу посмотреть...
"1. Назначение папки res." - содержит скрипты и изображения для нормального функционирования всех страниц сайта. Не стоит её закрывать от индексации, так как поисковые системы могут неправильно "увидеть" страницы Вашего сайта.
"2. Какие папки нельзя запрещать индексировать в файле robots.txt ?" - нельзя запрещать все кроме:
admin
captcha
menu
imemail
"Мне ненужна информация с вебсайта х5. Я и сам могу посмотреть..." - Вы указали, что у Вас WebSite X5 Evolution, там нет возможности формирования robots.txt. А значит Вы не сможете сами это посмотреть.
Res - это ресурсы сайта). Закрывать вы можете в роботсе какие-нибудь страницы, папки лучше обходить стороной.
Автор
Всем огромное спасибо за полезную информацию.
P.S.
Инфу про robots.txt можно посмотреть здесь: http://help.websitex5.com/ru/v17/pro/index.html?utm_source=software&utm_medium=Evolution_17