Содержание robot.txt websiteX5 Evolution 
Autor: Eldar ShlВсем доброго времени суток, вопрос следующего характера.
Прежде всего хотелось сразу довести что:
в WebsiteX5 Evolution 11 версии отсутсвует автоматическое создание файла robot.txt как я понимаю. И чтобы разрешить или запретить необходимо создать файл в ручную следующим образом назвать блокнот
robot.txt
А внутри него следующее содержание
User-agent: *
Disallow: /page-5.html
Disallow: /adres_service_ford
Disallow: /nashi_raboti
Disallow: /magazin_avtozapchastey_ford
Таким образом я разрешил User-agent: * всем поисковым системам разрешить индексацию своего сайта, но запретил Disallow: / индексацию определенным страницам на своем сайте. Но теперь тревожит вопрос. Значит на другие страницы автоматически будет включена индексация. Верно я понимаю ? На разрещение ничего ни надо ставить в robot.txt
Поисковому роботу можно указывать что именно разрешено индексировать и что запрещено, однако. В случае если нет указаний то он индексирует сам по своему усмотрению.
Чаще пользователи просто указывают что нельзя индексировать, а остальное для того и создается что бы его видели люди