Как правильно создать robots.txt для сайта на websi 
Autor: Владимир З.
Besucht 1772,
Followers 1,
Geteilt 0
Кто знает, существуют ли нюансы при создании robots.txt для сайтов созданных с помощью программы для сайта на website x5?
Gepostet am
нет, не существует.
посмотрите вариант в вер. Про. (формируется авто на шаге 4)
яндексу однако ж предложенный программой роботс кажется пустоватым - всегда лучше добавить туда ещё директивы host и sitemap
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
host и sitemap для яндекса индивидуален, но всетаки надо смотреть общие требования к дерективам.
каждый поисковик что то тредует, тогда присобить к нему :)
Autor
А кто может привести пример универсального robots.txt? Или лучше создать для поисковиков раздельные файлы?
если вы посмотрите в Про версии то это универсальный.
для яндекса добавьте (пример)
host http://mysite.com
http://mysite.com/sitemap.xml
или
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /imemail
host: http://mysite.com
sitemap: http://mysite.com/sitemap.xml
эти директивы однозначны для яндекса и гугла