Robots txt
Author: Dima Kornevich
Visited 646,
Followers 1,
Shared 0
Доброго вам времени суток
Вопрос касающийся созданием robots.txt
У мня такой сейчас:
User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail
Host: bux1.org
Я не знаю что ещё можно добавить, я смотрел ведущие сайты SEO у них куча разного чего я не пойму, вот к примеру:
Сайт: http://www.seoschool.com.ua/ и его роботс
User-agent:*
Disallow: /differences.html
Disallow: /seo-expert.html
Disallow: /seo-master.html
Disallow: /guru.html
Sitemap: http://www.seoschool.com.ua/sitemap.xml
Host: www.seoschool.com.ua
Вот другая SEO компания
Posted on the
В других сайтах другие системы управления и поэтому много других закрытых страничек.
Для яндекса и гугла достаточно того, что генерирует сама программа плюс Host и Sitemap