WebSite X5Help Center

 
Dima Kornevich
Dima Kornevich
User

Robots txt  ru

Autore: Dima Kornevich
Visite 647, Followers 1, Condiviso 0  

Доброго вам времени суток

Вопрос касающийся созданием robots.txt

У мня такой сейчас:

User-agent: *
Disallow: /admin
Disallow: /captcha
Disallow: /menu
Disallow: /imemail

Host: bux1.org

Я не знаю что ещё можно добавить, я смотрел ведущие сайты SEO у них куча разного чего я не пойму, вот к примеру:

Сайт: http://www.seoschool.com.ua/ и его роботс

User-agent:*
Disallow: /differences.html
Disallow: /seo-expert.html
Disallow: /seo-master.html
Disallow: /guru.html

Sitemap: http://www.seoschool.com.ua/sitemap.xml

Host: www.seoschool.com.ua

Вот другая SEO компания

Postato il
1 RISPOSTE - 1 UTILE
Pavel M.
Pavel M.
User

В других сайтах другие системы управления и поэтому много других закрытых страничек.

Для яндекса и гугла достаточно того, что генерирует сама программа плюс Host и Sitemap

Leggi di più
Postato il da Pavel M.