WebSite X5Help Center

 
Andrey M.
Andrey M.
User

Robots txt что то новое, осмотр  ru

Автор: Andrey M.
Просмотрено 246, Подписчики 2, Размещенный 0  

Здравствуйте.

Проанализировав несколько топ компаний SEO в Украине я увидел странный robots.txt

Пример 1

https://art-lemon.com/robots.txt   (в данном документе прописан сайт в виде символов)

как вы думаете зачем они так сделали? Хитрость или просто? Если просто то зачем?

Пример 2

https://wezom.com.ua/robots.txt

тут внизу странные строки, не пойму зачем они их вписуют, есть ли смысл или они думают что боты чаще заходят если прописаны данные строки

User-agent: AdsBot-Google

User-agent: Googlebot-Image

Allow: /images/

Allow: /pic/

Sitemap: https://wezom.com.ua/images_sitemap.xml

User-agent: YandexImages

Allow: /images/

User-Agent: clickfrogbot

Allow: /

Sitemap: https://wezom.com.ua/sitemap.xml

Размещено
1 Ответы
Aleksej H.
Aleksej H.
Moderator
Лучший пользователь месяца RU

Здравствуйте.

1. Для красоты. Никакой SEO-пользы или вреда в этом нет. Аналоги http://рисункисимволами.рф/unicode/1.htm - это всё сиволы.

2. "...есть ли смысл..." - Этими строками они задают особые правила для поискового робота Яндекса по картинкам и робота сервиса clickfrog.ru. По сути, они для них открыли всё. А для других роботов закрыли ненужные URL.

"или они думают что боты чаще заходят если прописаны данные строки" - нет.

Читать больше
Размещено От Aleksej H.