Robots txt что то новое, осмотр 
Author: Dima Kornevich
Visited 1595,
Followers 2,
Shared 0
Здравствуйте.
Проанализировав несколько топ компаний SEO в Украине я увидел странный robots.txt
Пример 1
https://art-lemon.com/robots.txt (в данном документе прописан сайт в виде символов)
как вы думаете зачем они так сделали? Хитрость или просто? Если просто то зачем?
Пример 2
https://wezom.com.ua/robots.txt
тут внизу странные строки, не пойму зачем они их вписуют, есть ли смысл или они думают что боты чаще заходят если прописаны данные строки
User-agent: AdsBot-Google
User-agent: Googlebot-Image
Allow: /images/
Allow: /pic/
Sitemap: https://wezom.com.ua/images_sitemap.xml
User-agent: YandexImages
Allow: /images/
User-Agent: clickfrogbot
Allow: /
Sitemap: https://wezom.com.ua/sitemap.xml
Posted on the
Здравствуйте.
1. Для красоты. Никакой SEO-пользы или вреда в этом нет. Аналоги http://рисункисимволами.рф/unicode/1.htm - это всё сиволы.
2. "...есть ли смысл..." - Этими строками они задают особые правила для поискового робота Яндекса по картинкам и робота сервиса clickfrog.ru. По сути, они для них открыли всё. А для других роботов закрыли ненужные URL.
"или они думают что боты чаще заходят если прописаны данные строки" - нет.