Disallow: /menu в файле robots.txt 
Автор: Павел К.
Просмотрено 943,
Подписчики 1,
Размещенный 0
В разделе "Заблокированные ресурсы" в Search Console Гугла появилось сообщение, что в файле robots.txt
Размещено
Обширная тема не для этого форума. В PRO появилась доп. графа, а раньше создавали robots.txt и выгружали в корень сайта. Грамотные настройки делаются для каждого сайта индивидульно. Начать изучение можно например отсюда http://staurus.net/robots-txt-dlya-sayta-pravilnaya-nastroyka А лучше последовать совету с сайта и прямым ходом : Никто не расскажет больше про ваш Robots.txt, как эти товарищи. Ведь именно для них вы и создаете свой «запретный файлик». Google Webmaster tool Яндекс. Вебмастер
Да, кстати : Ваша главная страница сайта "вырыла землянку и ушла в партизаны" и забыла указать под каким деревом её искать ?
<head>
<title></title> ???
<meta charset="utf-8" /><!--[if IE]><meta http-equiv="ImageToolbar" content="False" /><![endif]-->
<meta name="author" content="Veks" />
Автор
Здравствуйте.
Спасибо. Как раз просматривал код(знакомлюсь с HTML))) ). И заметил "це неподобство".
Уже исправил.
По поводу вопроса в этой теме: Я просто не знаю как реагировать Вот пишет Search Console что на сайте 35 заблокированных ресурсов. И что я теперь должен делать? Файл robots.txt создавался автоматом в 13 про. Чем програма руководствовалась создавая запрет "Disallow: /menu". Пойду рыть но жду какого-то внятного ответа поддержки.
Спасибо.
Автор
Вот что пишут в Cправка - Search Console:
"Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.
Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким."
Вопрос: Зачем в програме автоматом генерируют "Disallow: /menu"?
Согласен, тяжело с ходу вникнуть, кучу времени необходимо потратить...
Х5 правильно прописал на автомате Disallow: /menu ... В мировом интернете около 300 поисковиков, может сейчас и больше. Всем не угодишь. Мы обычно равняемся на 2 основных поисковика. Яндексу подходит, а гуглу нет - он на лихом коне впереди планеты всей. В таком случае в robots.txt прописывают свои желания для каждого поисковика отдельно. Вот например мой кусок для гугла(3 часть ) и он отличается для Яндекса (2 часть) и для всех остальных ( 1 часть ) из robots.txt
User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /admin
Disallow: /appsresources
Disallow: /captcha
Disallow: /cart
Disallow: /imemail
Disallow: /mail
Disallow: /menu
Disallow: /pcss
Disallow: /res
Disallow: /search
Disallow: /style
Disallow: /confirm-contact.html
Disallow: /imsearch.html
Каждая строка имеет своё значение, долго расписывать почему так, а не эдак, и информации полно в инете. Можно много чего дописать, зависит от сайта.
Легко проверяется готовый файл robots.txt на ошибки в инструменте проверки поисковиков.