WebSite X5Help Center

 
Павел К.
Павел К.
User

Disallow: /menu в файле robots.txt  ru

Autor: Павел К.

В разделе "Заблокированные ресурсы" в Search Console Гугла появилось сообщение, что в файле robots.txt моего сайта:http://hi-fi-protect.zp.ua(X5-13 PRO) есть деректива "Disallow: /menu" и в связи с этим на сайте заблокировано 35 ресурсов. Файл robots.txt создавался автоматически вX5-13 PRO.

Вопрос: С этим нужно бороться, или пропустить без внимания? И если нужно бороться, то как? 

Publicado en
4 RESPUESTAS - 2 úTIL - 1 CORRECTO
V. Vvolt
V. Vvolt
User

Обширная тема не для этого форума. В  PRO появилась доп. графа, а раньше создавали robots.txt и выгружали в корень сайта. Грамотные настройки делаются для каждого сайта индивидульно. Начать изучение можно например отсюда http://staurus.net/robots-txt-dlya-sayta-pravilnaya-nastroyka  А лучше последовать совету с сайта и прямым ходом : Никто не расскажет больше про ваш Robots.txt, как эти товарищи. Ведь именно для них вы и создаете свой «запретный файлик».  Google Webmaster tool   Яндекс. Вебмастер

Да, кстати : Ваша главная страница сайта "вырыла землянку и ушла в партизаны" и забыла указать под каким деревом её искать ?

<head>

<title></title>    ???

<meta charset="utf-8" /><!--[if IE]><meta http-equiv="ImageToolbar" content="False" /><![endif]-->

<meta name="author" content="Veks" />

Leer más
Publicado en de V. Vvolt
Павел К.
Павел К.
User
Autor

Здравствуйте.

Спасибо. Как раз просматривал код(знакомлюсь с HTML))) ). И заметил "це неподобство".

Уже исправил.

По поводу вопроса в этой теме: Я просто не знаю как реагировать Вот пишет Search Console  что на сайте 35 заблокированных ресурсов. И что я теперь должен делать? Файл robots.txt создавался автоматом в 13 про. Чем програма руководствовалась создавая запрет "Disallow: /menu". Пойду рыть но жду какого-то внятного ответа поддержки.

Спасибо.

Leer más
Publicado en de Павел К.
Павел К.
Павел К.
User
Autor

Вот что пишут в Cправка - Search Console:

"Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.

Если файл robots.txt сайта не позволяет просканировать все эти ресурсы, возникают ошибки. Из-за этого рейтинг сайта в Google Поиске становится низким."

Вопрос: Зачем в програме автоматом генерируют "Disallow: /menu"?

Leer más
Publicado en de Павел К.
V. Vvolt
V. Vvolt
User

Согласен, тяжело с ходу вникнуть, кучу времени необходимо потратить...

Х5 правильно прописал на автомате Disallow: /menu ... В мировом интернете около 300 поисковиков, может сейчас и больше. Всем не угодишь. Мы обычно равняемся на 2 основных поисковика. Яндексу подходит, а гуглу нет - он на лихом коне впереди планеты всей. В таком случае в robots.txt прописывают свои желания для каждого поисковика отдельно. Вот например мой кусок для гугла(3 часть ) и он отличается для Яндекса (2 часть) и для всех остальных ( 1 часть ) из robots.txt
User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /admin
Disallow: /appsresources
Disallow: /captcha
Disallow: /cart
Disallow: /imemail
Disallow: /mail
Disallow: /menu
Disallow: /pcss
Disallow: /res
Disallow: /search
Disallow: /style
Disallow: /confirm-contact.html
Disallow: /imsearch.html

Каждая строка имеет своё значение, долго расписывать почему так, а не эдак, и информации полно в инете. Можно много чего дописать, зависит от сайта.

Легко проверяется готовый файл robots.txt на ошибки в инструменте проверки поисковиков.

Leer más
Publicado en de V. Vvolt