WebSite X5Help Center

 
Evgenij G.
Evgenij G.
User

Найдены страницы-дубли с get-параметрами  ru

Автор: Evgenij G.
Просмотрено 1589, Подписчики 3, Размещенный 0  

Яндекс вэбмастер выявил критичные ошибки по сайту, а именно: Найдены страницы-дубли с GET-параметрами.

Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Яндекс рекомендует использовать директиву Clean-param в robots.txt.

Мне не совсем понятно, как это сделать с моими страницами, кто в курсе подскажите?

GET-параметр у меня: no_redirect

Вот примеры страниц которые доблируются:

https://motor-tester.ru/po-disco-express.html?no_redirect=true

https://motor-tester.ru/adblue-emulyator-mochevini-sistemi-scr.html?no_redirect=true

https://motor-tester.ru/po-disco-express.html?

https://motor-tester.ru/adblue-emulyator-mochevini-sistemi-scr.html?

Как избавиться от ?no_redirect=true и ? в конце url?

Размещено
21 Ответы - 1 Полезно
Aleksej H.
Aleksej H.
Moderator

Здравствуйте.

"Мне не совсем понятно, как это сделать с моими страницами, кто в курсе подскажите?" - учитывая особенности структуры URL адресов страниц, которые генерирует WebSite X5, скорее весго, Clean-param Вам не слишком хорошо подойдёт. Так как прийдёться писать много директив. Например:

Clean-param: no_redirect /po-disco-express.html

Это объеденит все URL адреса с параметром "no_redirect" для страниц с окончанием "po-disco-express.html". Таких параметров и страниц у Вас может быть много.


"Как избавиться от ?no_redirect=true и ? в конце url?" - модно сделать то, что рекомендует Яндекс: "3. Если по каким-то причинам предыдущие пункты вам не подходят, закройте дубли от индексации при помощи директивы Disallow. Но в таком случае поиск Яндекса не будет получать никаких сигналов с запрещенных страниц. Поэтому мы рекомендуем использовать Сlean-param как основной способ.". Можно запретить все страницы с параметрами (если нет значимых страниц с параметрами):

Disallow:/*?*

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Здравствуйте. "Мне не совсем понятно, как это сделать с моими страницами, кто в курсе подскажите?" - учитывая особенности структуры URL адресов страниц, которые генерирует WebSite X5, скорее весго, Clean-param Вам не слишком хорошо подойдёт. Так как прийдёться писать много директив. Например: Clean-param: no_redirect /po-disco-express.html

А там где вопрос после html: Clean-param: ? /po-disco-express.html ?

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

Указав это:

Disallow:/*?*

Вы запрещаете для индексации все URL адреса, содержащие знак "?".

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Указав это: Disallow:/*?* Вы запрещаете для индексации все URL адреса, содержащие знак "?".

Это я понял, но яндекс рекомендует использовать директиву Clean-param, якобы если запретить индексацию при помощи Disallow на сервер все равно возможно будет нагрузка.

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

"... Disallow на сервер все равно возможно будет нагрузка." - нет. В справке Яндекса написано: "Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.".

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
"... Disallow на сервер все равно возможно будет нагрузка." - нет. В справке Яндекса написано: "Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.".

Спасибо 

Читать больше
Размещено От Evgenij G.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
"... Disallow на сервер все равно возможно будет нагрузка." - нет. В справке Яндекса написано: "Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.".

Disallow: *? такой вариант также сработает?

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

"Disallow: *? такой вариант также сработает?" - нет.

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
"Disallow: *? такой вариант также сработает?" - нет.

# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

Достаточно так:

Disallow: /*?*

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Достаточно так: Disallow: /*?*

Спасибо, добавил, жду переобхода роботом. 

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

Не за что. Удачи.

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Достаточно так: Disallow: /*?*

После переобхода роботом проблема осталась. Еще не понятно откуда берутся такие страницы: https://motor-tester.ru/blog/?tag=COM&no_redirect=true я блог удалил с хоста, а робот откудато их находит.

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

Вы изменили robots около 3-го сентября. 7-го написали, что проблема осталась. Не уверен, что 4 дня достаточно. Я бы подождал, хотябы 2-3 недели.

Касательно URL блога (с параметрами), дирректива Disallow: /*?* и их тоже запрещает. Я бы рекомендовал подождать. Сомневаетесь - пишите в тех. поддержку Яндекса. Укажите что и когда Вы сделали и спросите, почему это не помогло. Возможно они Вам ответят, что надо подождать.

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Вы изменили robots около 3-го сентября. 7-го написали, что проблема осталась. Не уверен, что 4 дня достаточно. Я бы подождал, хотябы 2-3 недели. Касательно URL блога (с параметрами), дирректива Disallow: /*?* и их тоже запрещает. Я бы рекомендовал подождать. Сомневаетесь - пишите в тех. поддержку Яндекса. Укажите что и когда Вы сделали и спросите, почему это не помогло. Возможно они Вам ответят, что надо подождать.

Вчера по новой включил на переобход, буду ждать. 

Читать больше
Размещено От Evgenij G.
Evgenij G.
Evgenij G.
User
Автор
Aleksej H.
Disallow: /*?* 

Такой способ не подходит так как он блокирует такие ссылки https://motor-tester.ru/product/?schup-igla-krasnij если в корзине товаров установлено на страницу продукта.

Иакой вариант: Clean-param: no_redirect /po-disco-express.html вроде помог. Еще по эксперементирую.

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

На счёт "Disallow: /*?*" я Вам сразу написал: "Можно запретить все страницы с параметрами (если нет значимых страниц с параметрами)".

Читать больше
Размещено От Aleksej H.
Evgenij G.
Evgenij G.
User
Автор
  • Aleksej H.
    На счёт "Disallow: /*?*" я Вам сразу написал: "Можно запретить все страницы с параметрами (если нет значимых страниц с параметрами)".
  • Да спасибо 
Читать больше
Размещено От Evgenij G.
Evgenij G.
Evgenij G.
User
Автор

Не ужели, надеюсь на долго )

Читать больше
Размещено От Evgenij G.
Evgenij G.
Evgenij G.
User
Автор

Может кто знает откуда берутся эти страницы с get-параметрами в программе x5?

Особенно их много в БЛОГЕ!

Читать больше
Размещено От Evgenij G.
Aleksej H.
Aleksej H.
Moderator

Рад, что Ваша проблема решена.

"Может кто знает откуда берутся эти страницы с get-параметрами в программе x5?" - особенности генерации URL этой программы. На сколько я знаю в Joomla, WordPress, OpenCart и т.д. тоже есть такие проблемы. Особенно, при использовании на сайте каких-то сторонних компонентов, модулей, плагинов.

Читать больше
Размещено От Aleksej H.