Найдены страницы-дубли с get-параметрами 
Autor: Evgenij G.Яндекс вэбмастер выявил критичные ошибки по сайту, а именно: Найдены страницы-дубли с GET-параметрами.
Некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
Яндекс рекомендует использовать директиву Clean-param в robots.txt.
Мне не совсем понятно, как это сделать с моими страницами, кто в курсе подскажите?
GET-параметр у меня: no_redirect
Вот примеры страниц которые доблируются:
https://motor-tester.ru/po-disco-express.html?no_redirect=true
https://motor-tester.ru/adblue-emulyator-mochevini-sistemi-scr.html?no_redirect=true
https://motor-tester.ru/po-disco-express.html?
https://motor-tester.ru/adblue-emulyator-mochevini-sistemi-scr.html?
Как избавиться от ?no_redirect=true и ? в конце url?
Здравствуйте.
"Мне не совсем понятно, как это сделать с моими страницами, кто в курсе подскажите?" - учитывая особенности структуры URL адресов страниц, которые генерирует WebSite X5, скорее весго, Clean-param Вам не слишком хорошо подойдёт. Так как прийдёться писать много директив. Например:
Clean-param: no_redirect /po-disco-express.html
Это объеденит все URL адреса с параметром "no_redirect" для страниц с окончанием "po-disco-express.html". Таких параметров и страниц у Вас может быть много.
"Как избавиться от ?no_redirect=true и ? в конце url?" - модно сделать то, что рекомендует Яндекс: "3. Если по каким-то причинам предыдущие пункты вам не подходят, закройте дубли от индексации при помощи директивы Disallow. Но в таком случае поиск Яндекса не будет получать никаких сигналов с запрещенных страниц. Поэтому мы рекомендуем использовать Сlean-param как основной способ.". Можно запретить все страницы с параметрами (если нет значимых страниц с параметрами):
Disallow:/*?*
Autor
А там где вопрос после html: Clean-param: ? /po-disco-express.html ?
Указав это:
Disallow:/*?*
Вы запрещаете для индексации все URL адреса, содержащие знак "?".
Autor
Это я понял, но яндекс рекомендует использовать директиву Clean-param, якобы если запретить индексацию при помощи Disallow на сервер все равно возможно будет нагрузка.
"... Disallow на сервер все равно возможно будет нагрузка." - нет. В справке Яндекса написано: "Чтобы быстро снять нагрузку от робота, добавьте директиву Disallow в файл robots.txt. Робот перестанет обращаться к указанным страницам в течение суток после внесения изменений в файл.".
Autor
Спасибо
Autor
Disallow: *? такой вариант также сработает?
"Disallow: *? такой вариант также сработает?" - нет.
Autor
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?
Достаточно так:
Disallow: /*?*
Autor
Спасибо, добавил, жду переобхода роботом.
Не за что. Удачи.
Autor
После переобхода роботом проблема осталась. Еще не понятно откуда берутся такие страницы: https://motor-tester.ru/blog/?tag=COM&no_redirect=true я блог удалил с хоста, а робот откудато их находит.
Вы изменили robots около 3-го сентября. 7-го написали, что проблема осталась. Не уверен, что 4 дня достаточно. Я бы подождал, хотябы 2-3 недели.
Касательно URL блога (с параметрами), дирректива Disallow: /*?* и их тоже запрещает. Я бы рекомендовал подождать. Сомневаетесь - пишите в тех. поддержку Яндекса. Укажите что и когда Вы сделали и спросите, почему это не помогло. Возможно они Вам ответят, что надо подождать.
Autor
Вчера по новой включил на переобход, буду ждать.
Autor
Такой способ не подходит так как он блокирует такие ссылки https://motor-tester.ru/product/?schup-igla-krasnij если в корзине товаров установлено на страницу продукта.
Иакой вариант: Clean-param: no_redirect /po-disco-express.html вроде помог. Еще по эксперементирую.
На счёт "Disallow: /*?*" я Вам сразу написал: "Можно запретить все страницы с параметрами (если нет значимых страниц с параметрами)".
Autor
Autor
Не ужели, надеюсь на долго )
Autor
Может кто знает откуда берутся эти страницы с get-параметрами в программе x5?
Особенно их много в БЛОГЕ!
Рад, что Ваша проблема решена.
"Может кто знает откуда берутся эти страницы с get-параметрами в программе x5?" - особенности генерации URL этой программы. На сколько я знаю в Joomla, WordPress, OpenCart и т.д. тоже есть такие проблемы. Особенно, при использовании на сайте каких-то сторонних компонентов, модулей, плагинов.