User-agent: * # правила для всех роботов Disallow: /manager/ # авторизация Disallow: /assets/components/ # папка с файлами modx пакетов Disallow: /core/ # папка с системными файлами modx Disallow: /connectors/ # папка с системными файлами modx Disallow: /index.php # дубль главной страницы index.php Disallow: *?* # удаляем дубли для всех страниц (с параметрами) Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: *utm*= # ссылки с utm-метками Allow: /*.jpg # здесь и далее открываем для индексации изображения, скрипты и прочие файлы Allow: /*.jpeg Allow: /*.gif Allow: /*.png Allow: /*.pdf Allow: /*.doc Allow: /*.docx Allow: /*.xls Allow: /*.xlsx Allow: /*.ppt Allow: /*.pptx Allow: /*.css Allow: /*.js Allow: *?page= # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical) Disallow: /katalog/kopiya-kia-rio-4-2016 #здесь и далее удаленные страницы Disallow: /katalog/renault-duster-2015-2018 Disallow: /katalog/canbus-3.0 Disallow: /katalog/kia-sportage-3-sl-2010-2016 Disallow: /katalog/mitsubishi-asx-1-2010-2016 Disallow: /katalog/renault-logan-2-2012-2019-sandero-2-2014-2019-b Disallow: /katalog/geely/cc3-464g-dlya-geely-atlas-nl-3-2016-2020 Disallow: /katalog/62 Disallow: /katalog/renault-sandero-2-2014-2019 Host: https://teyes-shop.by # Укажите один или несколько файлов Sitemap Sitemap: https://teyes-shop.by/sitemap.xml