User-agent: *                  # правила для всех роботов
Disallow: /manager/            # авторизация
Disallow: /assets/components/  # папка с файлами modx пакетов
Disallow: /core/               # папка с системными файлами modx
Disallow: /connectors/         # папка с системными файлами modx
Disallow: /index.php           # дубль главной страницы index.php
Disallow: *?*                  # удаляем дубли для всех страниц (с параметрами)
Disallow: *openstat=           # ссылки с метками openstat
Disallow: *from=               # ссылки с метками from
Disallow: *utm*=               # ссылки с utm-метками
Allow: /*.jpg                  # здесь и далее открываем для индексации изображения, скрипты и прочие файлы
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.png
Allow: /*.pdf
Allow: /*.doc
Allow: /*.docx
Allow: /*.xls
Allow: /*.xlsx
Allow: /*.ppt
Allow: /*.pptx
Allow: /*.css
Allow: /*.js
Allow: *?page=                 # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical)

Disallow: /katalog/kopiya-kia-rio-4-2016                           #здесь и далее удаленные страницы
Disallow: /katalog/renault-duster-2015-2018
Disallow: /katalog/canbus-3.0
Disallow: /katalog/kia-sportage-3-sl-2010-2016
Disallow: /katalog/mitsubishi-asx-1-2010-2016
Disallow: /katalog/renault-logan-2-2012-2019-sandero-2-2014-2019-b
Disallow: /katalog/geely/cc3-464g-dlya-geely-atlas-nl-3-2016-2020
Disallow: /katalog/62
Disallow: /katalog/renault-sandero-2-2014-2019	

Host: https://teyes-shop.by
                               # Укажите один или несколько файлов Sitemap
Sitemap: https://teyes-shop.by/sitemap.xml