Здравствуйте, Александр
Все верно, информация о изменениях хранится в файлах .xml, но контент сайта генерируется динамически, формируя обычную HTML страницу. Вы можете легко проверить исходный код любой страницы Вашего сайта в браузере с помощью сочетания клавиш Ctrl + U.
Указанный Вами файл robots.txt является рекомендованным для шаблонов MotoCMS HTML. В нем указаны директивы которые препятствуют дублированию контента в поисковой выдаче и в общем способствуют коррной индексации сайта на базе MotoCMS HTML шаблона.
С уважением,
Sam Clayton
Comment actions