Community

New post

Post

3 followers Follow
0
Avatar
Александр

robots.txt

User-agent: *
Disallow: *.swf$
Disallow: /admin/
Disallow: /images/previews/
Disallow: /images/modules/
Disallow: /xml/

Если контент хранится в xml файлах, то как поисковики его увидят, если доступ запрещен ?

Please sign in to leave a comment.

1 comment

0
Avatar
Sam Clayton

Здравствуйте, Александр

Все верно, информация о изменениях хранится в файлах .xml, но контент сайта генерируется динамически, формируя обычную HTML страницу. Вы можете легко проверить исходный код любой страницы Вашего сайта в браузере с помощью сочетания клавиш Ctrl + U.

Указанный Вами файл robots.txt является рекомендованным для шаблонов MotoCMS HTML. В нем указаны директивы которые препятствуют дублированию контента в поисковой выдаче и в общем способствуют коррной индексации сайта на базе MotoCMS HTML шаблона.

С уважением,
Sam Clayton

0 votes
Comment actions Permalink