итак, поговорим о роботс.тхт. Большинство пользователей, услышав о рекомендации создать его, смотрят такими глазами, как будто им сказали сваять на аасемблере виндовс 12)) что же такое, этот страшный файл?
роботс — это простой текстовый документ, который сильно может облегчить Вам жызнь. С его помощью Вы можете запретить индексацию мусора и ненужных страниц.
User-agent: * Disallow: /*error Disallow: /*index Disallow: /link Disallow: /public/adDisallow:
вот так выглядит роботс этого сайта. давайте разберемся, что за директивы, и для чего они есть.
итак, здесь данный файл грамотно составлен, закрыты все технические страницы. Рекомендуеться закрывать такие страницы:
также важны еще 2 директивы — Host и Sitemap
Host — указание главного зеркала сайта — с www или без.
Host: www.liveexpert.ru
здесь указано главным зеркало с www. данная директива пнятна только Яндексу. но ее можно ставить в блок для все поисковиков. так как прочитает ее только Яндекс, а остальные роботы просто пропустят.
Sitemap — указание местоположения карты сайта. Рекомендуется ее прописывать, так как это существенно облегчит индексацию. наличие самой карты сайта обязательно.
Популярные ошибки:
созданны 2 блока директив — в блоке для Яндекса только Хост, а в обшем блоке все остальные. при наличия общего блока (User-agent: * ) и блока для конкретного поисковика (например, User-agent: Yandex ) каждый робот будет читать директивы только из своего блока. Поэтому, если в блоке для Яндекса только Хост, то только его он и прочитает, а остальные директивы из общего блока пропустит. Если создаете данный файл — каждую директиву желательно дублировать во всех других блоках.
отсутствие запрета на индексацию страниц, созданных поисковым модулем. запретить индексацию их легко — вбивайте запрос и смотрите на адрес. Пример — если при запросе «sepr» адрес выглядит таким образом :
/index.php?first=no&what=&kp_query=sepr
то запрет нужно составлять таким образом — обрезаем адрес до запроса и добавляем *
Disallow: /index.php?first=no&what=&kp_query=*
на многих сайтах также не указаны директивы Хост и Сайтмап.
Вот здесь ЯША привел документацию по составлению данного файла. Составляйте данный файл грамотно. так как от этого зависит индексация Вашего сайта. И то, сколько мусора с него попадет в поисковики.
|
|||||||||||
|
|||||||||||
|
|||||||||||
Похожие блоги |