Здравствуйте, такой вопрос. Есть сайт ,его необходимо закрыть для индексации, но необходимо, чтобы один из разделов был доступен для сканирования. Индексация сайта это и есть сканирование? Т.е. - вопрос №3017960
Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt и прописать в нём следующие строки:
User-agent: *
Disallow: /folder/
folder — папка которую хотите скрыть от индексации
Добрый день. Меня заинтересовал ваш ответ "Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt ..." на вопрос http://www.liveexpert.org/topic/view/3017960-zdravstvujte-takoj-vopros-est-sajt-ego-neobhodimo-zakrit-dlya-indeksacii-no-neobhodimo-chtobi-odin-iz-razdelov-bil-dostupen-dlya. Можно с вами обсудить этот ответ?