Robots.txt
Robots.txt – что это? Это файл, использующийся для регулирования индексации web-сайта ПС (поисковыми системами). Он находится в корневом каталоге. В разделах файла находятся директивы, открывающие или закрывающие доступ индексирующим ботам к разделам/страницам ресурса. Каждый поисковый робот использует свой алгоритм обработки этого файла. Настройки robots.txt не оказывают влияние на обработку ссылок на страницы ресурса с других […]