Файл «robots.txt» — как правильно составить файл robots.txt для сайта. Запрет индексации страниц сайта. Подробнее