Заказать рекламу очень просто.

Отправьте заявку на рекламу и с вами свяжется нам лучший менеджер

Как запретить индексацию сайта, делаем правильный robots.txt

10
Апр
Все записи

Любая поисковая система, заходя на сайт, начинает искать файл robots.txt. Размещён он в корневой директории, в одной папке с index. Этот файл применяют для того, чтобы прописывать всевозможные инструкции для поисковых роботов. Воспользовавшись им, вы сможете запретить индексацию некоторых папок и страниц сайта, указать главное зеркало ресурса, задать временные интервалы между индексацией страниц и считыванием документов с сервера. Данный файл необходимо уметь настраивать для эффективного продвижения сайта в Интернет.

Запрет индексации сайта: создаём robots.txt

Запрет индексации сайта: создаём robots.txt

Чтобы создать robots.txt вам потребуется стандартный блокнот. В том случае, если вас не особо волнует оптимизация сайта, то вы можете оставить файл пустым. Название файла и расширение должно быть прописаны строчными буквами. Каждая инструкция, которую вы вносите в файл, обязана начинаться с новой строки и включать в себя две части.

1) Первая часть обозначается User-agent и содержит имя поисковика, который должен следовать инструкции. Если вы хотите создать правило для всех поисковиков, то достаточно прописать User-agent: *.

2) Вторая часть – Disallow. В ней вы прописываете те страницы, индексирование которых хотите запретить. В том случае, если вы желаете запретить индексирование всех страниц, то следует ввести команду Disallow: /

Эффективное продвижение сайтов невозможно без заполнения robots.txt. Правильно воспользовавшись возможностями этого файла, можно оградить поисковики от ненужной информации, создавать дубликаты страниц сайта без риска быть заманенным антиспам-роботами и значительно увеличить показатели конверсии ресурса.

Прописывая запрет индексации сайта либо его страниц или папок легко запутаться, если уже до этого было создано несколько инструкций. Чтобы такого не произошло, возле каждой инструкции можно оставлять комментарий с помощью символа #. К примеру:

User-agent: * # Запрет индексации домашней страницы

Disallow: /home.html

При грамотном заполнении robots.txt вы сможете избежать проблем с поисковыми системами, однако не стоит забывать о любопытных посетителях. Основная проблема заключается в том, что, посетив http://имя сайта/robots.txt можно просмотреть содержимое файла. Поэтому, если вы решите запретить индексирование какой-либо папки, то в ней следует создать index.php, на который и будет попадать пользователь при вводе её полного адреса в строку браузера.


Все записи
Работает на: Amiro CMS