О создании для WordPress файла robots.txt

Привет, друзья! Наконец-то я вместе с уроками по WordPress подобрался к такой важной теме, как создание файла robots.txt. Это значит, что сайты ваши уже созданы, настроены и наполнены, а до их публикации в «большом интернете» остались считанные часы (robots.txt можно подготовить и на начальном этапе работы над сайтом – главное, чтобы была создана структура будущего ресурса).

Для чего он нужен, файл с «кибернетическим» названием? В robots.txt с помощью специальных инструментов (директив) вебмастер указывает роботам поисковиков, какие разделы сайта посещать (индексировать) нужно, а какие – нет. Это очень важный служебный файл, от которого зависит правильность индексирования ресурса поисковыми системами.

Алгоритм создания файла robots.txt

1. Создайте на компьютере простой текстовый файл (расширение – .txt). Назовите его robots.
2. Вставьте в него этот код:
   
   User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= Host: vash-sait.ru Sitemap: http://vash-sait.ru/sitemap.xml

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

   User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-comments Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */trackback Disallow: */feed Disallow: /cgi-bin Disallow: /tmp/ Disallow: *?s= Host: vash-sait.ru Sitemap: http://vash-sait.ru/sitemap.xml

3. В 31 и 32 строках кода замените текст «vash-sait.ru»  на URL вашего вебресурса.
4. Сохраните отредактированный текстовый файл.
5. Добавьте файл robots.txt (по FTP, если сайт уже опубликован в интернете) в корневую папку вебресурса.

Готово! Файл примера можете скачать по следующей ссылке (для сохранения его на компьютере нажмите Ctrl+S):

Скачать образец файла robots.txt

Что означают директивы файла robots.txt

Давайте рассмотрим подробнее, что именно мы написали роботам в файле robots.txt.

Директива User-agent применяется для указания имени поискового робота. С ее помощью можно разрешить или запретить определенным роботам посещать конкретные разделы сайта. Например, вот как я запрещаю роботу Яндекса сканировать папку с кэшем:

А так разрешаю роботу Bing индексировать папку с темами (themes) сайта:

Директива Allow – разрешающая, а директива Disallow – запрещающая. Например, так можно запретить роботу Yandex посещать каталог wp-admin:

А таким способом запрещается посещение этой же папки роботам всех поисковых систем:

В рассмотренном нами примере мы не пользуемся директивой Allow, потому что по умолчанию все, не запрещенное директивой Disallow, считается разрешенным.

Директива Host указывает главное (основное) зеркало сайта, которое должны индексировать роботы.

Директива Sitemap – содержит путь к карте сайта. Надеюсь, вы помните, насколько важна карта сайта для продвижения вебресурса. Не забывайте прописывать путь к ней в этой директиве.

Вот и все, что нужно знать о создании и добавлении на сайт файла robots.txt. Остались вопросы по теме урока? Задайте их в комментариях. Более подробно почитать о назначении и способах использования рассмотренных выше (и других) директив вы можете в разделе помощи Яндекса.