Привет, друзья! Наконец-то я вместе с уроками по WordPress подобрался к такой важной теме, как создание файла robots.txt. Это значит, что сайты ваши уже созданы, настроены и наполнены, а до их публикации в «большом интернете» остались считанные часы (robots.txt можно подготовить и на начальном этапе работы над сайтом – главное, чтобы была создана структура будущего ресурса).
Для чего он нужен, файл с «кибернетическим» названием? В robots.txt с помощью специальных инструментов (директив) вебмастер указывает роботам поисковиков, какие разделы сайта посещать (индексировать) нужно, а какие – нет. Это очень важный служебный файл, от которого зависит правильность индексирования ресурса поисковыми системами.
Алгоритм создания файла robots.txt
- Создайте на компьютере простой текстовый файл (расширение – .txt). Назовите его robots.
- Вставьте в него этот код:
1234567891011121314151617181920212223242526272829303132User-agent: YandexDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-commentsDisallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /wp-content/cacheDisallow: /wp-login.phpDisallow: /wp-register.phpDisallow: */trackbackDisallow: */feedDisallow: /cgi-binDisallow: /tmp/Disallow: *?s=User-agent: *Disallow: /wp-adminDisallow: /wp-includesDisallow: /wp-commentsDisallow: /wp-content/pluginsDisallow: /wp-content/themesDisallow: /wp-content/cacheDisallow: /wp-login.phpDisallow: /wp-register.phpDisallow: */trackbackDisallow: */feedDisallow: /cgi-binDisallow: /tmp/Disallow: *?s=Host: vash-sait.ruSitemap: http://vash-sait.ru/sitemap.xml - В 31 и 32 строках кода замените текст «vash-sait.ru» на URL вашего вебресурса.
- Сохраните отредактированный текстовый файл.
- Добавьте файл robots.txt (по FTP, если сайт уже опубликован в интернете) в корневую папку вебресурса.
Готово! Файл примера можете скачать по следующей ссылке (для сохранения его на компьютере нажмите Ctrl+S):
Скачать образец файла robots.txt
Что означают директивы файла robots.txt
Давайте рассмотрим подробнее, что именно мы написали роботам в файле robots.txt.
Директива User-agent применяется для указания имени поискового робота. С ее помощью можно разрешить или запретить определенным роботам посещать конкретные разделы сайта. Например, вот как я запрещаю роботу Яндекса сканировать папку с кэшем:
1 2 |
User-agent: Yandex Disallow: /wp-content/cache |
А так разрешаю роботу Bing индексировать папку с темами (themes) сайта:
1 2 |
User-agent: bingbot Allow: /wp-content/themes |
Директива Allow – разрешающая, а директива Disallow – запрещающая. Например, так можно запретить роботу Yandex посещать каталог wp-admin:
1 2 |
User-agent: Yandex Allow: /wp-admin |
А таким способом запрещается посещение этой же папки роботам всех поисковых систем:
1 2 |
User-agent: * Disallow: /wp-content |
В рассмотренном нами примере мы не пользуемся директивой Allow, потому что по умолчанию все, не запрещенное директивой Disallow, считается разрешенным.
Директива Host указывает главное (основное) зеркало сайта, которое должны индексировать роботы.
Директива Sitemap – содержит путь к карте сайта. Надеюсь, вы помните, насколько важна карта сайта для продвижения вебресурса. Не забывайте прописывать путь к ней в этой директиве.
Вот и все, что нужно знать о создании и добавлении на сайт файла robots.txt. Остались вопросы по теме урока? Задайте их в комментариях. Более подробно почитать о назначении и способах использования рассмотренных выше (и других) директив вы можете в разделе помощи Яндекса.