Правильный файл robots.txt для WordPress

Файл Robots.txt – это простой текстовый файл, который создается и размещается в корневом каталоге блога на WordPress и отвечает за поведение поисковых роботов на сайте.

правильный файл robot.txt для wordpress

Файл для WordPress robots.txt — используется, в основном, для ограничения доступа поисковых роботов (еще их называют поисковыми ботами) к индексации некоторых разделов или файлов вашего сайта.

Если этот файл отсутствует, то поисковые боты будут индексировать все, что размещено в корневой папке вашего сайта, включая системные папки CMS WordPress, страницы регистрации, авторизации или админ-панель. Это приводит к тому, что поисковый робот на индексацию вашего сайта тратит слишком много времени и может пропустить или вовсе не проиндексировать нужные страницы.

Другими словами, при помощи специальных директив файла robots.txt для WordPress, мы сами указываем поисковым ботам что нужно индексировать, а что желательно пропустить. В поиск Google или Яндекс попадает только нужная нам информация. В основном это главная страница и страницы с записями.

Кроме этого, файл robots.txt играет большую роль в поисковой SEO-оптимизации сайта. В файле прописывается специальная директива, в которой указывается путь к файлу sitemap.xml с картой сайта, которая указывает поисковым ботам какие страницы необходимо проиндексировать . Это приводит к быстрой индексации новых записей вашего блога.

Создать xml-карту сайта для WordPress можно с помощью плагина Google XML Sitemaps.

Файл robots.txt для WordPressправильный файл robots.txt для wordpress

Не буду писать много лишнего, все уже давно доступно по этой ссылке. Ниже предлагаю вам готовый, правильный файл robots.txt для WordPress.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: /category/*/*
Disallow: /comments
Disallow: */comment-*
Disallow: */trackback

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Скачать готовый файл можно по этой ссылке: robots.txt. Скачайте и разархивируйте файл в любую папку на вашем компьютере. При помощи клиента ftp (например FileZilla), залейте файл в корень вашего сайта, не забыв заменить в файле название site.ru на имя вашего сайта. В итоге файл должен быть доступен по адресу:

http://имя_вашего_сайта/robots.txt

Краткое описание основных директив файла robots.txt

В основном в файле используются несколько директив.

  • user-agent — обозначает действия для конкретного робота: googlebot, yandex
  • host — определяется главное зеркало сайта, которое участвует в поиске
  • disallow — запрещает доступ робота к сайту или некоторым его разделам
  • allow — разрешает доступ робота к сайту или некоторым его разделам

Что блокировать, что разрешать?

Я, как и многие web-мастера, советую предотвратить индексацию всего того, что приводит к дублированию контента. Это новостные ленты rss, результаты поиска или ссылки ответов на комментарии и страницы категорий или рубрик.

Так же советую заблокировать ссылки до комментариев и трэкбеки, так как они доступны на страницах с записями. Их блокировка способствует уменьшению количества исходящих ссылок и положительно влияет на SEO-оптимизацию.

Все остальное разрешается к индексации. Стоит отметить, что доступ к папке /wp-content/uploads с загруженными медиа-файлами желательно разрешить отдельно для каждого робота.

Теперь вы знаете как создать правильный файл robots.txt для WordPress.

 

 







Комментарии
  1. Раиса
    • admin
  2. Андрей.
  3. Раиса
    • Alex
  4. Айвар Ямалтдинов
  5. Егор
  6. Александр

Оставить комментарий