Как настроить файл robots.txt

Настройка небольшого файлика под названием robots.txt — это очень важный вопрос для Всех владельцев сайтов.

Для того, чтобы Ваш сайт был проиндексирован  поисковыми системами должным образом, в корневой папке сайта должен обязательно находится такой файл.

И очень важно его правильно настроить. В этом файле указываются те папки, которые  не должны попасть в поисковую выдачу, то есть их не должен видеть никто кроме владельца сайта.

Также в файле закрываются папки, которые могут создать дубли записей на сайте. Поэтому, советуют закрывать от индексации категории и архивы записей.

Некоторые вебмастера закрывают еще и метки. Вообще вопросы насчет рубрик и меток очень спорные и наверное не будет одного четкого решения, поэтому, как правило все познается путем экспериментов.
[mks_dropcap style=»square» size=»20″ bg_color=»#faf3d4″ txt_color=»#000000″]При настройке файла robots.txt следует учитывать, что для каждого отдельного сайта или блога этот файл, возможно, будет отличаться[/mks_dropcap]

Происходит так потому, что в зависимости от используемых шаблонов, может быть различие в структуре одного блога и другого. Могут, например, по-разному отражаться в адресной строке ссылки на архивы блогов.

Так же на блоге могут находиться файлы и папки, созданные владельцем дополнительно, и которых нет на других блогах, и которые также должны быть закрыты от индексации поисковыми системами.

Разработчики  WordPress рекомендуют следующее содержание файла robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Host: ВАШСАЙТ

Sitemap: http://www.ВАШСАЙТ/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Файл sitemap.xml создается автоматически, в том случае, если у Вас установлен специальный плагин.

Файл должен быть размещен в корневой папке вашего сайта. Т.е., например, http://site.ru/robots.txt. Если у вас такой файл уже есть, то просто добавьте в него нужные строки.