Как настроить файл robots.txt

Как настроить файл robots.txt

Настройка небольшого файлика под названием robots.txt — это очень важный вопрос для Всех владельцев сайтов.

Для того, чтобы Ваш сайт был проиндексирован  поисковыми системами должным образом, в корневой папке сайта должен обязательно находится такой файл.


И очень важно его правильно настроить. В этом файле указываются те папки, которые  не должны попасть в поисковую выдачу, то есть их не должен видеть никто кроме владельца сайта.

Также в файле закрываются папки, которые могут создать дубли записей на сайте. Поэтому, советуют закрывать от индексации категории и архивы записей.

Некоторые вебмастера закрывают еще и метки. Вообще вопросы насчет рубрик и меток очень спорные и наверное не будет одного четкого решения, поэтому, как правило все познается путем экспериментов.
При настройке файла robots.txt следует учитывать, что для каждого отдельного сайта или блога этот файл, возможно, будет отличаться

Происходит так потому, что в зависимости от используемых шаблонов, может быть различие в структуре одного блога и другого. Могут, например, по-разному отражаться в адресной строке ссылки на архивы блогов.

Так же на блоге могут находиться файлы и папки, созданные владельцем дополнительно, и которых нет на других блогах, и которые также должны быть закрыты от индексации поисковыми системами.

Разработчики  WordPress рекомендуют следующее содержание файла robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Host: ВАШСАЙТ

Sitemap: http://www.ВАШСАЙТ/sitemap.xml

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

Файл sitemap.xml создается автоматически, в том случае, если у Вас установлен специальный плагин.

Файл должен быть размещен в корневой папке вашего сайта. Т.е., например, http://site.ru/robots.txt. Если у вас такой файл уже есть, то просто добавьте в него нужные строки.



Автор: Светлана Слободенюк
Ваша оценка статьи: [ratings]
Letyshops [lifetime]

Не пропустите похожие интересные посты!

Об авторе Смотреть все записи

Светлана Слободенюк

Я автор данного блога. Все статьи, которые вы найдете на моем блоге авторские, написанные исходя из личного опыта и "набитых шишек")

1 комментарийОставить комментарий

  • Писал статью на похожую тему и искал рисунок в Google картинки, а с рисунком выплыл Ваш блог. Вот таким макаром я у Вас в гостях. Жду с ответным визитом на сайте «Звёздный путь».

Оставить комментарий

Ваш email не будет опубликован. Обязательные поля помечены знаком *

семнадцать + одиннадцать =

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: