Файл, который обязательно должен присутствовать на вашем блоге — robots.txt

Сегодня мы с вами будем говорить еще об одном очень важном моменте блоговодства, а конкретней о файле под интересным названием «robots.txt». Из этой статьи вы узнаете, что это за файл такой, почему он настолько важный и само собой, как правильно его создать.
dlya_saita_fajl_robots_2

Robots.txt, что же это за файл такой?

По сути своей файл, с название robots.txt — документ текстовой, в котором прописаны определенные команды для поисковых роботов. Расположен он в корневой папке вашего блога. Имеет свой определенный синтаксис, при помощи которого с поисковиками и «общается».

Не пугайтесь, все эти непонятные команды в этой статье мы изучим. Но сначала несколько слов о том, почему этот небольшой файлик, настолько важен.

Почему файл robots.txt настолько важен?

Мы уже не раз говорили о том, что поисковые системы постоянно сканируют сайты. Так вот, первым делом робот того или иного поисковика, когда приходит на ваш сайт, ищет файл роботс. Делает он это, потому что в нем содержатся прямые указания к тому, какие папки вашего блога нужно проверять, а какие обойти стороной. Это очень важный момент для индексации блога/сайта.

Почему так важно управлять индексацией блога? Все предельно просто. Ведь на вашем блоге, помимо того, что нужно видеть и знать читателям, помимо статей, изображений, видео и музыки, есть огромное количество папок системных. Роботу поисковой системы совсем не нужно гулять по этим папкам, они не несут никакой смысловой нагрузки, а созданы только лишь для управления, это техническая часть блога.fajl_robots_dlya_saita

Из всего вышеперечисленного можно сделать простой вывод, что после прочтения роботом того же Яндекса нашего файла robots.txt, часть папок он просто на просто не индексирует, соответственно, те папки, в которых находится нужный нам контент он индексирует вдвойне быстрей, ведь не тратит время на не нужную информацию.

Еще один важный момент, по средствам этого файла можно (и нужно)избавляться от дублей страниц, а дубли – это зло, о них мы поговорим в следующих статьях, так что подписывайтесь на обновления.

 

Как правильно составить файл robots.txt

 

Файл robots.txt —

одно из первых важных действий после создания блога. 

Именно он «разговаривает» с роботами из поисковиков.

Лучше, если этот разговор будет кратким и недвусмысленным

 

Соорудить такой файл очень легко, во-первых, никаких спецпрограмм не понадобится. Для этих целей можно взять Notepad++ или простой блокнот (мой файл роботс был сделан в блокноте). А во-вторых, команды, которые мы будем там прописывать, достаточно просты, и все это легко понять.

Давайте попробуем составить правильный роботс. Открываем наш текстовой редактор и самое первое, что нужно прописать – это:

User-agent: *

Собственно, вот эта команда говорит о том, для робота какой именно поисковой системы будут написаны строчки ниже. Если говорить короче, то «user-agent» — это имя бота. После имени (а так же любой другой команды) двоеточие «:» обязательно!

После двоеточия идет имя нужного нам бота. Но ведь в команде «User-agent: *» стоит не имя, а звездочка. Все верно, эта звездочка говорит о том, что все строчки, которые будут ниже нее написаны для всех поисковых роботов. А если вы хотите написать для какой-то одной системы, ну, например, Яндекса, то вид этой строки будет уже вот такой:

User-agent: Yandex

Так, с именами все ясно, теперь спустимся на строчку ниже. Она у нас вот такого вида:

Disallow: /wp-admin/

fajl_robots_wordpress

Файл роботс поможет лучше работать Вашему блогу на Вордпресс

Вот теперь мы пришли к основным двум командам, которые будем прописывать в файле robots.txt – это «Disallow» (команда, запрещающая индекс той или иной папки) и «Allow» (соответственно, команда разрешающая).

К слову сказать, в моем файле нет команды Allow, зато очень много Disallow, но об этом чуть ниже.

Итак, у нас есть команда запрета, что же надо запретить индексировать роботу? Все системные папки с технической «чепухой» (wp-admin, wp-includes, plugins, themes), папки создающие дубли страниц (такие, как category), а так же запретить можно какой-либо файл отдельно (например, wp-login.php) или же запретить целый адрес, с каким-либо символом (?s=).

В принципе, какие файлы вы будете разрешать, а какие запрещать, решать уже вам, но только не стоит забывать о вышеперечисленных советах.

Теперь несколько нюансов. Чаще всего, команды прописываются всем ботам сразу (помним команду User-agent: *), но вот для товарища Яндекса все должно быть индивидуально. То есть после набора команд:

User-agent: *

И прочие и прочие, идет практически их дубль, но уже для Яндекса:

User-agent: Yandex

В конце вашего файла robots.txt будут вот такие строчки:

Host: http:// opartnerke.ru

Sitemap: http:// opartnerke.ru /sitemap.xml

fajl_robots_

Впишите правильно Ваш домен в robots.txt

Sitemap: http:// opartnerke.ru /sitemap.xml.gz

Тут, вроде бы, тоже ничего сложного: помечен наш хост, и файлы карты сайта. Только вам нужно будет в вашем файле роботс прописать свой домен и можно загружать файл на хостинг, в папку «public_html», которая находиться по такому пути: «файловые менеджер» — «domains» — Ваш сайт — «public_html».

Вот, в общем-то, все основные правила. Ничего сложного, удачи в составлении файла роботс(robots.txt), так как при создание блога, этот файл Вам в любом случае будет необходим!

  • 02.10.2013

92 387 просмотров

Оцените статью
1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
blank Загрузка...