Блоговед Терентий ШаховНемного обо всём, что может пригодиться в блоггинге

О файле robots.txt или «Валл-и отседа!» Автор Терентий Шахов | Опубликованно в важное, руководство | Опубликовано 24-03-2009

Если статья оказалась полезна и Вам здесь понравилось, предлагаю подписаться на RSS ленту. Спасибо за внимание!

Сегодня я спою небольшой куплет про один маленький незаметный файлик, который тихонечко лежит в корне сайта и никого не трогает (починяет примусы ). «На кой ляд он тогда, такой маленький сдался?» — спросит пытливый читатель. «Сдался. При всей своей незаметности и кажущейся бесполезности, очень, знаете ли нужная в хозяйстве вещь» — отвечу я, перебирая струны своей балалайки. Он поможет контенту вашего блога избежать дублирования в глазах поисковой системы. Файлик этот текстовый, кушать не просит (от того, поди, и весит мало), а на его создание у вас уйдёт совсем немного времени. Даже меньше, чем вы потратите на прочтение этой статьи. Так об чём речь? Кто герой куплета? Robots.txt ! Именно он великодушно позволяет (типа Велкам!) или непреклонно запрещает (кыш, валл-и отседа!) пронырливым поисковым паукам индексацию тех или иных участков вашего блога. Сразу оговорюсь, что я не расскажу вам об этом файле ничего новое. «Всё уже украдено до нас». О нём замечательно пишет в своих статьях (аж в трёх) Денис Болтиков. Он периодически проводит эксперименты с файлом robots.txt, а затем подробно об этом рассказывает. Так что свою миссию я вижу в написании всего лишь небольшого руководства по созданию упомянутого файла с его последующей заливкой на хостинг. Приступим:

Картинка с сайта

Создаём

Отвесив поклон своему текстовому редактору, создаём пустой файл и вставляем в него следующий текст:

User-agent: YandexBlog
Disallow:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://domain/sitemap.xml

Без пол-литра и не поймёшь что это, правда? Если вы не разбираетесь в этой абракадабре, называемой синтаксисом, и разбираться особого желания нет, просто поверьте знающему человеку на слово. Он плохого не посоветует. А если ваш пытливый ум требует внятных объяснений написанного, рекомендую проштудировать статью META ROBOTS или robots.txt?. Цепляет за живое.

Ну так вот. Создать то файл мы создали, а финики то где? Сохраните свежесозданный путеводитель для пауков в любом удобном месте вашего жёсткого диска. Да хотя бы на рабочем столе. Главное потом вспомнить куда вы его положили. И не забудьте предварительно «обозвать» его robots.txt. Непременно проконтролируйте этот момент. Robots.php, robots.html или robots.css не прокатит. Создали и сохранили? Теперь самое время отправлять наш файлик в гостеприимное лоно блога.

Заливаем

Файл должен покоиться в корневой папке вашего блога, а это, либо папка public_html, либо мамка www. Заходите в cPanel и находите там «Диспетчер файлов»:

Кликнув по указанной на скриншоте ссылке, вы окажетесь в святая святых, а именно в нужном нам сейчас как воздух корне. По умолчанию загружается именно он. В правой части веб-программы можно лицезреть все файлы и папки, которые наш корневой каталог содержит. Изучать их названия и содержимое мы не будем — оставим это занятие до лучших времён. Сейчас нам следует озаботиться погружением нашего героя моего куплета в недра блога. Отбросив все сомнения, кликайте по иконке с надписью «Загрузить», которая манит нас в левой верхней части экрана:

Прошу вас не обращать внимание на залезающие на скриншоте друг на друга надписи. При моём разрешении экрана это нормальное явление.

Тут мы попадаем на страницу с полями для загрузки файла:

Укажите местоположение сохранённого robots.txt (не забыли где вы его оставили?) и произведите его телепортацию. Файл лёгкий, поэтому пару мгновений и он в чреве нашего блога. Пот со лба можно утереть. Почти такие же манипуляции можно провести при помощи старого доброго файлового менеджера, если по каким-то причинам cpanel вас не устраивает.

Остаётся ожидать появления любопытных паучков. Они обязательно в скором времени посетят вас, ознакомятся с содержанием созданного вами файла и пойдут туда куда пошлют :). Вернее, куда пустят. Теперь, насколько это возможно вы обезопасили себя и своё творение от неприятного дублирования контента, а поисковики, по запросу пользователей, будут размещать в выдаче только те страницы, которые были открыты лично вами.

Постовой:
Ткань саржа, оптовые партии
Прекрасный подарок водолею на любой праздник
Хочу порекомендовать своим читателям блог об интернет заработке и выживании, на котором вас дожидаются свеженькие программы и скрипты для seo.

Удачного блоггинга и хорошего настроения!

Блоговед Терентий Шахов ©

 

Добавить в социальные закладки Похожие статьи
  • И это всё...
14 комментариев Комментарии 14 комментариев
  1. AS говорит...

    robos.txt в заголовке) и я бы еще не рекомендовал закрывать фид от яндекса...

    Опубликовано: 25/марта/2009 в 11:03
  2. Терентий Шахов говорит...

    2AS: Спасибо за наблюдательность) поправил заголовок. А почему feed от Яндекс лучше не закрывать? Вроде Яндекс блогам открыт путь)

    Опубликовано: 25/марта/2009 в 12:03
  3. Дима Шайтор говорит...

    Я использую для создания этого файлика специальный плагин, KB Robots.txt. То есть в самой админке можно будет вписать нужный текст. Ну это кому как удобней.

    Кстати, вроде по правилам директива Allow должна стоять выше по тексту, чем Disallow...

    Опубликовано: 25/марта/2009 в 01:03
  4. AS говорит...

    я не помню, но вроде как яша в блогс перекрывается возможность посмотреть все посты

    Опубликовано: 25/марта/2009 в 01:03
  5. Терентий Шахов говорит...

    2Дима Шайтор: За плагин спасибо) Буду юзать, отпишусь для остальных. А что касается Allow и Dissallow, даже не знаю. Те примеры файла, которые мне доводилось видеть именно в такой последовательности. Вроде бы директива allow вообще в стандарте не признана. Её понимают только google и яндекс. Хотя нам и этого хватает)

    Опубликовано: 25/марта/2009 в 05:03
  6. SEOinSoul говорит...

    У меня прям точно такой же роботс

    Я вроде читал где-то, что allow может стоять в любом месте, поисковые роботы поймут ее всегда

    Опубликовано: 26/марта/2009 в 11:03
  7. Терентий Шахов говорит...

    2 SEOinSoul : Из одного источника черпаем)

    Опубликовано: 26/марта/2009 в 11:03
  8. Дмитрий Наумов говорит...

    Вам то хорошо -). Вы редактировать можете, мы блогспотовцы жрем то что дают -).

    Опубликовано: 26/марта/2009 в 12:03
  9. Терентий Шахов говорит...

    Что есть то есть) Я долго и муторно пытался найти в сети как сделать роботс для Блогспота, но...Нету слонёнка в лесу у меня, слонёнка весёлого нет

    Опубликовано: 26/марта/2009 в 12:03
  10. Дмитрий Наумов говорит...

    Потому что ничего, ничего в натуре нету -))). Ну не пускают Гугловцы пионеров-энтузиастов на своем серваке копатся. Нельзя загружать файлы, менять что-то в существующих ну и т.д. С Робот.тхт история та же. Хотя следовало бы такую функция дать. А вам то хорошо! -). Правда с Яндексом вопрос спорный, тут я правда не самый лучший советчик -).

    Опубликовано: 26/марта/2009 в 12:03
  11. 7 - он говорит...

    В хэлпе Яндекса и Гугла приводятся примеры директивы allow, где она стоит выше disallow, а Яндекс открытым текстом пишет:

    Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

    Поэтому лучше поместить эту дерективу выше дисаллоу:)

    Опубликовано: 27/марта/2009 в 10:03
  12. Терентий Шахов говорит...

    2 7-Он: Обновил текст файла. И у себя и в посте) Спасибо!

    Опубликовано: 28/марта/2009 в 01:03
  13. Что общего у хорошей рекламы и хорошего пива? говорит...

    [...] — О файле robots.txt или «Валл-и отседа!» — Как менеджер менеджеру скажу: выставочные стенды [...]

    Опубликовано: 26/Апр/2009 в 04:04
  14. Бaбник говорит...

    Жесть Крутая статья и картинка в тему, молодцом:)

    Опубликовано: 2/июля/2009 в 02:07
Оставить комментарий

© Все права защищены. Блоговед Терентий Шахов | Дизайн темы Skinpress