Главная » Блоговедение » Файл Robots.txt для WordPress на 2017 год

Файл Robots.txt для WordPress на 2017 год

Приветствую вас постоянные читатели и случайные посетители моего блога.

В сегодняшней статье, я хочу показать актуальный robots.txt А так же как его установить, если кто не знает.

Ну а для чего нам нужен файл robots.txt

Рабочий фаил Роботс

Если у нас не будет установлен этот файл, то поисковые роботы будут индексировать все в подряд и что нужно и что не нужно. Да же весь мусор будет проиндексирован, а зачем это нужно и это не есть хорошо.

Что же делает файл robots.txt
Все очень просто, файл robots.txt указывает поисковым системам, какие файлы, страницы и т.п. можно индексировать, а какие нельзя.

Ну просто в файле robots.txt, закрывается все, что не желательно для индексации поисковиками

Кстати, будем работать с двумя разными протоколами, http и https

Ходовой файл robots.txt

Как работает файл robots.txt, вы можете увидеть на картинке ниже.

 

фаил Роботс

Файл роботс, играет огромную роль поисковой SEO-оптимизации сайта. В этом файле, прописывается путь к файлу sitemap.xml с картой сайта. А о том как сделать карту сайта с помощью плагина Google XML Sitemaps, вы можете прочитать:

ЗДЕСЬ

Давайте я вам объясню, как и что здесь делается.

Ну для начала давайте рассмотрим название деректив:('User-agent') имя бота, ('Disallow') запрещающие и ('Allow') разрешающие. Ну а ('Sitemap') указывает поисковикам, где находится файл карты.

Это интересно:  Сервисы проверки ошибок орфографии

Ну примерно файл роботс, должен иметь вот такой вид.

User-agent: Yandex
Disallow: /
Disallow: /wp-admin
Disallow: /wp-includes
Host: Ваш блог

Sitemap: http://Ваш блог/sitemap.xml

Далее вы можете сами добавить те файлы, которые не хотите что бы поисковики индексировали. Ну у меня файл robots.txt выглядит вот так, как на скрине ниже.

 

Мой роботс

Ну а для протокола https, мы произведем небольшое но существенное изменение в строке Host, добавляем https

Смотрите на примере ниже:

User-agent: Yandex
Disallow: /
Disallow: /wp-admin
Disallow: /wp-includes
Host: https://Ваш блог/

Sitemap: https://Ваш блог/sitemap.xml

Да кстати, вы можете наблюдать изменение на скрине ниже

измененный robots

Если же вы не хотите сами делать файл, то можете скачать мой файл роботс, по этой ссылке

ЗДЕСЬ

Там прописаны файлы, для двух протоколов, http и https

Не забудьте только прописать свое доменное имя в файле. На скринах выше, вы видите где нужно это имя заменить

Установка файла robots.txt

Ну для начала, надо создать файл и назвать его robots В созданном файле, нам нужно прописать роботс и сохранить. И вот этот файл, нам нужно загрузить в корень нашего сайта, в папку public html

Для загрузки, мы будем использовать редактор FTP или Total Commander, короче на ваше усмотрение. Также в Timeweb, в Файловом менеджере можно произвести загрузку.
Проверить работоспособность вашего файла Роботса, вы можете вбив в адресною строчку, вот этот адрес:

http://адрес_сайта/robots.txt

Ну а на этом все.

Это интересно:  Ускорение блога с помощью плагина BJ Lazy Load

Кстати, в Вебмастере Яндекса в Инструментах, можем провести анализ robots.txt на работоспособность

 

Анализ Роботса

Это есть и в Вебмастере Гугл.
Ну а вот теперь все.

Не забывайте о том, что на блоге проводятся два конкурса. Все подробности в меню Конкурсы

Удачи всем.

С Уважением, Игорь Александрович

19 комментариев

  1. Андрей Косолапов

    Игорь, привет! Я тут на днях проверял свой роботс файл, вроде как нормальный. Но чего то там по моему не хватает. Вот теперь думаю, может твой скомуниздить, потому как самому составлять лень. Ну и с Наступащим тебя и твоих читателей. 22

    • Игорь

      Да не вопрос, бери и пользуйся. Для этого и выставил.

    • eun

      Скомуниздить — это звучит гордо! Мне тут вчера попалось — жеРебенок — это про скачущего дитя из соскдской квартиры сверху…

      Спасибо за поздравление и тебя с Наступающим!

      • Игорь

        Ну куда денешься от скачущих детей?

        У нас тоже ребенок растет и скачет, правда мы ему ограничиваем это.

        А вот когда у соседей с низу приходят все внуки, а их пятеро, весь дом трясется.

        Вы представляете что нам кажется над нами бегают, в тот день мы перестаем своему ребенку запрещать бегать))))

        • Андрей Косолапов

          Игорь, зачем ограничивать ребенка в движении. У меня их двое, один из которых тхэквондист. И когда они начинают беситься, то можно смело драпать из дома. Да, ограничения не помогают, пока малая не набьет себе лоб. Тогда все становится нормально и тихо. )))

          • Игорь

            Так тебе то легче, вы в своем доме живете, а мы в квартире и соседей стараемся уважать.

            А вот летом когда на даче живем, там пожалуйста, как в своем доме

          • Андрей Косолапов

            Ты че, в каком своем доме. Квартира при чем однокомнатная. Так что мне далеко не легче. 

          • Игорь

            Не просто я на фотках у тебя видел, что ты вроде в своем дворе был. Да и по скайпу когда общались, показалось что на веранду вышел

          • Андрей Косолапов

            Это не веранда, а лоджия. 

          • Игорь

            Ну теперь уже въехал))))

      • Андрей Косолапов

        Так я ж динозавр 90-х, Поэтому для меня скомуниздить это нормально. 12

        Жизнь у нас была такая.

        • Игорь

          Ну в принципе я такой же динозавр 90-х19

          Правда созревал я в этих 90-х, вырос, даже женится на последнем году успел07

          Ну а здесь комуниздить ничего не нужно, я специально эту статью написал и файл в свободную раздачу дал.

          Пользуйтесь на здоровье

          • Андрей Косолапов

            Да, я тут видео прикольное опубликовал, так что заходи.07

  2. Денис

    Игорь, привет! Поздравляю тебя и всех комментаторов с Новым годом! Всем удачи и здоровья! 

    Вот что представляет мой файл robots.txt  

    User-agent: Mediapartners-GoogleDisallow:

    User-agent: *Disallow: /wp-includesDisallow: /wp-feedDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesHost: site.ruSitemap: http:/site.ru/sitemap.xml

    User-agent: Googlebot-ImageAllow: /wp-content/uploads/

    User-agent: YandexImagesAllow: /wp-content/uploads/

    Сравнил его с твоим и подумал: у меня он какой-то маленький совсем. Это нормально? В твоем очень много под запрет подведено. Может мне стоит также мне сделать? 

    • Игорь

      Денис, спасибо за поздравление.

      ну а на счет Роботса, здесь речь не в том что маленький, а в том что бы излишки от поисковых роботов закрыть, что бы он мусор не собирал по блогу. Чем меньше мусору соберет тем эффективнее будет.

      я бы тебе посоветовал бы скачать мой и установить себе. Только свое доменное имя пропиши не забудь07

      • Денис

        Да, Игорь, так и сделаю, почитал про это дело в инете, понял, что мой файл robots.txt  слишком простой и дает поисковикам рыться во всяком техническом хламе. Спасибо!!!! 

        • Игорь

          Это вы верное решение приняли Денис.

          Пожалуйста.

  3. Бус

    клюнул на название статьи что роботс в 2017 году а в примерах указано host как на старых сайтах без https…  а какой должен быть роботс если сайт новый и сразу на протокол https ставлю ?????

    • Игорь

      Здравствуйте!

      Извините что с разу не ответил, не до блога было)))

      Хороший вопрос, в принципе там изменение только в host, вы добавляете протокол https перед названием вашего домена

      Кстати, вы можете посмотреть в статье, она уже под корректирована. Да и в файле изменение закачал, можете качать и пользоваться