Блог Игоря Александровича Здесь вы найдете многое о заработке и сайтостроенииПриветствую вас постоянные читатели и случайные посетители моего блога.
В сегодняшней статье, я хочу показать актуальный robots.txt А так же как его установить, если кто не знает.
Ну а для чего нам нужен файл robots.txt
Если у нас не будет установлен этот файл, то поисковые роботы будут индексировать все в подряд и что нужно и что не нужно. Да же весь мусор будет проиндексирован, а зачем это нужно и это не есть хорошо.
Что же делает файл robots.txt
Все очень просто, файл robots.txt указывает поисковым системам, какие файлы, страницы и т.п. можно индексировать, а какие нельзя.
Содержание статьи:
Ну просто в файле robots.txt, закрывается все, что не желательно для индексации поисковиками
Кстати, будем работать с двумя разными протоколами, http и https
Ходовой файл robots.txt
Как работает файл robots.txt, вы можете увидеть на картинке ниже.
Файл роботс, играет огромную роль поисковой SEO-оптимизации сайта. В этом файле, прописывается путь к файлу sitemap.xml с картой сайта. А о том как сделать карту сайта с помощью плагина Google XML Sitemaps, вы можете прочитать:
Давайте я вам объясню, как и что здесь делается.
Ну для начала давайте рассмотрим название деректив:('User-agent') имя бота, ('Disallow') запрещающие и ('Allow') разрешающие. Ну а ('Sitemap') указывает поисковикам, где находится файл карты.
Ну примерно файл роботс, должен иметь вот такой вид.
User-agent: Yandex
Disallow: /
Disallow: /wp-admin
Disallow: /wp-includes
Host: Ваш блогSitemap: http://Ваш блог/sitemap.xml
Далее вы можете сами добавить те файлы, которые не хотите что бы поисковики индексировали. Ну у меня файл robots.txt выглядит вот так, как на скрине ниже.
Ну а для протокола https, мы произведем небольшое но существенное изменение в строке Host, добавляем https
Смотрите на примере ниже:
User-agent: Yandex
Disallow: /
Disallow: /wp-admin
Disallow: /wp-includes
Host: https://Ваш блог/Sitemap: https://Ваш блог/sitemap.xml
Да кстати, вы можете наблюдать изменение на скрине ниже
Если же вы не хотите сами делать файл, то можете скачать мой файл роботс, по этой ссылке
Там прописаны файлы, для двух протоколов, http и https
Не забудьте только прописать свое доменное имя в файле. На скринах выше, вы видите где нужно это имя заменить
Установка файла robots.txt
Ну для начала, надо создать файл и назвать его robots В созданном файле, нам нужно прописать роботс и сохранить. И вот этот файл, нам нужно загрузить в корень нашего сайта, в папку public html
Для загрузки, мы будем использовать редактор FTP или Total Commander, короче на ваше усмотрение. Также в Timeweb, в Файловом менеджере можно произвести загрузку.
Проверить работоспособность вашего файла Роботса, вы можете вбив в адресною строчку, вот этот адрес:
http://адрес_сайта/robots.txt
Ну а на этом все.
Кстати, в Вебмастере Яндекса в Инструментах, можем провести анализ robots.txt на работоспособность
Это есть и в Вебмастере Гугл.
Ну а вот теперь все.
Не забывайте о том, что на блоге проводятся два конкурса. Все подробности в меню Конкурсы
Удачи всем.
С Уважением, Игорь Александрович
Игорь, привет! Я тут на днях проверял свой роботс файл, вроде как нормальный. Но чего то там по моему не хватает. Вот теперь думаю, может твой скомуниздить, потому как самому составлять лень. Ну и с Наступащим тебя и твоих читателей.
Да не вопрос, бери и пользуйся. Для этого и выставил.
Скомуниздить — это звучит гордо! Мне тут вчера попалось — жеРебенок — это про скачущего дитя из соскдской квартиры сверху…
Спасибо за поздравление и тебя с Наступающим!
Ну куда денешься от скачущих детей?
У нас тоже ребенок растет и скачет, правда мы ему ограничиваем это.
А вот когда у соседей с низу приходят все внуки, а их пятеро, весь дом трясется.
Вы представляете что нам кажется над нами бегают, в тот день мы перестаем своему ребенку запрещать бегать))))
Игорь, зачем ограничивать ребенка в движении. У меня их двое, один из которых тхэквондист. И когда они начинают беситься, то можно смело драпать из дома. Да, ограничения не помогают, пока малая не набьет себе лоб. Тогда все становится нормально и тихо. )))
Так тебе то легче, вы в своем доме живете, а мы в квартире и соседей стараемся уважать.
А вот летом когда на даче живем, там пожалуйста, как в своем доме
Ты че, в каком своем доме. Квартира при чем однокомнатная. Так что мне далеко не легче.
Не просто я на фотках у тебя видел, что ты вроде в своем дворе был. Да и по скайпу когда общались, показалось что на веранду вышел
Это не веранда, а лоджия.
Ну теперь уже въехал))))
Так я ж динозавр 90-х, Поэтому для меня скомуниздить это нормально.
Жизнь у нас была такая.
Ну в принципе я такой же динозавр 90-х
Правда созревал я в этих 90-х, вырос, даже женится на последнем году успел
Ну а здесь комуниздить ничего не нужно, я специально эту статью написал и файл в свободную раздачу дал.
Пользуйтесь на здоровье
Да, я тут видео прикольное опубликовал, так что заходи.
Игорь, привет! Поздравляю тебя и всех комментаторов с Новым годом! Всем удачи и здоровья!
Вот что представляет мой файл robots.txt
User-agent: Mediapartners-GoogleDisallow:
User-agent: *Disallow: /wp-includesDisallow: /wp-feedDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesHost: site.ruSitemap: http:/site.ru/sitemap.xml
User-agent: Googlebot-ImageAllow: /wp-content/uploads/
User-agent: YandexImagesAllow: /wp-content/uploads/
Сравнил его с твоим и подумал: у меня он какой-то маленький совсем. Это нормально? В твоем очень много под запрет подведено. Может мне стоит также мне сделать?
Денис, спасибо за поздравление.
ну а на счет Роботса, здесь речь не в том что маленький, а в том что бы излишки от поисковых роботов закрыть, что бы он мусор не собирал по блогу. Чем меньше мусору соберет тем эффективнее будет.
я бы тебе посоветовал бы скачать мой и установить себе. Только свое доменное имя пропиши не забудь
Да, Игорь, так и сделаю, почитал про это дело в инете, понял, что мой файл robots.txt слишком простой и дает поисковикам рыться во всяком техническом хламе. Спасибо!!!!
Это вы верное решение приняли Денис.
Пожалуйста.
клюнул на название статьи что роботс в 2017 году а в примерах указано host как на старых сайтах без https… а какой должен быть роботс если сайт новый и сразу на протокол https ставлю ?????
Здравствуйте!
Извините что с разу не ответил, не до блога было)))
Хороший вопрос, в принципе там изменение только в host, вы добавляете протокол https перед названием вашего домена
Кстати, вы можете посмотреть в статье, она уже под корректирована. Да и в файле изменение закачал, можете качать и пользоваться