Robots.txt

Robots txt для сайта

Как сделать файл robots.txt для сайта Всем привет! С вами Шаман. У многих новичков возникает вопрос что такое этот robots.txt, зачем он нужен и как его внедрить на сайт? В этой статье я не буду умничать, как это делают многие специалисты, я дам самую необходимую информацию. А в конце выложу файл с умными словами - кому интересно почитаете. Для тех, кто проходит серию уроков о том "Как сделать сайт самому без опыта", повторюсь, что этот метод внедрения файла robots.txt подходит и для сайта WodPress. И так, начнем.. Что такое robots.txt https://youtu.be/onMz9gfppy0?t=1897 robots.txt - это такой специальный файл, который внедряется в корневой каталог…

Обзор

Рейтинг пользователей 4.8 ( 1 голосов)

Как сделать файл robots.txt для сайта

Всем привет! С вами Шаман.

У многих новичков возникает вопрос что такое этот robots.txt, зачем он нужен и как его внедрить на сайт? В этой статье я не буду умничать, как это делают многие специалисты, я дам самую необходимую информацию. А в конце выложу файл с умными словами — кому интересно почитаете.

Для тех, кто проходит серию уроков о том «Как сделать сайт самому без опыта«, повторюсь, что этот метод внедрения файла robots.txt подходит и для сайта WodPress.

И так, начнем..

Что такое robots.txt

robots.txt — это такой специальный файл, который внедряется в корневой каталог сайта и ограничивает возможности поискового робота-паука.

Если совсем по простому — то вы — это хозяин сайта, а робот делает опись вашего сайта для каталога (индекса). Так вы ему в этом файле указываете, что можно включать в каталог, а что нельзя, кому можно заходить к вам в гости для каталогизации и т.д.

Я попробовал схематично показать как это выглядит ваш сайт для робота с файлом Robots.txt и без него

Доступ к сайту БЕЗ Robots.txt

Доступ к сайту C Robots.txt

 

Если нет Robots.txt на сайте, то робот-паук будет совершенно все индексировать, что надо и то, что не надо (и даже временные файлы). И таким образом может навредить сайту, с точки зрения его продвижения.

Думаю, что понятно объяснил. Если остались вопросы — пишите их в комментариях.

Для тех кто хочет «заморочиться» и узнать еще более подробней — я подготовил материал. Я не его автор, поэтому, чтобы контент на моём сайте был уникальным, сделал его вложением — скачивайте: Как создать файл robots 

 

Как сделать файл Robots.txt

Я для вас максимально все упрощу — вы ведь не специалисты SEO продвижения, а люди, которые просто хотят свой сайт и хотят просто зарабатывать на нем. Поэтому, вперед!

1. Зайдите в проводник, создайте текстовой документ. Для этого кликните правой кнопкой мыши, далее «создать» далее «текстовой документ»

Рис. 3 Создаем текстовой документ

 

2. Переименовываем этот документ как  «Robots»

Рис.4 Переименовываем текстовой документ

3. Открываем этот созданный документ, копируем текст, который сейчас внизу и  вставляем в документ.

Рис.5 Вставляем код в текстовой документ

http://shaman-s.ru/robots.txt
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /*?*
Disallow: /20*/*
Disallow: /author
Disallow: /page/*

Host:shaman-s.ru
Sitemap: http://shaman-s.ru/sitemap.xml

4. Заменяем мое название сайта «shaman-s.ru» на ваше название (В ТРЕХ МЕСТАХ) и сохраняем через меню «файл»

Рис.6 Заменяем название сайта

 

Все! файл Robot.txt готов!

Как загрузить Robot.txt на сайт

1.Заходим в свой личный кабинет на хостинге (в данном случае я покажу на хостинге TimeWeb) и кликаем на меню «загрузить файлы»

 

Рис.7 загружаем robots.txt на хост

2. «Проваливаемся» в нужную нам базу данных с нужным вам сайтом, на который будем загружать robots

Рис.8 Загрузка robots

3. «Проваливаемся» до тех пор пока не дойдем до папки «public_html». Затем заходим в неё

Рис.9 Загрузка robots.txt

4. В меню «Файл», находим «загрузить на сервер» и кликаем на нем

Рис.11 Загрузка Robots на сайт

 

5. Нажимаем «прикрепить файл». Ищем у себя на компьютере сохраненный и отредактированный файл robots.txt, а затем нажимаем «загрузить»

 

Рис.12 Загрузка файла Robots на сайт

Рис.13 Загрузка файла Robots на сайт

 

После этого, файл robots.txt будет загружен и установлен на ваш сайт

В какой папке сайта должен находиться файл robots.txt

Рис.14 В какой папке сайта должен находиться файл robots.txt

Вот и все сложности, которые не оказались таковыми. Осталось объяснить последний момент

Как редактировать файл robots.txt в плагине All in One SEO

Для этого вам необходимо зайти в плагин All in One SEO на панели слева (1), далее нажимаем в меню на «Robots.txt» (2) и далее нажимаем «импортировать (3)

Рис.15 Загружаем файл Robots с сайта в плагин All in One SEO

Рис.15 Загружаем файл Robots с сайта в плагин All in One SEO

После загрузки у вас может появиться вот такие сообщения. Это в зависимости от особенностей вашего шаблона WordPress плагин удалил ненужные строки.

Рис.16 удаленные плагином строки

 

После загрузки файла в плагин, будет виден код robots.txt.  Над этим кодом есть введенные вами команды. слева от них есть значок, очень похожий на дорожный знак «кирпич»(1). Если на него нажать, то эта команда удалится из файла Robots.

Над этими командами есть поля, при помощи которых вы можете добавлять правила.

Я показал какие поля, какому параметру команд соответствуют. Здесь подробно объяснять не буду. В файле (вначале статьи можете его скачать), многое написано и объяснено.

Рис.17. Редактирование файла robots.txt в плагине All in One SEO

Рис.17. Редактирование файла robots.txt в плагине All in One SEO

 

На этом думаю, что все.

В этой статье, я вам рассказал, что такое файл Robots.txt, зачем он нужен, как его сделать и как загрузить его на сайт. Так же показал, как его редактировать в плагине All in One SEO.

 

Об авторе

В любых делах, при максимуме сложностей,

Подход к проблеме всё-таки один:

Желание — это множество возможностей,

А нежеланье — тысяча причин!

Э. Асадов.

 

Дальше — только лучше! Шаман.

Как сделать файл robots.txt для сайта Всем привет! С вами Шаман. У многих новичков возникает вопрос что такое этот robots.txt, зачем он нужен и как его внедрить на сайт? В этой статье я не буду умничать, как это делают многие специалисты, я дам самую необходимую информацию. А в конце выложу файл с умными словами - кому интересно почитаете. Для тех, кто проходит серию уроков о том "Как сделать сайт самому без опыта", повторюсь, что этот метод внедрения файла robots.txt подходит и для сайта WodPress. И так, начнем.. Что такое robots.txt https://youtu.be/onMz9gfppy0?t=1897 robots.txt - это такой специальный файл, который внедряется в корневой каталог…

Обзор

Рейтинг пользователей 4.8 ( 1 голосов)

О Shaman

Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*