Зачем создавать файл robots.txt для сайта, размещенного на WordPress, и каким образом его лучше настроить? Неправильное использование этого файла может повредить индексации сайта и его продвижению в поисковых системах.

Корректная настройка избавит от дублей страниц и скроет ненужные страницы из результатов поиска.

Самый простой пример файла robots.txt для WordPress, который закрывает только администраторскую панель:

Где находится стандартный файл настроек роботс в WP?

Стандартный установщик Вордпресс не содержит файл роботс. Поэтому после установки CMS Вам потребуется создать его самостоятельно. В нашей статье вы найдете исчерпывающую информацию о всех командах, которые содержатся в этом файле. Также мы предлагаем Вам готовый работающий код для этого файла - вам достаточно скопировать его в свой файл роботс. Все что вам нужно сделать - создать свой файл, скопировать в него код, и добавить его в корневую папку Вашего сайта. После этого проверьте его коррекность для поисковых систем по нашей инструкции.

Виртуальный хостинг сайтов для популярных CMS:

Пример файла robots.txt, который вы можете использовать на своем сайте.

Вы можете выделить этот код и вставить на свой wordpress-сайт, заменив ссылки в разделе Host и Sitemap на адрес своего сайта.

Disallow: /wp-admin
Disallow: /wp-includes

Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: http://site.ru/

Sitemap: http://site.ru/sitemap.xml

Файл robots.txt представляет собой простой текстовый файл, который вы можете создать в любом текстовом редакторе. Все инструкции, которые используются в robots.txt приводят к одному из трех результатов:

  1. Разрешение индексации – поисковые роботы могут просканировать весь контент.
  2. Полный запрет индексации – ничего из содержания сайта не будет сканироваться.
  3. Условное разрешение – задаются определенные директивы, которые указывают возможность сканирования конкретных папок и файлов.

Часто возникают разногласия по поводу того, что следует помещать в файл robots.txt. Имейте в виду, что этот файл не предназначен для решения проблем безопасности веб-сайта, поэтому если требуется закрыть роботам доступ к частному контенту, необходимо защитить паролем область, где хранится такая информация .

Как правило, файл robots.txt призван служить руководством для поисковиков, но они могут и не соблюдать эти инструкции. Вариант файла robots.txt приведен на скриншоте.

Давайте разберем, какие функции выполняет каждая строка в этом файле. Директива User-agent обозначает группу инструкций, предназначенных одному роботу или всем сразу. Существует два варианта ее применения:

  1. Если всем роботам задаются одинаковые указания, ставится знак звездочки (строка 1);
  2. если указано имя конкретного бота, то условия будут применимы только к нему (строка 15).

Разработчиками Яндекса отмечается, если в User-agent напрямую указан робот этой поисковой системы, то следует повторить в этом разделе те же общие инструкции, что используются для других поисковых роботов (строки 15-24). В противном случае роботом Яндекса будут учитываться только те команды, которые прописаны для него явно и проигнорируются остальные.

Disallow

Директива Disallow информирует роботов, какие директории не требуется индексировать. Например, если нужно, чтобы поисковики не индексировали фотографии на сайте, поместите файлы с этими фотографиями в одну папку и закройте к ней доступ.

Для сайта, созданного на WordPress, обязателен запрет на индексацию админки, то есть папки wp-admin. Дополнительно можно запретить индексацию рубрик, архивов и тэгов, хотя при использовании SEO-плагинов на WordPress эти запреты устанавливаются в настройках плагинов. В приведенном примере также от возможного попадания в индекс закрыты папки шаблона и кешированного контента.

Allow

Директива Allow позволяет сообщить роботу, что он может увидеть файл в папке, запрещенной другими инструкциями. В примере этой директивы нет, т.к. этот файл работает по принципу «что не запрещено – то разрешено».

Host и Sitemap

Директива Host сообщает об адресе основного зеркала сайта. Команда Sitemap предназначена для любых роботов, она отмечает расположение xml-файла со структурой сайта и облегчает индексацию страниц поисковиками.

Куда загружать файл robots.txt в WordPress

При отсутствии на сайте файла robots.txt, следует его создать. Можно использовать программу «Notepad++» в среде Windows или «TextEdit» для Mac.

  1. Создайте новый текстовый файл, запишите нужные директивы и сохраните на компьютере под названием robots.txt.
  2. Подключитесь к серверу хостинга через файловый менеджер и скопируйте в корневой каталог (1) веб-сайта файл robots.txt (2).
  3. В адресной строке наберите /robots.txt сразу после названия домена и убедитесь, что содержимое файла отображается браузером. Если вы используете поддомены, нужно создавать robots.txt для каждого поддомена.

Проверка роботс тхт Яндексом и Google - правильно ли работает файл?

Рекомендуется протестировать файл robots.txt, чтобы проверить, что он работает именно таким образом, как ожидается от помещенных в него инструкций. Перед анализом, убедитесь, что сайт зарегистрирован в инструментах веб-мастера, которые предлагаются поисковиками Google и Яндекс.

Для проверки Яндексом перейдите в кабинет веб-мастера по ссылке https://webmaster.yandex.ru . Выберите меню «Инструменты» и подменю «Анализ robots.txt».
Чтобы проверить файл в Google пройдите по ссылке https://www.google.com/webmasters/tools . В меню «Сканирование» нужно выбрать пункт «Инструмент проверки файла robots.txt».

Обе системы позволяют отправить файл robots.txt на проверку, после чего выдают результаты анализа и сообщения об ошибках, если они были обнаружены.

Для чего нужен robots.txt на вордпресс сайте?

Файл robots.txt – обыкновенный текстовый документ, размещенный на веб-сервере, он сообщает поисковым роботам о доступе к разделам сайта. При использовании этого файла можно задавать инструкции, например, запретить поисковикам индексировать служебные файлы и категории сайта, указать основную версию сайта и путь к карте сайта в формате xml. Прежде чем поисковик проиндексирует сайт, на него зайдет робот, например, Googlebot или Yandex, и просканирует файл robots.txt на предмет команд о том, какие страницы разрешено посещать и сохранять в результатах поиска.

Чтобы проверить, имеется ли на сайте файл robots.txt, задайте в адресной строке /robots.txt сразу после названия домена. В случае когда этот файл отсутствует, роботы-поисковики обладают полным доступом к вашему сайту. При этом в выдаче поиска могут оказаться ссылки на админпанель и вся информация, которую следует скрыть от посторонних. В связи с этим выделяют ряд причин, по которым потребуется использование файла robots.txt:

  • На сайте есть контент, который вы хотите заблокировать от показа в поисковых системах, например, дубли страниц или результаты внутреннего поиска по сайту, личный кабинет пользователя или корзина покупателя.
  • Вы хотите точно настроить доступ к сайту для известных роботов.
  • Вы используете платные ссылки или рекламные объявления, требующие специальных инструкций для роботов.
  • Вы разрабатываете сайт в режиме реального времени, но пока не хотите, чтобы поисковые системы индексировали его.
  • Вы хотите сообщить поисковым роботам, где расположен файл навигации по сайту sitemap.

Каждая из этих ситуаций может быть исправлена разными способами, однако настройка файла robots.txt поможет реализовать их все сразу в одном месте, поскольку большинство веб-мастеров имеют доступ к сайту, необходимый для создания и использования файла robots.txt.

Привет! В данной статье пойдёт речь о том, как создать файл robots.txt для wordpress. Также узнаем, как настроить файл robots.txt.

Это очень важный файл для сайтов и блогов. Он показывает роботам поисковых систем, что и как нужно индексировать на Вашем блоге.

Этот тот самый файл, который нужно настроить одним из первых на блоге. Его отсутствие или пренебрежительное отношение к нему — это одна из главных ошибок блоггеров- новичков.

Как создать файл robots.txt для wordpress.

Файл robots.txt, так же, как и карта сайта sitemap.xml, предназначены для управления индексацией. Первым делом правильно пропишем в файле robots.txt правила для поисковиков. А затем добавим папку с файлом в корневой каталог. Делается это легко на раз два. И тогда робот будет подчиняться Вашим правилам. А именно, он поймет, что ему индексировать, а что не стоит. Вы сами пропишите эти правила. Безусловно, это повлияет на успешное продвижение сайта.

Нужно понимать, что не все файлы, находящиеся на блоге или в корневом каталоге нужно индексировать поисковыми системами. Разберем этот вопрос по- подробней. Корневой каталог это не что иное, как основная папка вашего сайта со всеми файлами, будь то видео аудио и картинки, то есть все до последнего файла, находящегося на Вашем блоге(его содержимое). В зависимости от того какой у Вас хостинг, это будет или httpdocs или public_html. Но суть одна. Запомните это!

Все блоги и сайты на wordpress имеют папки и файлы, обусловленные самим движком. Кто не знает что такое движок, поясняю. Движок- это конструктор хоста или хостинга. Или по другому, это система управления хостингом. Вот пример. Система управления хостингом TimeWeb — есть WordpRess. Другими словами -это огромный конструктор без которого Вы не сможете работать на хостинге. Конструкторы или движки бывают разные, но WordPress наиболее известный и популярный.

Поисковые роботы, зайдя на Ваш сайт будут индексировать все подряд.

Поэтому им нужно указать, что индексировать, а что не нужно. Теперь понимаете, для чего нам нужен файл robots.txt. А как запретить роботам индексацию, иначе поисковые роботы, зайдя на ваш ресурс, будут индексировать все, что попадется на их пути.

Дело в том, что лимит есть и у поисковых систем. Оставив без внимания настройку файла robots.txt Вы рискуете обрасти дублированным контентом и быть не проиндексированными там где это необходимо. Поисковики этого очень не любят и как следствие наложение фильтра на Ваш сайт или АГС. То есть Ваш сайт попадает в черный список неблагонадежных из за нерадивого хозяина.

Где появляются дубли страниц? Дублями страниц в wordpress в основном выступают рубрики, архивы и метки. Если их не закрывать от индекса, тогда их расплодится очень много и со стремительной скоростью. Чтобы этого не случилось для движка wordpress существует плагин поисковой оптимизации All In One SEO Pack. Он при правильной его настройке предотвращает все неприятности связанные с этим явлением как дубли.

Еще очень Важно!!! Если Вы добавляете в корень сайта (каталог) папки с файлами, в которых много внешних ссылок или скриптов, тогда нужно не забывать их обязательно закрывать от индексации в файле robots.txt. Читем дальше, как это сделать легко и просто.

Настройка robots.txt

Robots.txt это обычный файл txt он составляется в обычной программе блокнот или в текстовом редакторе notepad++ и включает несколько важных директив. Первая самая важная User-agent. Это попросту говоря обращение к поисковому роботу. Чтобы обратиться ко всем поисковым роботам, которые будут заходить к вам на блог необходимо в самом начале документа прописать эту фразу:

Директива Disallow это значит запретить, а директива Allow:/ разрешить

И так наш документ имеет такой вид:

Disallow:
Добавим к Disallow правый слэш «/»:

И документ выглядит так:

User-agent: *
Disallow: /

Это означает запрет всем поисковым системам индексировать Ваш сайт.

Но весь сайт запрещать индексировать не нужно, иначе, зачем нам такой сайт.

Поэтому внимательно прописываем запрет только тех папок, которые индексировать мы не хотим. Например, папка wp-admin

Тогда прописываем следующее:

User-agent: *
Disallow: /wp-admin

Друзья, я Вас долго не буду мучить и дам Вам правильный файл robots.txt для wordpress, рекомендуемый разработчиками. Но сначала дочитайте статью до конца.

А сейчас рассмотрим еще очень важную директиву Host. Эта директива Host -предназначена только для поисковика Яндекс. Дело в том, что это правило придумал сам Яндекс. Поисковая система Яндекс имеет большой вес в русскоязычном интернете и это явилось важным фактором или капризом. Но это должно выполняться и все без возражений и обсуждений.

Также Яндекс требует выделить отдельный блок для себя и выглядит он так:

User-agent: Yandex

Уясните это к сведению), что во избежание неправильной индексации блога или сайта, директива Host прописывается для Яндекса.

Она указывает на основное зеркало ресурса, то есть адрес по которому будет доступен Ваш сайт:

Другие поисковики не понимают директиву Host!

И так для Яндекса этот блок в файле robots.txt должен выглядеть так:

User-agent: Yandex Disallow: Host: www.sait.ru или User-agent: Yandex Disallow: Host: sait.ru

Рассмотрим последнюю директиву, которую включает правильный robots.txt для wordpress. Она имеет знакомое название, sitemap.

Это не что иное, как карта сайта для роботов или sitemap.xml У меня по этому поводу есть статья.

Эта важная директива Sitemap, которая указывает роботам на место, где расположена карта Вашего сайта. Она прописывается отдельно от предыдущих директив один раз. Ее понимают все поисковые роботы без исключения и такой главный робот как Google. Это выглядит так:

Мы тут рассмотрели основные директивы, которые нужно использовать в правильном robots.txt

Пример правильного файла robots.txt. У меня это так:

User-agent: *
Allow: /
Disallow: /jexr
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /category/*/*
Disallow: */comments
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /category/*/*
Disallow: */comments
Host: сайт
Sitemap: http://сайт/sitemap.xml

Смело копируйте, только впишите свое доменное имя.

Вот этот пункт, Disallow: /jexr/(который выделен желтым) вставляете если у Вас на блоге установлен плагин (J) ExR

Выводы:

Что необходимо скормить поисковым роботам в первую очередь для индексации- конечно это Ваш уникальный контент. Что Вы получаете?

Ваш блог на wordpress будет правильно и быстро индексироваться. И не одна Ваша статья не останется без внимания. Поисковые роботы не будут тратить время на не нужный контент.

Я изучала и сравнивала множество файлов robots.txt на разных блогах wordpress. Они все примерно одинаковы.

Как проверить и посмотреть, как выглядит robots.txt с другого ресурса, нужно прописать в строке браузера, после доменного имени через слеш (/) файл /robots.txt.

Пример: сайт/robots.txt

Важно! Имя файла должно быть всегда одинаковым! Это выглядит так:

robots.txt

Это Важно.

Никаких заглавных букв не должно быть. А на конце не забывайте писать "s". Смело копируйте файл robots.txt, который я Вам дала выше. Только не забудьте поменять мои данные на свои. И загрузите (robots.txt), в корневой каталог. Я это делаю через программу filezilla. Она проста и удобна. Как пользоваться и загружать файлы в корень сайта. Об этом прочитайте Здесь .

На этом все! Жду отзывы.

Здравствуйте, дорогие читатели! С вами проект «Анатомия Бизнеса» и вебмастер Александр. Мы продолжаем цикл статей мануала «Как создать сайт на WordPress и заработать на нем», и сегодня мы поговорим о том, как создать файл robots.txt для WordPress и зачем нужен данный файл.

В прошлых 16-и уроках мы рассмотрели огромное количество материала. Наш сайт практически готов для того, чтобы начать заполнять его интересным контентом и проводить SEO-оптимизацию.

Итак, давайте перейдем к делу!

Для чего сайту нужен файл robots.txt?

Основную ценность на нашем сайте будет представляет именно контент, но помимо него на сайте есть целая куча технических разделов или страниц, которые для поискового робота не является чем-то ценным.

К таким разделам можно отнести:
— админ. панель
— поиск
— возможно, Вы захотите закрыть от индексации комментарии
— или какие-то страницы-дубли, имеющие в своих урлах одни и те же символы

В общем, robots.txt предназначен для того, чтобы запретить поисковому роботу индексацию тех или иных страниц.
В свое время в понимания того, как работает robots txt, мне очень помогла эта картинка:

Как мы можем видеть, первым делом, когда поисковый робот заходит на сайт, он ищет именно этот Файл! После его анализа он понимает в какие директории ему нужно заходить, а в какие нет.

Многие начинающие веб мастера пренебрегают данным файлом, а зря! Т. к. от того насколько «чистой» будет индексация вашего сайта, зависит его позиции в поисковике.

Пример написания файла robots.txt для WordPress

Давайте теперь разбираться, как писать данный файл. Тут нет ничего сложного, для его написания нам достаточно открыть обычный текстовый редактор «блокнот» или можно воспользоваться профессиональным редактором типа notepad+.
Вводим в редактор следующие данные:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments

Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=

Sitemap: http://site.ru/sitemap.xml

А теперь давайте разбираться со всем этим.

Первое, на что нужно обратить внимание, так это на то, что файл разбит на два больших блока.
И в начале каждого блока стоит директория «User-agent», которая указывает для какого робота сделан данный блок.
У нас первый блок сделан для роботов Yandex, о чем свидетельствует данная строка: «User-agent: Yandex»

Второй блок говорит о том, что он для всех остальных роботов. На это указывает звездочка «User-agent: *».

Директория «Disallow» устанавливает, какие именно разделы запрещены к индексации.

Теперь разберем по разделам:

/wp-admin - запрет на индексацию админ. панели

/wp-includes - запрет на индексацию системных папок движка WordPress

/wp-comments - запрет на индексацию комментариев

/wp-content/plugins - запрет на индексацию папки с плагинами для WordPress

/wp-content/themes - запрет на индексацию папки с темами для WordPress

/wp-login.php - запрет на индекс формы входа на сайт

/wp-register.php - закрываем от робота форму регистрации

*/feed - запрет на индекс RSS-фида блога

/cgi-bin - запрет на индекс каталога скриптов на сервере

*?s= — запрет на индексацию всех URL, которые содержат?s=

И в самом конце robots.txt показываем роботу, где находится файл sitemap.xml

Sitemap: http://site.ru/sitemap.xml

После того как файл готов, сохраняем его в корневой директории сайта.

Как закрыть какие-то рубрики от индексации?

Например, Вы не хотите показывать какую-то рубрику на Вашем сайте для поисковых роботов. Причины на это могут быть совершенно разные. Например, Вы хотите, чтобы Ваш личный дневник читали только постоянные посетители сайта.

Первое, что нам нужно сделать, — это узнать URL данной рубрики. Скорее всего, он будет /moy-dnevnik.

Для того чтобы закрыть данную рубрику, нам достаточно добавить в нее следующую строку: Disallow: /moy-dnevnik

Robots.txt - когда ждать эффект?

Могу сказать из личной практики, что не стоит ожидать, что уже при следующем апдейте все закрытые Вами рубрики уйдут из индекса. Иногда этот процесс может занимать до двух месяцев. Просто запаситесь терпением.

Также необходимо учитывать, что роботы Google могут просто игнорировать данный файл, если сочтут, что страница уж очень уникальная и интересная.

О чем нужно помнить ВСЕГДА!

Конечно, техническая составляющая является не маловажной, но в первую очередь нужно делать акцент на полезный и интересный контент, за которым будут возвращаться постоянные читатели Вашего проекта! Именно ставка на качество сделает Ваш ресурс востребованным и популярным

Успехов Вам в интернет-бизнесе

Здравствуйте!

Сегодня я покажу вам и расскажу как пользоваться файлом robots.txt . Что это такое? файл robots.txt позволит вам скрывать от индексации некоторые разделы или отдельные страницы вашего сайта, чтобы они не попадали в поиск Google и Yandex. Для чего это нужно? поисковые системы индексируют всё содержимое вашего сайта без разбора, поэтому если вы хотите скрыть какую-либо конфиденциальную информацию,

например личные данные ваших пользователей, переписка, счета и т.д., то вам нужно будет самостоятельно добавить адреса страниц с данными в файл robots.txt. Что ещё можно сделать с помощью файла robots.txt ? если у вашего сайта есть зеркала, то в их файлах robots.txt можно указать на главный сайт, чтобы индексировался только он.

Видео о файле robots.txt

Настраивать файл robots.txt мы будем с помощью плагина – . Установить данный плагин вы сможете прямо из своей админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый , введите название плагина в форму поиска, нажмите Enter, установите и активируйте открывшийся плагин.

Чтобы попасть на страницу настроек плагина, перейдите по вкладке: . Данная вкладка появится у вас в меню админ-панели wordpress, после того как вы установите и активируете плагин.

На странице настройки файла robots.txt , вы можете прочитать и посмотреть видео о том, что такое файл robots.txt. Так же здесь можно проверить файл, нажав на вкладку – , если файл откроется в браузере значит всё нормально.

Если на вашем сайте нет файла robots.txt, значит сейчас мы добавим его в специальное окно, которое находится на странице настроек плагина. Итак, конечно же создавать файл robots.txt необходимо исходя из предпочтений каждого отдельного сайта, но я вам предложу готовый вид файла, который подойдёт любому сайту на wordpress. В случае чего вы сможете с лёгкостью добавить в файл свои дополнения.

Вот как выглядит файл robots.txt для моего сайта.

Сейчас я объясню вам, что всё это значит.

В общем, если не вдаваться в подробности, то я запретил поисковикам индексировать: темы и плагины wordpress, кэш сайта, то есть дубликаты страниц, feed – это rss лента с записями. Теперь объясню зачем это делать, этим самым мы облегчаем работу поискового робота, чтобы он не индексировал лишний груз сайта, темы, плагины, кэш, фид, всё это можно не индексировать, в поиске вся эта информация просто не нужна.

Так же в файле указано – разрешить поисковикам индексировать все загруженные медиафайлы на вашем сайте. Такой файл robots.txt подойдёт любому сайту на wordpress.

Смотрите , к примеру вы хотите не индексировать ещё какую-либо отдельную страницу или запись на вашем сайте, тогда файл будет выглядеть следующим образом:

Поняли да , то есть добавляете только название страницы из её ссылки и впереди ставите флэш /, а для записи, название записи.html и впереди флэш /.

Итак, скачать готовый файл robots.txt можно – Только Внимание! ! ! укажите свой адрес сайта вместо моего.

После того как вы скачаете файл, у вас будет два варианта:

  1. Загрузить файл в свою корневую директорию на хостинге. (в этом случае плагин можно не устанавливать)
  2. Скопировать содержание файла и вставить в специальное окно на странице настройки плагина DL Robots.txt

Если вы посетили эту страницу тогда вас интересует где находится файл robots.txt в WordPress. С данной проблемой обычно сталкиваются . После прочтения короткой статьи вы выясните все что вам нужно знать.

По большому счету я могу написать просто «Файл расположен в корневой директории сайта». Увы этот ответ удовлетворит лишь часть посетителей, не все знают о «корнях» и тому подобном. По этому давайте все разберем, как в первый раз.

Как проверить существует ли файл robots.txt

Сперва проверим есть ли нужный файл вообще, для этого вписываем в строке браузера адрес-сайта.ru/robots.txt, если документ откроется, и вы увидите текст на английском, примерно такого рода:

Значит все в порядке, файл существует, в противном случае, скорее всего, отсутствует, или находиться не там где нужно, его потребуется создать.

Давайте для начала определимся как вам удобно работать с файлами сайта. Для этого существует несколько способов. Первый не очень удобный, но зато более привычен для любителей Windows - это программа на вашем хостинге, с помощью которой вы создаете и удаляете файлы и папки своего сайта. Выглядеть это все дело должно примерно так:

В папке WWW/ВАШ-САЙТ должны быть папки wp-includes, wp-content, wp-admin ниже них расположен нужный вам файл роботс. Один способ разобрали, можно идти к следующему.