Файл robots.txt создан специально для поисковых систем. Он им указывает, что на сайте можно показывать в поиске, а что нет. Это позволяет нацелить поисковую систему на выдачу “нужного” контента. Например, незачем, чтобы в поиске вылетали страницы админки вашего сайта. Поэтому очень важно настроить robots.txt правильно.
Отсутствие robots.txt – мусор в поисковой выдаче.
Сейчас мы расскажем, как просто решить задачу.
Правильный и рабочий robots.txt для WordPress: 3 способа
Рассмотрим 3 метода создания правильного файла robots.txt.
Способ 1. Плагин Clearfy Pro
Самый быстрый из всех способ — это премиум-плагин Clearfy Pro.
Для автоматического создания “правильного” файла нужно активировать всего одну опцию:
Все его инструкции разработчики обновляют по самым новым требованиям поисковых систем.
Кроме того, этот плагин улучшает Ваш сайт еще по 50 пунктам.
- Очищает исходный код от мусора, минифицирует (сжимает) код для быстрой загрузки
- Удаляет ненужные и вредные внешние ссылки
- Удаляет дубли страниц, которые так не любят поисковые системы
- Улучшает SEO на сайте
- Усиливает защиту сайта от злоумышленников
- Защита от копирования контента
- и многое другое
Плагин платный, но стоит всего 970 рублей на 1 домен и 1940 неограниченная лицензия. То есть Вы можете установить его на любое количество Ваших сайтов. Смешные деньги за тот мощный функционал, который выдает плагин.
И что важно ⚠️ Вы платите один раз — никаких регулярных платежей. Вы получаете неограниченную поддержку (можете написать ребятам по любому вопросу) и обновления плагина на всю жизнь.
Кроме того в плагине Clearfy Pro есть такие крутые фишки, которые заменяют еще 4 плагина:
Бонус! 👍 Для пользователей нашего сервиса мы подготовили приятный бонус — промокод со скидкой 15%. Просто перейдите по ссылке ниже для его активации. Стоимость плагина упадет до 825 рублей за один домен и 1649 рублей за неограниченную лицензию.
Clearfy Pro быстро установить и активировать, моментально улучшает сайт по 50 пунктам, очищает код сайта, удаляет дубли страниц, усиливает защиту, улучшает SEO. Заменяет собой не один десяток плагинов.
Способ 2. Создание вручную
Файл можно создать вручную и поместить в корневом каталоге сайта.
Пример правильного robots.txt:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Host: site.ru
Sitemap: https://site.ru/sitemap_index.xml
site.ru замените на название своего домена.
Без дополнительных плагинов.
Сложнее создавать вручную. Нужно использовать FTP-клиент или файловый менеджер на хостинге.
Способ 3. Плагин Virtual Robots.txt
Вы можете установить плагин Virtual Robots.txt из каталога wordpress.org. После активации он автоматически создаст виртуальный файл.
Быстрая установка и активация.
Решает всего одну задачу. Нужно устанавливать очередной плагин. Нет гарантий, что имеет “правильные” инструкции для поисковых систем.