Правильный файл robots.txt для WordPress. Как узнать чужой файл robots.txt

Привет всем! Вообще, по плану хотел начать готовить статью о том, как быстро сделать сайт на WordPress, т.е. хотел описать самые основные моменты создания блога, какие основные настройки нужно сделать, какие плагины установить, только самое необходимое и без лишней воды. И по этой инструкции вы могли бы и для себя очень быстро сделать блог и на заказ делать блоги! Но, начал просматривать свои публикации на тему создания блогов, и оказывается, у меня еще очень многих статей не хватает по теме (вам ведь нужно будет давать линки на подробности какие-то, а к конкурентам отправлять, было бы глупо) поэтому статью откладываю до лучших времен. Так вот, одной из тем, причем важных тем, которых нету на моем блоге (как так я упустил и раньше не написал – ума не приложу…), это тема о важном файле для правильной индексации сайта — robots.txt. Сегодня покажу правильный файл robots.txt для WordPress, который работает у меня на сайте)

Файл robots.txt для WordPress

Файл robots.txt — это служебный файл сайта, который показывает поисковым роботам Яндекса и Гугла какие разделы, файлы, папки или страницы сайта индексировать, а какие нет.

В файле robots.txt  также указываете основное зеркало сайта (с www или без www), в файле прописывается путь к карте сайта sitemap.xml (если у вас этой карты нету, обязательно сделайте) — словом, наличие правильного файла robots.txt для WordPress, это безусловно, очень важно для дальнейшего развития и продвижения вашего блога!

Правильный файл robots.txt ускоряет индексацию сайта и помогает избежать дублирование контента. Если у вас еще нету этого файла, ОБЯЗАТЕЛЬНО создайте прямо сейчас!

Подробнее о файле robots.txt — http://robotstxt.org.ru/

Правильный файл robots.txt для WordPress

Итак, в интернете очень много различных конфигураций файла роботс, я дам вам свой, пользуйтесь и не переживайте о том, что он какой-то не правильный

User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: */trackback
 Disallow: */*/trackback
 Disallow: */*/feed/*/
 Disallow: */feed
 Disallow: /*?*
 Disallow: /tag
 Disallow: /code

User-agent: Yandex
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: */trackback
 Disallow: */*/trackback
 Disallow: */*/feed/*/
 Disallow: */feed
 Disallow: /*?*
 Disallow: /tag
 Host: aimblog.ru
 Sitemap: http://aimblog.ru/sitemap.xml.gz
 Sitemap: http://aimblog.ru/sitemap.xml

Не забудьте только изменить адрес сайта на ваш!

Как создать файл robots.txt для WordPress и загрузить на сайт

На рабочем столе (или в любом другом месте на своем компьютере) создаете новый текстовый файл, называете его robots.txt затем копируете в него все что выше (меняем только адрес сайта на свой), сохраняете и с помощью любого FTP-клиента загружаете в корневую директорию вашего сайта (Обычно это папка public_html) Как загрузить файл с помощью ftp-клиента filezilla

Как узнать чужой файл robots.txt

Делюсь с вами маленькой фишкой, (многие этого не знают, а это полезно знать, однако), вы можете легко посмотреть файл robots.txt установленный на любом сайте, и можете использовать его на своем блоге. Для этого просто после адреса сайта пропишите /robots.txt ну а дальше просто копируйте и используйте! Например, http://aimblog.ru/robots.txt

Еще раз повторяю — правильный файл robots.txt для WordPress это важный момент в продвижение вашего сайта, не упускайте это из вида!!!

Как закрыть сайт от индексации или отдельную запись/страницу — инструкция

Новость для вебмастеров и для тех кто пытается заработать в интернете деньги — сейчас нашел партнерку магазина (или это сервис такой) высококачественных копий VIP-телефонов (Vertu, Mobiado, Land Rover, Cartier, Louis Vuitton), а также гаджетов и бытовой техники, где можно зарабатывать с каждой продажи от 25%! Просто: регистрируетесь на сайте  (регистрация) => в личном кабинете берете партнерские ссылки => рекламируете и продаете гаджеты => получаете хороший процент! А также можете себе или близким выбрать телефон Vertu или Айфон 5 и подарить на Новый год! В общем, после Нового года обязательно напишу об этой партнерке, будем вместе зарабатывать денежку

Ну а на сегодня все, удачи и до скорых! В следующей статье подведу итоги и поделюсь с вами планами на следующий год!

Пока!