Привет всем! Вообще, по плану хотел начать готовить статью о том, как быстро сделать сайт на WordPress, т.е. хотел описать самые основные моменты создания блога, какие основные настройки нужно сделать, какие плагины установить, только самое необходимое и без лишней воды. И по этой инструкции вы могли бы и для себя очень быстро сделать блог и на заказ делать блоги! Но, начал просматривать свои публикации на тему создания блогов, и оказывается, у меня еще очень многих статей не хватает по теме (вам ведь нужно будет давать линки на подробности какие-то, а к конкурентам отправлять, было бы глупо) поэтому статью откладываю до лучших времен. Так вот, одной из тем, причем важных тем, которых нету на моем блоге (как так я упустил и раньше не написал – ума не приложу…), это тема о важном файле для правильной индексации сайта — robots.txt. Сегодня покажу правильный файл robots.txt для WordPress, который работает у меня на сайте)
Файл robots.txt для WordPress
Файл robots.txt — это служебный файл сайта, который показывает поисковым роботам Яндекса и Гугла какие разделы, файлы, папки или страницы сайта индексировать, а какие нет.
В файле robots.txt также указываете основное зеркало сайта (с www или без www), в файле прописывается путь к карте сайта sitemap.xml (если у вас этой карты нету, обязательно сделайте) — словом, наличие правильного файла robots.txt для WordPress, это безусловно, очень важно для дальнейшего развития и продвижения вашего блога!
Правильный файл robots.txt ускоряет индексацию сайта и помогает избежать дублирование контента. Если у вас еще нету этого файла, ОБЯЗАТЕЛЬНО создайте прямо сейчас!
Подробнее о файле robots.txt — http://robotstxt.org.ru/
Правильный файл robots.txt для WordPress
Итак, в интернете очень много различных конфигураций файла роботс, я дам вам свой, пользуйтесь и не переживайте о том, что он какой-то не правильный
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Disallow: /code User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Host: aimblog.ru Sitemap: http://aimblog.ru/sitemap.xml.gz Sitemap: http://aimblog.ru/sitemap.xml
Не забудьте только изменить адрес сайта на ваш!
Как создать файл robots.txt для WordPress и загрузить на сайт
На рабочем столе (или в любом другом месте на своем компьютере) создаете новый текстовый файл, называете его robots.txt затем копируете в него все что выше (меняем только адрес сайта на свой), сохраняете и с помощью любого FTP-клиента загружаете в корневую директорию вашего сайта (Обычно это папка public_html) Как загрузить файл с помощью ftp-клиента filezilla
Как узнать чужой файл robots.txt
Делюсь с вами маленькой фишкой, (многие этого не знают, а это полезно знать, однако), вы можете легко посмотреть файл robots.txt установленный на любом сайте, и можете использовать его на своем блоге. Для этого просто после адреса сайта пропишите /robots.txt ну а дальше просто копируйте и используйте! Например, http://aimblog.ru/robots.txt
Еще раз повторяю — правильный файл robots.txt для WordPress это важный момент в продвижение вашего сайта, не упускайте это из вида!!!
Как закрыть сайт от индексации или отдельную запись/страницу — инструкция
Новость для вебмастеров и для тех кто пытается заработать в интернете деньги — сейчас нашел партнерку магазина (или это сервис такой) высококачественных копий VIP-телефонов (Vertu, Mobiado, Land Rover, Cartier, Louis Vuitton), а также гаджетов и бытовой техники, где можно зарабатывать с каждой продажи от 25%! Просто: регистрируетесь на сайте (регистрация) => в личном кабинете берете партнерские ссылки => рекламируете и продаете гаджеты => получаете хороший процент! А также можете себе или близким выбрать телефон Vertu или Айфон 5 и подарить на Новый год! В общем, после Нового года обязательно напишу об этой партнерке, будем вместе зарабатывать денежку
Ну а на сегодня все, удачи и до скорых! В следующей статье подведу итоги и поделюсь с вами планами на следующий год!
Пока!
Если у меня немного не такой «робот тхт», но индексация идее без проблем, то стоит ли ставить Ваш Валерий? site-auditor <- через эту прогу можно посмотреть "робот тхт" любого сайта, ну и вообще общую статистику сайта:)
Дмитрий, да если дублей нету, индексация хорошая, то и менять не зачем)
Дублей нет, я смотрел:) Уф, ну значит я спокоен:) А то дядя Яша очень капризный, шаг влево — расстрел:)
универсального роботса нет, есть только общие ключевые моменты в настройках по движку, а все остальное настраивается под себя.
У меня роботс более подробный, т.к. мой шаблон генерирует дубли по датам, пришлось добавлять некоторые правила, но на всякий случай сверила с вашим, вроде бы норм
Валерий вопрос не по теме: Если можно подскажите чем вы выводите случайные записи в конце статьи, скриптом или плагином? И вот сбоку у вас окошко выходит, а это чем? Я просто тоже хочу такое 
Светлана, WPixel прав, универсального файла robots.txt нет, я и в статье просто дал свой, который считаю оптимальным и правильным.
В конце поста, это обычный плагин Related Posts, а окошко всплывает — nrelate Flyout
Валерий спасибо за ответ, попробую себе окошко поставить, да и этот плагин, а то я скриптами записи вывожу, но мне не совсем нравится
Тоже проверила. Вопрос- надо ли закрывать архивы, если да то как? Например, сейчас год заканчивается. Я думаю, что надо. Ответьте, пожалуйста.
Я еще закрыла страницы контакты, обо мне и музыку на сайте. Наверное, это тоже правильно?
Да да, тоже про архивы интересует вопрос.
Я закрывала архивы прописывая такое правило: Disallow:/2011
Disallow:/2012
Disallow:/2013, но говорят что можно и проще.
Я у кого-то скопировала этот файл (не помню у кого.. у кого-то из «мэтров», давно уже), и сижу радуюсь. Сама ни капельки не разбираюсь в этом файле 😀 ну то есть, то что уже написано — понимаю, что закрыто. А вот добавить «отсебятины» — не знаю как. И как проверить наличие дублей? Яндекс меня плохенько индексирует.. Особенно, по сравнению с гуглом. Там около 100-200, а в гугле — уже за полторы тыщи перевалило. ОО
Спасибо за пост, все как в аптеке))))
Очень хорошая и нужная статья веде этот файл очень нужен для сайта который находится в корневой директории и мало кто уделяет ему внимание. На мой взгляд эта статья очень интересна и полезна.
Конечно статья полезная. Да и вообще сайт полезен, лично я многое почерпнул. Вот бы еще со стилями разобраться, а то даже уроки Попова не помогают, или может я не так смотрю? Кстати а было бы неплохо Валерий написать про это статью, хотя бы в ракурсе своих знаний, а глядя на Ваш сайт знаний хватает именно как это делается на ворпрессе в админке:)
А вообще стоит ли закрывать архивы?
На самом деле это тяжелое занятие. Я тут просто вплотную этим занялся, но сделал!
А надо ли добовлять второй файл роботс для гугла?
Познавательно! Жду новых постов с нетерпением!