Привет вебмастера-начинающие и те, кто на этом деле собаку съел. Сегодня урок для вебмастеров уровня «начинающий». Хочу показать как полностью закрыть сайт от индексации для поисковых систем. Еще расскажу как закрыть от индексации любую отдельную страницу или запись на сайте. Т.е. сделаем так, чтобы наш сайт поисковики не индексировали и наш сайт не показывался в выдачи (ну или одна конкретная страница). Да-да, иногда нужно не только «бороться» за ТОП (в чем вам поможет онлайн-сервис SeoPult), но бывают ситуации, когда нужно «спрятаться».
Зачем закрывать сайт от индексации? — например, вы купили домен, создали сайт, но у вас нету времени им заниматься, вы просто закрываете его для индексации, и ПС обходят его стороной. Когда настроите сайт, опубликуете несколько статей, тогда открываете его для индексации, добавляете в поисковые системы Яндекса и Гугла — сайт начинает индексироваться.
[sc:adsense850 ]
Или у вас есть сайт для различных экспериментов (тестирования разных плагинов, шаблонов, скриптов и т.д.), который также не должен появиться в выдачи. (К примеру, дубль моего блога сделан на поддомене, где я с ним провожу различные опыты. Где я изучаю различные свойства CSS и по другому издеваюсь над ним)
Или вы делаете свой первый сайт не на Денвере, а сразу на хостинге (что, кстати, всем и советую). Закрыли сайт, и колдуйте над ним сколько влезет 
Зачем закрывать отдельные страницы? — вариантов может быть масса: не уникальный контент, куча исходящих ссылок, какие нибудь скрипты, рекламные коды… и тому подобное…
В общем, смысл ясен, для чего нужно закрыть сайт от ПС.
Как полностью закрыть сайт от индексации
Закрыть сайт можно двумя способами.
1 способ: Закрываем сайт от индексации в robots.txt
В файле robots.txt прописывает этот код:
[php]
User-agent: *
Disallow: /
[/php]
Все, только эти две строчки. Сохраняем файл, загружаем в корневую папку сайта. Кто не знает что такое файл robots.txt, читаем статью: файл robots.txt для WordPress
2 способ: закрываем в админке WordPress
В админке WordPress → в меню → в параметрах → пункт «чтение» → «видимость для поисковых систем» поставить галочку «попросить поисковые системы не индексировать сайт» Сохранить изменения:
Если мне нужно закрыть сайт, то я делаю это и в админке WordPress, и в файле robots.txt
Как закрыть страницу (запись) сайта от индексации
Если вам нужно закрыть только какую-то одну страницу с сайта, например: my-site/stranica.html, то такое правило:
[php]
User-agent: *
Disallow: /stranica.html
[/php]
Для закрытия страниц и записей можно воспользоваться плагином Robots Meta. Плагин качается из админки блога, после установки и активации никаких настроек не требует. В текстовом редакторе WordPress появляется виджет, в котором можете выбрать пункт запретить страницу или запись к индексации.
Если вас интересует разработка и создание сайтов с интуитивно понятным интерфейсом и уникальным дизайном, плюс продвижение сайта в поисковых системах, то советую обратить внимание на веб студию «Юка».
На сегодня все.
Удачи!
✌️ Хочешь продолжить разговор после статьи?
В Telegram я делюсь всем, чего нет на блоге: быстрые мысли, мемы, хаос и ностальгия.
Подписаться на Telegram
К сожалению закрытие через роботс не дает 100% гарантии. Иногда робот может проиндексировать страницу, это на его усмотрение. Но бывает крайне редко. Идеальный вариант — это закрытие через мета теги роботс. Тут уже робот слушается беспрекословно:)
Все верно: Google пофиг на robots. Способ, который предложил Алаев работает на 100% для закрытия страниц от индекса _http://alaev.info/blog/post/4143
Т.е. если нужно закрыть весь сайт от индексации мета теги надо прописать в
head?А если нужно закрыть отдельную страницу/запись? Где прописывать мета теги? (если не пользоваться плагином Robots Meta)
Вот еще одна причина почему не пользуюсь All in SEO. В Yoast предусмотрены эти метатеги, и можно любую страницу закрыть при ее редактировании.
Так можно и плагин Robots Meta использовать. А если вообще без плагина, ручками где это прописывать? (для конкретной записи)
Ручками только в засовывать небольшой php скриптик, с проверкой по ID поста, и если проверка проходит успешно, тогда выводить нужные метатеги.
Так что пользуйся плагином:)
Блин у тебя в комментарий ни теги ни чего вставить не могу. ДАже через кнопку код, всеравно не втыкается. Вобщем код нужно в хеад вставить.
Кстати, я еще не читал, но говорят в обновленном All in SEO куча новых возможностей появилось
Возможно, но он мне с самого начала не понравился
Все верно, можно в нем закрыть отдельную запись или страницу — прописать NOINDEX, NOFOLLOW, а также NOODP, NOYDIR, чего раньше не было.
А вот у меня вопрос, может тупой, но ладно)))) если я вдруг надумаю поменять All in SEO на тот же Yoast, получается, что все теги с титлом и описанием пропадут? Или уже менять поздно? Да и надо ли вообще?)
Да вес пропадет и заново нужно будет делать. Лучше этого теперь не делать.
Верно ребята говорят, проверял на своем первом блоге — было закрыто все и вся один хрен гугла проиндексировал страницы
А я случайно закрыла в All in Seo страницы от индексирования, так меня Гугл выбросил из поиска за полтора дня все страницы. Яндекс «опомнился» через неделю, полторы примерно, когда я уже снова все перенастроила.
Ну тут надо быть окуратнее:)
Роботс не так уж и просто прописать. Для гугла и яндекса нужно отдельно прописывать правила скана сайта. Зачастую нужно закрывать отдельно шаблоны страниц, что гарантирует эффективность!
Оффтоп: как подсветку синтаксиса настроить чтобы не было бордюра, как у тебя. А то возникает линия прокрутки и т.д.
Миша,
не совсем понял, о чем вы?
я про подсветку синтаксиса от http://alexgorbatchev.com/SyntaxHighlighter/, тут вы отметили этот пример:
User-agent: *Disallow: /stranica.html
он не имеет рамки, которая есть после установки по умолчанию.
Хотел спросить где можно исправить в файлах установки
Валера, вопрос не в тему статьи. У тебя под каждым заголовком стоит сколько просмотров уже было записи. Это ты плагином сделал или нет?
Валерий, остальные знатоки интернета! Прошу, помогите мне. Я внимательно прочла статью, будто бы понятны действия, которые необходимо проводить. Но никак не могу понять, а как узнать, нужно или не нужно мне проводить индексацию? Разве это плохо, что индексируют? А если надо ограничить индексацию, то как узнать, когда индексации уже достаточно? И об индексации отдельных страниц тоже не совсем понятно. Ну когда эксперименты проводят, это еще понятно, а остальные случаи? И о ссылках, когда их уже много становится? Или их мало? Какие-то границы есть? И как вы узнаете, что яндекс или гугл довольны, о роботах говорите, как о живых существах? Для меня это непостижимо.
Главный смысл — чтобы роботы видели и индексировали ту информацию (файлы) на вашем сайте, которую вы хотите чтобы увидели люди. Все остальное нужно запрещать индексировать, это рабочие файлы cms вашего сайта. Они же не нужны читателям и поисковой системе.
http://robotstxt.org.ru/ — здесь полная информация по роботам
Михаил, большое спасибо за ответ. Буду разбираться.
Валерий, прошло почти три месяца после моего последнего комментария на этом блоге. Я уже спасибо опытным блогерам, кое-чему немного научилась. Но вот недавно Александр Борисов сделал очередное свое открытие и сразу же рассказал своим подписчикам. А мы — своим знакомым. Валерий, ты почитай его две последних статьи. И он там говорит о том, как многие ошибались и он тоже, закрывая все в роботсе. Не буду пересказывать, просто пойди и прочитай. Ты писал отвечая мне, что поставил редирект, чтобы избежать replytocom, но это отмечает и Александр, как дополнительную меру. Все гораздо серьезней. Я сейчас изучаю все это. Но на его сайте более 700 посетителей и все они подтверждают, что нашли все проблемы, которые обнаружил Александр, и благодарны ему. Пусть и твои подписчики пойдут прочитают материал и проверят свои сайты. Особенно те, кто посыпал его грязью. Был бы он плохой, он не поделился бы своими исследованиями.
Валентина, у борисова цель одна — продать курс. И еще, может быть хватит борисова пиарить на моем блоге. Делайте как он говорит, ради бога.
Пасиб! Пока прикрыл один из новых сайтиков. Потом открою.
Как закрыть от индексации одну из рубрик и все посты которые находятся в ней?
Да не обращают поисковики на это внимание уже давно…. к сожалению