Сегодня коснёмся ошибок сайта в вебмастере Яндекса, которые он последнее время щедро раздаёт администраторам площадок: тема весьма обширна и бесконечна в плане разговоров, ибо нет никаких существенных пояснений от, скажем так, законодателей ПС Яндекс, а значит — предполагать можно бесконечно.
Ниже рассмотрим примеры подсказок в вебмастере о фатальных ошибках: когда, мол…
…по мнению алгоритма пс Яндекс, наш сайт угрожает безопасности пользователей… или практически прямое обвинение администрации сайта в спаме, бесполезности ресурса (его контента) для соискателей в интернете и пр. и пр. о чём весьма расплывчато говорят сообщения в инструментарии Яндекса.
Занавес открывается:
вебмастер поисковой системы Яндекс — ошибки сайта
-
или веб мастер Яндекс прав, указывая на ошибки?
-
закрываем от индексации странички с не уникальным контентом
(мне пришло в течение недели несколько писем, в которых коллеги-новички просили разъяснить (личную) ситуацию в веб мастере Яндекс.
Должен к своей величайшей радости доложить, что и на одном из моих подопечных сайтов наблюдается описанная проблема. Сайт достаточно новый, администрация пока что относит себя к разряду новичков, а посему я и помогаю иногда…
Так вот, чтоб не говорить много раз одно и то же, решил написать такой коротенький пост размышление…
Однажды мы заходим в святая святых вебмастера и наблюдаем следующую картину: (к слову, это предупреждение относится Яндексом к фатальным ошибкам)
Если кликнуть по восклицательному значку, то нас перебросит на страничку с более подробными описаниями проблемы и пр.
Впрочем, вот симпатичные фразеологизмы, сформулированные «веб мастером Я. в помощь «наказанному владельцу сайта»:
Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.
Позиции сайта в результатах поиска понижены
Сайт не соответствует основным принципам (ссылка подсказки //yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.xml), по которым наши алгоритмы оценивают его качество: содержит бесполезный контент, чрезмерное количество рекламы, поисковый спам и т. п.
Обычно ограничения снимаются в течение месяца после устранения нарушения.
//yandex.ru/support/webmaster-troubleshooting/lowqualitysite.xml
И ещё одно пояснение владельцу сайта, в котором говорится, что на всё про всё (т.е на исправление вебмастером ошибок, и переиндексацию сайта роботом) дан месяц до следующего нажатия на кнопку.
Следующая возможность отправить сигнал об исправлении появится через 29 дней
Что получается? …если мы, скажем, исправили свои ошибки, которые, к слову сказать, многим владельцам не ясны, у нас есть возможность отправить запрос на перерассмотрение нашего сайта на ошибки.
В течение месяца, ПС обещается разрешить проблему и устранить предупреждения!! если ошибки устранены.
Мне подумалось вот о чём: (конечно же, это сугубо личное мнение)
Картина такова: есть сайт. На сайте обнаружены грубые ошибки (которые констатируются Я. как фатальные — в русском языке, это понятие попросту значит — кирдык)). А слово «кирдык» все знают что такое — конец! Естественно, начинающий админ горько переживает! А, главное, не знает как решить эти задачи ошибок: с чем я вынужден согласиться — подобные пояснения, крайнее свинство со стороны ПС.
Я не знаю! кто составлял такие пояснения. На мой взгляд, должны быть хотя бы более менее ясные указания на ошибки. Далее…
Особенно забавляет вот что: предположим, сайт кем-то изначально создавался как ГС! — для продажи ссылок, спама и прочей фигни… Авторы сего сайта это прекрасно понимают и им откровенно по болту все эти предупреждения в вебмастере.
Но вот когда такие ласковые напоминания об ошибках приходят добропорядочному новичку (и пусть он не всё ещё понимает в веб разработках… путь совершает какие-то ошибки: он ведь на то и новичок) — тогда подобные предупреждения звучат как-то не по-человечески!
Владелец сайта очень переживает… нервничает… а некоторые (есть и такие) в итоге бросают ведение блогов/сайтов…
Хочется задать сакраментальный вопрос: с кем останется ПС?? …хотя, вопрос мой, конечно, так себе…
Ну, ладно…
Теперь, со своей стороны, заступлюсь и за поисковые системы, ибо — те всего-то машины; а этакие неосторожные по отношению к психике ближнего формулировки составляют люди:
к оглавлению
или веб мастер Яндекс прав, указывая на ошибки?
В сети интернет миллиарды сайтов… колоссальное количество!
Давайте зададимся таким вопросом: вот как, скажите, градировать… разделять машинам (ПС роботам) наши сайты на «хорошие» и «плохие»?
Правильно! весьма сложный вопрос. К тому же, мы по сути находимся пока ещё у истоков развития индустрии интернета! Что там времени-то прошло от великого начала…
Машины при всей своей «памяти» пока ещё не обладают разумом. И нам с вами, новичкам, думается, стоит это понимать.
И, как это ни прискорбно понимать новичку, порою (я бы даже сказал — зачастую) сам автор сайта виноват в наложении подобных санкций, предупреждений.
Если указки ПС типа: заспамленности, опасности для пользователей можно отнести к разряду древней софистики… то бесполезность контента имеет место быть!!
Заспамленность и, в какой-то мере, опасность видны визуально, и не требуют для выявления каких-то особых знаний… Прилежный админ может всё это запросто исправить.
…тогда как многие из владельцев сайтов ни в какую не хотят понять, что перекопирование материала к себе на сайт с чужих ресурсов (частично, или полностью) расценивается поисковиками как воровство.!.
к тому же: многие seoшники утверждают, будто б можно своровать у самого себя и получить за энто по шапке сайта: именно поэтому и закрывают от индексации всякие странички категорий или тегов от поисковиков, тем самым исключая дублирование контента.
Я лично, к этим убеждениям — дублирования самого себя в пределах домена)) — отношусь достаточно прохладно, ибо считать машины тупее себя, не этично) Но вполне допускаю, что в программах ПС присутствует алгоритм «воровства», копипасты… а в том числе повторение текстов, привязанных к домену.
Смею предположить, что именно вот к этой копипасте как раз и придираются поисковые машины (как бороться с дублями страниц, описано в статьях, пример кода и ссылки ниже).
И напоминаю, алгоритмы для ПС пишут люди!
Я видел много сайтов изнутри, и видел, как администратор пытается развить свой ресурс посредством банального перекопирования материала с чужой площадки… Я не хочу сказать, что этакие желания всегда движимы какими-то злостными побуждениями… нет! …скорее… частенько — наивностью… от халвы: т.е халявы))
Не забывайте об этом.
Следует всегда помнить о том, что поисковой робот не обладает и каплей разума! и скорее отнесёт невинное перикопирование к воровству, нежели… ну, вы понимаете…
Как эпилог:
Печатать на своём сайте можно всё, что угодно, но только тогда, когда он обретёт кое-какой вес в сети среди себе подобных… А пока наш с вами ресурс молод, всё-таки следует придерживаться определённых правил интернета в целом, пусть не всегда ясных и понятных, но это — правила, как ни крути:
1 — если копируете известный материал к себе на сайт, то:
а) предайте ему максимальную уникальность, или
б) закройте от индексации страничку с таким контентом.
…если приводите в тексте какую-то чужую объёмную цитату (ну или даже из своей какой-то опубликованной ранее статьи) от греха — закройте её в теги цитирования <blockquote>текст</blockquote>
к оглавлению
закрываем от индексации странички с не уникальным контентом
Закрыть странички от индексации просто, я об этом говорил множество раз…
подробнее описано, например, здесь (там далее по ссылкам). Или в этой статье рассказано об условных тегах (как раз на основе них и отрабатывается код ниже).
/** закроем от индексации странички или записи **/
function my_meta_catss_robots () {
if (is_category() or is_page('77') or is_single('77') )
{
echo "".'<meta name="robots" content="noindex,follow" />'."n";
} }
add_action('wp_head', 'my_meta_catss_robots');
/** закроем от индексации странички или записи **/В коде я дал примеры «закрытия рубрик» is_category, страничек сайта is_page и записей is_single — где просто (в скобках) указываете ID записи, страницы — у меня 77 …и пр…
Таким образом, после прописки показанного выше кода к себе на сервер, например, в файл функций functions.php активного шаблона, — в шапке сайта (в мета), если откроете исходный код Ctrl+U, будет автоматически сгенерирован метатег под кодовым понятием robots, а именно вот такая штука:
<meta name="robots" content="noindex,follow" />
…где noindex обозначает неиндексирование поисковым роботом контента (что нам и требуется). а follow — разрешает проход роботу по документу: робот будет видеть ссылки и переходить на полезные открытые документы: т.е страничка будет не бесполезна… в отличие от того, если её прикрыть напрочь ! типа: noindex,nofollow.
Рекомендую пользоваться именно этим способом закрытия страниц, но не банально в файле robots.txt.
А когда закрываете описанным выше способом — непременно — снимите ограничения в robots, коли таковые были прописаны!
Короче: на мой взгляд, зачастую все эти предупреждения вебмастера Яндекса и пр. — фигня! хотя, конечно, огорчают немного. И стоит немного потрудиться — всё будет здорово!
Чего я вам с великим удовольствием и желаю!
Однако !!
вот ещё что:
…думаю, вы и без меня знаете — и всё же, считаю долгом напомнить: иногда бывают ситуации, о которых и не подозреваешь!!
вроде бы всё хорошо, контент уникальный… но сайт никак не желает идти вверх к приличной посещаемости… и вдруг — бац!! — предупреждение от вебмастера Яндекса.
Настоятельно рекомендую, даже если у вас новенький домен, в течение нескольких месяцев проверять внешние ссылки (не ссылаются ли на ваш домен ресурсы спамеров: порно и пр. вредности в этом плане)) — всё это может обернуться неожиданными сюрпризами, которые очень и очень негативно скажутся на продвижении сайта: ну, хотя бы здесь тестируйте — //www.linkpad.ru/
Не ленитесь — проверяйте историю домена перед тем как запустить проект! Частенько бывает так, что всякие мошенники избавляются от своих отработанных доменов! а мы, ничегошеньки не подозревая, приобретаем…
Будьте внимательны к своему избранному адресу сайта (доменному имени) — ибо частенько бывает так, что, к примеру, Яндекс веб мастер обвиняет в заспамленности вашего ресурса. В подобных случаях оч. трудно доказать, что ты не свинья!!
Интересуйтесь подробнее жизнью своего сайта в интернете)) — ведь проще !! не доводить сайт/блог до состояния критических ошибок, нежели потом решать их!
Удачи!..
…А мне остаётся только раскланяться… и пожелать полезной работы в сети
Делитесь своими соображениями в комментариях…
На этом занавес представления опускается…
…на рампы пыль печальная ложится…
Online консультация по настройкам и созданию сайтов на WordPress
В кино: 1) настройка плагина Яндекс турбо.
2) связка данных плагина с вебмастером Яндекса.
3) настройки опции Турбо страницы в панели вебмастера…
…вопросы в комментариях — помогу, в чём дюжу…
mihalica.ru !
Михаил ATs — владелец блога запросто с Вордпресс — в сети нтернет давным-давно…
…веб разработчик студии ATs media: помогу в создании, раскрутке, развитии и целенаправленном сопровождении твоего ресурса в сети… — заказы, вопросы… разработка…
Михаил ATs — владелец блога запросто с Вордпресс — в сети нтернет давным-давно…
…веб разработчик студии ATs media: помогу в создании, раскрутке, развитии и целенаправленном сопровождении твоего ресурса в сети… — заказы, вопросы… разработка…
Добрый день уважаемые читатели блога pyatilistnik.info, открываю я сегодня веб кабинет Яндекса и обнаруживаю на против двух своих сайтов, восклицательный знак, зайдя в первый сайт я увидел фатальную ошибку с вот таким содержимым: «Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.» Давайте смотреть в чем причина и каким образом вы сможете это исправить.
Более детальный вид ошибки «Сайт может угрожать безопасности пользователя»
И так есть пациент, мой один из блогов (http://москва-россия.рф/) на нем я делюсь своим опытом проживания в Москве, где и куда там пойти и что и где посмотреть, если вы его еще не видели, то милости прошу. Захожу я в webmaster кабинет и вижу как и писал выше, предупреждение.
Зайдя в настройки самого сайта, я увидел следующую картину: 1 фатальная ошибка, щелкаем по ней, чтобы посмотреть детали.
В итоге видим, что обнаружены нарушения или проблемы с безопасностью, сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска
Справа есть ссылка «Подробнее». Тут вы уже детальнее видите, что по мнению Яндекса, его не устраивает в вашем ресурсе. В моем случае у меня «Малополезный контент, спам, избыток рекламы» и обратите внимание есть кнопка «Я все исправил» это в духе поисковой системы, не знаю за что вы там словили предупреждение, вам типа лучше знать, но как исправите нажмите кнопку.
Что делать в такой ситуации?
- Убедитесь, что у вас уникальный и полезный контент, если вы его писали сами, то это хорошо, но нужно проверить его, ниже я покажу как
- Убедитесь, что ваш сайт не подломали и не залили туда вредоносный код
- Убедитесь, чтобы у вас не было продажных ссылок на сайте
Проверка сайта на вирусы
Первое, что я вам советую сделать это просканировать ваш сайт на вирусы. Ниже список ресурсов, которые вам в этом помогут.
- http://www.sbup.com/audit/
- https://vms.drweb.ru/online/
- https://www.virustotal.com/ru/url/
- https://sitecheck.sucuri.net/
Как видите, каждый из ресурсов показал, что с безопасностью сайта и зараженностью, его вирусами, все в порядке, и этот пункт претензий можно отметать. Если же сканеры, что либо обнаружили, то вам необходимо найти вредоносный код и удалить его, для этого вам советую воспользоваться инструментом «Айболит».
Снять продажные ссылки
Если вы любитель приторговывать ссылками, то вы легко попадете под фильтры Яндекса. Советую их снять и начать играть по честному.
Проверка текстов
Во первых я вам советую, как только вы написали новую статью, перед ее публикацией, добавьте ее текст в «Оригинальные тексты» в вебмастере. Это покажет Яндексу, что вы первоисточник текста.
Далее с помощью сервиса http://www.content-watch.ru/text/, советую вам проверить, нет ли вашего текста на других сайтах. Сервис легко найдет, любителей тырить ваш контент, после проверки вы получите ссылки на эти страницы.
Уменьшение рекламы
Я попал именно под эту причину, у меня было в текстах по 6 рекламных объявлений и естественно не Яндекс директа. Сняв 3 из них, меня в итоге реабилитировали.
Как только вы все исправили, то жмите кнопку
Еще полезные моменты
В самом низу кабинете webmaster есть ссылка на обратную связь, где есть возможность создать тикет (обращение) в техническую поддержку поисковой системы, советую параллельно ей воспользоваться, быстрее может все решиться.
Так же советую воспользоваться веб архивом (http://web.archive.org/) и проверить не было ли левых сайтов ранее по вашему адресу, возможно прилетела зараза, из-за старой истории.
Надеюсь вам удалось очистить ваш сайт в глазах Яндекса и вы восстановили свою репутацию, позиции и доход, и возможно стоимость сайта.
Диагностика сайтов от Яндекс.Вебмастера: возможные проблемы, рекомендации, фатальные и критические ошибки
Яндекс.Вебмастер быстро обнаружит существующие проблемы и подскажет, как предотвратить возможные ошибки на вашем сайте. Оценка состояния и рекомендации по его улучшению доступны в разделе «Диагностика».
Что мешает работе сайта, что поможет ускорить его индексирование, есть ли угрозы безопасности пользователей — Вебмастер автоматически проверяет страницы более чем по 25 параметрам, сортируя проблемы по значимости:
· Фатальные и критичные: могут привести к исключению всего сайта или некоторых его страниц из результатов поиска. Такие ошибки лучше отслеживать и исправлять как можно скорее.
· Возможные: вероятно, из-за внесения этих изменений качество и скорость индексирования страниц сайта улучшатся.
· Рекомендации: в этом разделе появляются не отчеты об ошибках, а советы о поддержке и развитии сайта.
Информация обо всех найденных ошибках хранится в специальном разделе, пока вы их не исправите. Описание проблемы сопровождается подсказкой, как её устранить. Не забудьте сообщить Яндексу об изменениях на сайте, если в Вебмастере появилась кнопка «Я всё исправил».
Чтобы оперативно получать отчеты об ошибках и всегда быть в курсе проблем и рекомендаций, не забудьте настроить уведомления Вебмастера. Доступный для события вид уведомлений (пуши, письма или внутри сервиса) обозначен в соответствующей колонке — нажмите на значок для активации подписки. По умолчанию мы высылаем уведомления только о фатальных и критичных ситуациях.
P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен
С сентября 2017 года резко выросло количество оповещений в панели Вебмастера Яндекс о фатальной ошибке, причём часто под санкции попадают сайты, которым под фильтром по теории поискового заговора делать нечего. Что это за… откуда деньги у атамана и как избавиться от фильтра? Начнём с погружения в глубину проблемы:
Обнаружены нарушения или проблемы с безопасностью
Первопричина санкций
За последние года Платон Щукин и К не раз устраивал веб-мастерам Варфоломеевскую ночь. Начиналось всё с борьбы со ссылками и со временем переросло в нечто больше, требующее погружения в основы бизнеса.
Яндекс компания коммерческая и акционеры желают в лучшем случае получать прибыль, в худшем видеть нововведения со стороны руководства. Лучший случай тесно переплёлся с худшим, и под флагом борьбы за качество поисковой выдачи Yandex начал забирать 80% прибыли от создателей сайтов. Так как коммерческие проекты более богаты, то начали с них, убедительно объяснив без применения насилия, что благо для бизнеса – это Директ.
Ссылки на 90% ушли в небытие, коммерция низко наклонив голову ушла в Директ и наступило время информационных сайтов. Увести их в контекстную рекламу массово не получится, но дырки в бюджете надо закрыть, если не прибылью, то активностью (читать выше). Массовое появление в панели фатальной ошибки говорит о чистке поисковой выдачи. Какая тут прибыль? Всё просто – режутся сайты с небольшой и средней посещаемостью, им на смену приходят ущербные порталы типа fb.ru, которые сами едят со стола Директа и его кормят.
Формальная причина фатальной ошибки
Алгоритмы ранжирования Яши учитывают тысячи различных факторов, поэтому всегда найдётся таракан за дверью, которого владелец сайта не успел пришибить шлёпанцем. Боты снуют по сайтам и, если у ресурса нет крыши в виде большой посещаемости и рекламы Директа, то ресурс получает фатальную ошибку.
Помните «был бы человек, а статья найдётся»? Яндекс использует присказку на 100%, добавив в неё только выверт «чужой человек».
Итак, появляется фатальная ошибка в 90% случае из-за:
- Рекламы Google в первом окне,
- Большого % страниц с малым объёмом информации,
- Жизненной кармы веб-мастера,
- Просто так.
Если увидели в панели:
Позиции сайта в результатах поиска понижены
То грустный клоун пришёл и на вашу улицу.
Признаки санкций – падение трафика на 40-80% и откат позиций на 20-30 мест в глубины выдачи.
Лечимся
Тяжело лечиться, если врач на лету придумал тебе диагноз, но жизнь требует биения сердца, поэтому надо пытаться избавиться от фатальности Яши. Вот перечень действий, которые могут прийти на помощь при санкциях:
- Съём рекламы с первого экрана,
- Удаление или disallow страниц небольшого объёма (малополезных),
- Форматирование больших, но портяночных страниц,
- Здоровый сон.
В 2 случаях из 5 ошибка пропадает при переотправке сайта на проверку без каких-либо телодвижений. Ещё в одном случае помогает съём рекламы. На конец октября 2017 не могу сказать, что поможет в 2 оставшихся случаях, возможно, Яндекс сам поймёт, что если так рубить лес, то жить скоро придётся среди пней и откатит санкции, вернув веб-мастеру надежду.
Также советую не печалиться при фатальной ошибке, ведь жизнь много шире, чем потеря трети трафика и клейма санкционщика на лбу.
Уведомление о наличии фатальных проблем на сайте может появиться в Яндекс.Вебмастере в следующих случаях:
- Главная страница ресурса возвращает ошибку;
- Поисковому роботу не удалось подключиться к серверу из-за ошибки DNS;
- Проект закрыт для индексации в файле robots.txt;
- Обнаружены нарушения безопасности.
Любая из этих ошибок может привести к попаданию ресурса или отдельных страниц под фильтр и исключении их из поисковой выдачи. Поэтому отслеживать и устранять подобные нарушения необходимо как можно скорее. Разберём их по отдельности.
Фатальная проблема “Главная страница сайта возвращает ошибку”
Причины, по которым появляется такая ошибка, могут быть следующими:
- В HTML-коде страницы указан элемент noindex;
- В HTTP-заголовке указано значение “Content-length: 0”;
- Содержимое страницы пустое;
- После захода на страницу поисковый робот перенаправляется на другой адрес с помощью редиректа;
- IP-адрес поисковика был заблокирован хостинг-провайдером;
- Возник сбой в настройках сервера.
Подробное о каждой из этих причин мы рассказывали в статье “Главная страница сайта возвращает ошибку”.
Если вам удалось выявить причину возникновения проблемы и устранить её, проведите проверку ответа сервера, который получает поисковая система при обращении к главной странице. Для этого перейдите в Яндекс.Вебмастер и откройте раздел “Индексирование” → “Статистика обхода”.
Если страница отвечает на запрос робота кодом “200 ОК”, уведомление о фатальной ошибке пропадёт автоматически после следующего обхода поисковиком. Чтобы ускорить процесс, вы также можете отправить страницу на ручной переобход.
Фатальная проблема “Не удалось подключиться к серверу из-за ошибки DNS”
Ошибка означает, что при очередном посещении ресурса робот не получил IP-адрес сервера, на котором он находится.
IP-адрес присваивается хостинг-провайдером и указывается в панели управления DNS-записями. Обычно управление такой панелью делегируется доменному регистратору, хостинг-провайдеру либо почтовому сервису, на котором размещена почта для домена.
Посмотрите верно ли указан IP-адрес в DNS-записях, а также продлена ли аренда вашего домена и хостинга. После этого проверьте ответ сервера. Если ресурс отвечает кодом “200 ОК”, уведомление об ошибке в Яндекс.Вебмастере пропадёт в течение нескольких дней.
Фатальная проблема “Сайт закрыт для индексации в файле robots.txt”
Файл robots.txt содержит правила индексирования ресурса. Несколько раз в течение дня поисковый робот обращается к нему, чтобы обновить информацию о страницах и разделах, которые можно включать в поиск.
Поисковик не сможет проиндексировать ресурс, если в нём содержатся запрещающие настройки. Например, чтобы запретить Яндексу просмотр ресурса используется следующая директива: “User-agent: Yandex Disallow: /” или “User-agent: * Disallow: /”. Чтобы устранить ошибку, просто уберите запрет из текста документа. Подробнее о том как правильно настроить индексацию ресурса читайте в статье “Сайт закрыт к индексации в файле robots.txt”.
Фатальная ошибка “Обнаружены нарушения или проблемы с безопасностью”
К данной категории относятся любые нарушения на сайте, которые противоречат правилам поисковых систем:
- Использование SEO-текстов;
- Поисковый спам;
- Закупка внешних СЕО-ссылок;
- Дорвеи;
- Фишинг;
- Клоакинг и другие серые и чёрные методы продвижения.
Чтобы каким конкретно образом ресурс создаёт угрозу безопасности, перейдите в панель вебмастера, в разделе “Диагностика” → “Безопасность и нарушения” нажмите на значок вопросительного знака и кликните на название вердикта. После устранения нарушений нажмите на кнопку “Я всё исправил”. Если всё хорошо, ограничения с ресурса будут сняты в течение нескольких недель.
Если робот снова обнаружит нарушения, повторно кликнуть на кнопку “Я всё исправил” можно будет только через 3 месяца. Поэтому используйте её лишь в тех случаях, когда точно уверены, что все фатальные проблемы устранены. А лучше – доверьте это дело профессионалам.