Вопрос: Краулер выдал список страниц с ошибкой 404. Как узнать попали они в индекс или нет? Как правильно удалить их с сайта? Оставить как есть и ничего не делать? ПС критично реагирует на страницы с 404-й ошибкой?
Отвечает Айрат Рахимзянов, частный SEO-специалист, автор телеграм-канала «SEO-секретики».
Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».
Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.
Как узнать попали страницы в индекс или нет
Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.
Для Яндекса это оператор url:, а для Google site:.
Как это выглядит в Яндексе:
В Google:
Инструкция по проверке индексации в Топвизоре
Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.
Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р.
Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:
Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.
Запустите проверку:
Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.
Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём.
Инструкция по проверке индексации в Key Collector
Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.
Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.
Добавляем фразы, нажав на кнопку «Добавить фразы»:
Фразы необходимо добавлять в следующем формате:
Перед получением данных не забудьте скорректировать настройки программы:
Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:
Указываем нужный сайт и начинаем парсинг:
После получения данных видим такую картину:
В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.
Как удалить страницы с ошибкой 404 с сайта
Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.
Для этого выберите проект и нажмите на значок Аудита:
Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.
После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет:
Как реагирует ПС на страницы с 404-й ошибкой
ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске.
Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.
Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.
Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.
Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.
Если не знаете, у кого спросить, спросите у Топвизора. Мы найдём эксперта, который ответит на ваш вопрос.
Задать вопрос
Добрый день! Как удалить с сайта страницы, которые выдают ошибку 404? Пробовал делать перенаправление 301 с помощью плагина https://www.shop-script.ru/help/5627/301-redirect-… но он не работает, ничего не получается (инструкцию изучали). Пробовал делать редирект через «Сайт» https://support.webasyst.ru/5879/site-redirect/ — получается, работает, но я думаю, что это не совсем правильная переадресация. Гугл консоль обнаружил на сайте около 1000 удаленных страниц и с ними нужно что-то делать : либо переадресацию, либо удалять. Уже около недели пытаемся решить вопрос, но почему-то никто не знает( Как такое может быть?
Как эти страницы удалить или сделать правильную переадресацию? Может кто-то плагин толковый подскажет?
89.7К
просмотров
Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
5. Ручное удаление из панели для вебмастеров
Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.
Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/
Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.
Полезные ссылки по теме
5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.
Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.
Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.
Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.
Удалить ошибки 404 в Яндекс вебмастере со своего сайта. Например, раньше это было не очень удобно. Потому что ошибки находились в одном окне, а вкладка для подачи заявки на удаление — в другом месте. Это затрудняло работу блогерам. Нужны были большие затраты времени на рутинную работу. Однако, летом 2016 года все изменилось в лучшую сторону. Теперь все инструменты находятся в одном окне. В том числе: вкладки с адресами, подлежащими к удалению, так же как и сам инструмент удаления.
Однако принцип удаления в Яндекс вебмастере, остался прежним. Открываем одновременно две вкладки, но в одном и том же окне сервиса. Найдем в меню Яндекс вебмастера опцию «индексирование». Из выпадающего меню перейдем к «страницам в поиске».
Откроется новое окно со списком ссылок, выберем «исключенные». Здесь же справа находится «статус» исключенных страниц. Слева от слова «статус» есть синий значок, по нему кликнем. В выпадающем меню выберем ссылки на ошибки 404. Как на картинке ниже.
На этой вкладке выбираем последовательно адреса с ошибками 404 и копируем ссылку. В другом окне, для удаления, вставляем в строку адрес со скопированной ошибкой, нажимаем «удалить». После чего ссылка оказывается в очереди на удаление.
Удалить ошибки 404 в Яндекс вебмастере и другие адреса
Но можно удалять таким образом, и другие адреса. В том случае, если соблюдены условия. Например, запрет адреса файлом robots.txt или запрещающим метатегом robots.
Но это только наша заявка, потому что фактическое удаление ошибок 404 происходит значительно позже. Раньше были сообщения, что URL не проиндексирован. Сейчас мне такое сообщение не встречалось, потому что изменился фильтр Яндекса. Теперь показаны все типы ссылок сайта.
Такая открытость очень хороша для блогера. Чтобы удалить ошибки 404 в Яндекс вебмастере, если даже мы не со всеми моментами справляемся.
Такая же техника удаления применяется и для дублей. Яндекс их тоже индексирует, как и Гугл. Например, при активном удалении, ошибки должны исчезать через день. Однако этого не происходит на протяжении месяцев. Не будешь же постоянно обращаться в поддержку. Кстати, после обращения удаление не нужных страниц, сервис улучшает, но только на некоторое время.
Дополнительная функция
По просьбам многих авторов Яндекс вебмастер сделал такую функцию, где на одной странице можно сразу удалить много адресов. Создано это было еще в августе 2018 года, но я воспользовалась ею только сейчас, в мае 2019 года.
Вначале откроем раздел «индексирование», «страницы в поиске», » исключенные страницы». Затем выберем, например, запрещенные в noindex. Скопируем всю страницу со всеми ссылками вместе и перенесем в на страницу удаления. Нажмем кнопку «удалить», обещают произвести удаление в течение нескольких часов.
Например, 15 ошибок «запрещенных тегом noindex». Переношу копию в инструмент удалений. Убираю фразу «запрещено noindex», а адреса остаются. Но иногда ничего здесь выборочно не удаляю, а сразу делаю запрос на удаления всех ссылок, страницы
Они на самом деле удаляются быстро, но на другой день снова здесь. В результате, опять делаем все сначала, весьма настойчиво. Но на одном сайте у меня запрещенные адреса стали появляться в индексе совсем редко. Однако на другом избавления не наступает.
Возможное место для вашей рекламе! Приветствуется серьезный рекламодатель! Пишите на e-mail договоримся…
Удаление страниц не самая лучшая идея.
Сразу вопрос, почему?
Если коротко, то Вы также удаляете один или несколько URL-адресов. Как это, несколько?
А вот так, URL-адрес связан с категориями, тегами, да и картинкой, которая находилась в теле удаленной странице.
Этот старый URL-адрес при посещении обычно возвращает ошибку «404 not found». Что не является лучшей вещью для ваших пользователей или для Google.
Так какие еще варианты у вас есть?
Вы можете перенаправить удаленную страницу или использовать заголовок 410. Это может звучать довольно устрашающе, поэтому давайте рассмотрим ваш выбор и способы его реализации.
Перенаправить или удалить страницу полностью?
Первое, что вам нужно выяснить, есть ли у удаленного контента эквивалент где-то еще на вашем сайте.
Подумайте об этом так.
Если посетитель нажмет на ссылку, которую вы удалили, будет ли на вашем сайте еще одна страница, которая даст ему информацию, которую он искал?
Если это верно, вам следует перенаправить удаленный URL на альтернативную страницу.
В целом, я бы посоветовал вам перенаправить страницу, даже если от этого выиграет лишь небольшая часть посетителей.
Причина проста.
Отправка всех ваших посетителей на страницу «контент не найден 404», это тоже не очень хорошая альтернатива…
Создать редирект.
Существует несколько типов перенаправлений, но перенаправление 301 — это то, что называется постоянным перенаправлением. Это то, что вы должны использовать при перенаправлении URL удаленной страницы на другой URL.
Использование перенаправления 301 означает, что Google и другие поисковые системы назначат значение ссылки старого URL-адреса URL-адресу, на который вы перенаправили своих посетителей.
Redirect 301 /oldpage.html
Redirect 301 /oldpage2.html
Удаление контента полностью.
Если на вашем сайте действительно нет альтернативной страницы с такой информацией. Что тогда?
Однако, вам нужно спросить себя, лучше ли ее удалить или оставить или улучшить страницу. Но если вы абсолютно уверены, что хотите удалить ее. Тогда убедитесь, что вы отправили правильный заголовок HTTP.
А это заголовок «410 контент удален».
HTTP заголовки 404 и 410.
Разница между заголовком 404 и заголовком 410 проста. Заголовок 404 означает «контент не найден», 410 означает «контент удален» и, следовательно, более конкретен.
Если URL возвращает 410, Google точно знает, что вы удалили его специально, и поэтому ему следует удалить этот URL из индекса намного раньше.
Проблема с обслуживанием 410 удаленных заголовков контента заключается в том, что поддержка Google не является полной.
Конечно, он удалит страницы 410, из своего индекса быстрее, но Консоль поиска Google сообщит 410 с ошибками сканирования «Не найдено», как 404.
Народ, уже несколько раз жаловались в Google на это, но, к сожалению, им еще предстоит это исправить.
Побочный ущерб при удалении страницы.
Когда вы удаляете одну или несколько публикаций или страниц со своего сайта, часто возникает побочный ущерб.
Скажем, вы удалили все сообщения на вашем сайте, которые имеют определенный тег. Этот тег теперь пуст, URL-адрес его архива также будет равен 404.
Даже когда вы обрабатываете все URL-адреса тех сообщений, которые вы удалили должным образом (путем перенаправления или 410-й передачи), архив тегов все равно выдаст 404.
Поэтому вы должны убедиться, что разобраться с этим URL тоже.
Даже если вы не удалили все записи в теге, в архиве тегов теперь может быть 5, а не 12 сообщений. Это не самая большая проблема в мире, когда вы удаляете одну или две записи.
Но если вы имеете дело с проблемой Google Panda и удаляете много плохого контента, то создание 404 может занять ваш сайт вниз. Будьте осторожны!
Пример, у вас страницы с некоторым расширением (например,.drf). Ну так случилось! Хочу выпустить заголовок 410 через htaccess. Чтобы непопасть на снижения рангов в поисковике.
RewriteEngine On
RewriteBase /
RewriteRule .dfr$ — [NC,G,L]
RewriteRule ^index.php$ — [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.dfr$
RewriteRule . /index.php [L]
# END WordPress
RewriteRule ^.*.dfr$ — [R=410]
# Not sure if I really need this, but whatever
ErrorDocument 404 default
Однако, сразу Google на это не регирирует. Тормаза у них что ли? Удаление страниц не такая простая затея!
Удачи, Друзья!