89.7К
просмотров
Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
5. Ручное удаление из панели для вебмастеров
Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.
Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/
Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.
Полезные ссылки по теме
5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.
Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.
Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.
Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.
Вопрос: Краулер выдал список страниц с ошибкой 404. Как узнать попали они в индекс или нет? Как правильно удалить их с сайта? Оставить как есть и ничего не делать? ПС критично реагирует на страницы с 404-й ошибкой?
Отвечает Айрат Рахимзянов, частный SEO-специалист, автор телеграм-канала «SEO-секретики».
Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».
Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.
Как узнать попали страницы в индекс или нет
Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.
Для Яндекса это оператор url:, а для Google site:.
Как это выглядит в Яндексе:
В Google:
Инструкция по проверке индексации в Топвизоре
Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.
Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р.
Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:
Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.
Запустите проверку:
Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.
Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём.
Инструкция по проверке индексации в Key Collector
Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.
Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.
Добавляем фразы, нажав на кнопку «Добавить фразы»:
Фразы необходимо добавлять в следующем формате:
Перед получением данных не забудьте скорректировать настройки программы:
Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:
Указываем нужный сайт и начинаем парсинг:
После получения данных видим такую картину:
В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.
Как удалить страницы с ошибкой 404 с сайта
Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.
Для этого выберите проект и нажмите на значок Аудита:
Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.
После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет:
Как реагирует ПС на страницы с 404-й ошибкой
ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске.
Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.
Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.
Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.
Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.
Если не знаете, у кого спросить, спросите у Топвизора. Мы найдём эксперта, который ответит на ваш вопрос.
Задать вопрос
Ошибка 404 — страница не найдена (error 404 page not found)
Ошибка 404 (Error 404) – это кодовый заголовок ответа HTTP браузеру о статусе HTML-документа, который сообщает, что сервер не обнаружил запрошенную программой-клиентом веб-страницу. Цифровой код «404», как правило, сопровождается сообщением «Страница не найдена» («Not Found»), реже – подробным объяснением причины возникновения ошибки.
Код статуса обозначается тремя цифрами в определенной последовательности:
- первая указывает на класс состояния. В данном случае «4хх» говорит об ошибке браузера (Client Error) – неправильно вбитом урле сайта в поле адресной строки либо отсутствии страницы на сервере;
- вторая – «0» – подразумевает ошибку синтаксиса протокола, принадлежность к группе ошибок «40х»;
- третья цифра в статус-коде «404» конкретизирует ошибку клиента – документ по указанному адресу не найден.
Иными словами, ошибка 404 сообщает пользователю, что сервер обнаружен, но разыскать запрашиваемую страницу не удалось, нет информации об указанной в браузере странице.
Национальные домены России со скидкой — домен RU, домен РФ.
Почему возникает ошибка 404, что означает
Подоплеки появления ошибки 404 выделяют разные. Она возникает в тех случаях, когда:
- посетитель неверно ввел адрес веб-ресурса;
- URL страницы переписали, но битая ссылка осталась на сторонних ресурсах либо в закладках браузера;
- имя файла на сервере и в коде не совпадают;
- страницу переместили или вовсе удалили с сайта.
В редких случаях в качестве исключения сообщение «Ошибка 404» появляется, когда сервер работает некорректно, ресурс атакован вирусом.
Как исправить 404 ошибку на чужом сайте
Для пользователей, которые столкнулись с этим явлением на чужом сайте, руководство к действию следующее:
- Проверить url в адресной строке на наличие опечаток, попробовать ввести адрес заново.
- Перезагрузить не обнаруженную страницу.
- Вернуться на предыдущую страницу и снова совершить попытку зайти на нужную.
Сервисы, помогающие найти и устранить 404 ошибки
На своем сайте вебмастер использует несколько методов, чтобы определить несуществующие страницы, битые ссылки.
Google Webmasters (консоль для вебмастеров гугл)
В диагностике применяют инструменты для вебмастеров от гугл. Для этого:
- Переходят в панель инструментов.
- Выбирают адрес сайта.
- В левом поле находят строку «Сканирование» и раскрывают список.
- В списке выбирают опцию «Ошибки сканирования».
- В правом поле под заголовком «Ошибки URL» выбирают закладку «ПК».
- Уровнем ниже в закладке «Не найдено» будет указано количество страниц с ошибкой 404.
- Далее следует развернутый список тех страниц, на которых обнаружили ошибку.
- Отредактировав ошибки, страницы отмечают чекером.
- Жмут на кнопку «Отметить как исправленные».
Яндекс.Вебмастер
Подобным образом пользуются сервисом Яндекс.Вебмастер. Для анализа выполняют такие действия:
- На главной странице выбирают опцию «Добавить сайт».
- В появившейся строке вводят URL ресурса.
- После добавления в левом поле выбирают в меню строку «Индексирование сайта»(Индексация сайта Яндексом может длиться несколько недель, метод подходит, если сайт уже добавлен и нужно найти ошибки 404).
- Из выпавшего списка выбирают опцию «Исключенные страницы».
- Результаты анализа размещаются ниже в виде списка несуществующих страниц.
Xenu’s Link Sleuth
Кроме популярных онлайн-сервисов проверить сайт на наличие битых ссылок возможно с использованием программ. С этой целью применяют бесплатную программу Xenu’s Link Sleuth. Вместе с битыми ссылками Xenu находит страницы, на которых подобные линки сохранились. Порядок действий следующий:
- На панели меню выбирают кнопку «File».
- В открывшемся списке нажимают «Check URL».
- В верхней строке появившегося окна вводят домен.
- Когда сайт просканировался, в результатах красным цветом выделяются адреса страниц с ошибкой и статусом «not found».
- Чтобы выяснить, где размещаются ссылки на ненайденные страницы, красные линки выделяют, щелкают по ним правой клавишей мыши и выбирают операцию «URL properties».
После того, как Вы нашли 404 ошибки — их нужно устранить. Для этого следует или поправить битые ссылки (в случае опечатки), или настроить перенаправления (в случае, если страница была перемещена по другому адресу).
На нашем хостинге страницы Вашего ресурса не потеряются! Стоимость виртуального хостинга сайтов.
Влияние ошибки 404 на SEO
Важно понимать, что битые ссылки, которые направляют на страницу с ошибкой 404, плохо сказываются на ранжировании сайта в яндексе и гугле. В процессе реорганизации структуры веб-ресурса либо удаления потерявших актуальность документов важно учитывать тот момент, что содержавшие их страницы ранее были проиндексированы поисковыми роботами. Велика вероятность, что в дальнейшем машина выдаст несуществующую страницу в результате поискового запроса.
Необходимо, чтобы подобные ошибки имели верный код заголовка «404» ответа HTTP о статусе страницы. Поисковые машины, переходя по ссылкам, в первую очередь анализируют код. Неверный заголовок ответа плохо отражается на продвижении сайта.
Сглаживание негатива от ошибки 404 на посетителя — оформление страницы картинками, ссылками
Наряду с этим нельзя забывать о реакции пользователя, который вместо страницы с нужной информацией получает пустой документ с сообщением об ошибке 404. Здесь необходимо побудить посетителя остаться на сайте и направить действия в нужном направлении. Для этого уделяют внимание:
- дизайну странице в стиле сайта;
- присутствию элементов навигации, которые помогут сориентироваться и перенаправить посетителя;
- наличию списка популярных страниц ресурса.
Такой подход – продуманно оформленная страница с подсказками – поможет задержать посетителя на сайте, а не уйти раз и навсегда в поисках нужной информации на другие ресурсы.
К оформлению этой страницы нужен ответственный подход, как и к дизайну главной, контактам и прочей полезной информации. Она не должна выглядеть примитивно и выбиваться из стиля сайта:
- если дизайн ресурса строгий, страница с сообщением об ошибке 404 также должна отражать основную концепцию сайта;
- для сайтов развлекательного направления применяют оригинальные привлекающие внимание картинки, мультимедийные элементы, Flash-анимацию – здесь уместно использовать юмор.
Чтобы посетитель не закрыл страницу сразу, посетителя отвлекают визуальными эффектами, добавляют интерактивные компоненты, чтобы пользователь заинтересовался. Творческие идеи по оформлению страницы помогут с нивелировать резко отрицательное впечатление пользователя, обратив разочарование ошибкой в приятный сюрприз. Однако рекомендуется избегать перегруженных тяжеловесных страниц – они должны загружаться с приемлемой скоростью.
Важно оставить хорошее впечатление после столкновения с ошибкой и завязать диалог с потенциальным клиентом, пользователем услуг сайта, покупателем. Как правило, посетитель покидает ресурс, если ошибка 404 заставляет растеряться, и он не знает, как действовать дальше.
Обернуть этот казус в пользу можно в том случае, если страницу сделают практичной, полезной. Чтобы направить посетителя в верном направлении, используют следующие приемы:
- Кроме стандартного сообщения, что страница не найдена, составляют доброжелательно обращение к пользователям, что введенный адрес набрали с ошибкой, и посоветовать перепроверить URL. Кроме того, пользователь найдет необходимую информацию, воспользовавшись поиском или вернувшись на главную страницу сайта.
- На странице с сообщением об ошибке оставляют нужные элементы навигации: главное меню, сайдбар, футер, поле для поиска.
- Оставляют ссылки на популярные страницы или последние записи сайта с предложением ознакомиться с ними.
- Полезно дать посетителю шанс сообщить об обнаруженной ошибке, битой ссылке нажатием одной кнопки. Это поможет веб-мастеру улучшить сайт, а пользователю даст почувствовать, что его мнение ценят, а действие – полезно для ресурса.
- Помимо прочего, здесь размещают координаты для обратной связи.
CMS WordPress и Ошибка 404
Ошибка 404 – распространенная проблема, которая возникает у неопытных пользователей CMS WordPress. Чаще при этом не ограничивается доступ к админ-панели, загружается главная страница, но при переходе по ссылкам на вложенные страницы появляется сообщение об ошибке 404. Такое случается, когда удаляют Htaccess файл либо некорректна работа правил перезаписи. Чтобы исправить положение, обновляют параметры постоянных ссылок.
Причинами появления сообщения об ошибке 404 служат также:
- изменение структуры ссылок;
- переименование страниц;
- битые ссылки.
Они возникают, когда существовавшая прежде страница удаляется, но ссылка на нее остается на посторонних сайтах. Проверить наличие мертвых ссылок ресурса на движке WordPress можно при помощи плагина Broken Link Checker. Для этого плагин устанавливают на сайт. Программу требуется активировать. После этого в консоли под кнопкой «Инструменты» в списке появляется опция «Неправильные ссылки». Статус страницы указывается в столбце «Состояние».
CMS Joomla и Ошибка 404
В CMS Joomla создана отдельная страница для сообщения об ошибке 404, дизайн которой одинаков во всех шаблонах. Поэтому потребуется уделить время, чтобы вписать оформление в общий вид сайта, добавить элементы навигации главного меню. Для этого:
- Заходят в административную панель.
- Создают новый материал с подходящим названием. Логичным выбором станет: «Ошибка 404. Страница не найдена».
- В материале пишут сообщение для пользователя с разъяснением причин ошибки и рекомендациями что делать.
- При желании оставляют ссылки на иные разделы или поисковую строку.
Версии Joomla отличаются тонкостями в настройках страницы:
- в Joomla 2.5, 3.0 в настройках материала из списка под кнопкой «Категория» выбирают опцию «Uncategorised»;
- в версии Joomla 1.5 в списке «Раздел» и «Категория» из раскрывшегося перечня выбирают «Не указанно».
iPipe – надёжный хостинг-провайдер с опытом работы более 15 лет.
Мы предлагаем:
- Виртуальные серверы с NVMe SSD дисками от 299 руб/мес
- Безлимитный хостинг на SSD дисках от 142 руб/мес
- Выделенные серверы в наличии и под заказ
- Регистрацию доменов в более 350 зонах
Добрый день! Как удалить с сайта страницы, которые выдают ошибку 404? Пробовал делать перенаправление 301 с помощью плагина https://www.shop-script.ru/help/5627/301-redirect-… но он не работает, ничего не получается (инструкцию изучали). Пробовал делать редирект через «Сайт» https://support.webasyst.ru/5879/site-redirect/ — получается, работает, но я думаю, что это не совсем правильная переадресация. Гугл консоль обнаружил на сайте около 1000 удаленных страниц и с ними нужно что-то делать : либо переадресацию, либо удалять. Уже около недели пытаемся решить вопрос, но почему-то никто не знает( Как такое может быть?
Как эти страницы удалить или сделать правильную переадресацию? Может кто-то плагин толковый подскажет?
Возможное место для вашей рекламе! Приветствуется серьезный рекламодатель! Пишите на e-mail договоримся…
Удаление страниц не самая лучшая идея.
Сразу вопрос, почему?
Если коротко, то Вы также удаляете один или несколько URL-адресов. Как это, несколько?
А вот так, URL-адрес связан с категориями, тегами, да и картинкой, которая находилась в теле удаленной странице.
Этот старый URL-адрес при посещении обычно возвращает ошибку «404 not found». Что не является лучшей вещью для ваших пользователей или для Google.
Так какие еще варианты у вас есть?
Вы можете перенаправить удаленную страницу или использовать заголовок 410. Это может звучать довольно устрашающе, поэтому давайте рассмотрим ваш выбор и способы его реализации.
Перенаправить или удалить страницу полностью?
Первое, что вам нужно выяснить, есть ли у удаленного контента эквивалент где-то еще на вашем сайте.
Подумайте об этом так.
Если посетитель нажмет на ссылку, которую вы удалили, будет ли на вашем сайте еще одна страница, которая даст ему информацию, которую он искал?
Если это верно, вам следует перенаправить удаленный URL на альтернативную страницу.
В целом, я бы посоветовал вам перенаправить страницу, даже если от этого выиграет лишь небольшая часть посетителей.
Причина проста.
Отправка всех ваших посетителей на страницу «контент не найден 404», это тоже не очень хорошая альтернатива…
Создать редирект.
Существует несколько типов перенаправлений, но перенаправление 301 — это то, что называется постоянным перенаправлением. Это то, что вы должны использовать при перенаправлении URL удаленной страницы на другой URL.
Использование перенаправления 301 означает, что Google и другие поисковые системы назначат значение ссылки старого URL-адреса URL-адресу, на который вы перенаправили своих посетителей.
Redirect 301 /oldpage.html
Redirect 301 /oldpage2.html
Удаление контента полностью.
Если на вашем сайте действительно нет альтернативной страницы с такой информацией. Что тогда?
Однако, вам нужно спросить себя, лучше ли ее удалить или оставить или улучшить страницу. Но если вы абсолютно уверены, что хотите удалить ее. Тогда убедитесь, что вы отправили правильный заголовок HTTP.
А это заголовок «410 контент удален».
HTTP заголовки 404 и 410.
Разница между заголовком 404 и заголовком 410 проста. Заголовок 404 означает «контент не найден», 410 означает «контент удален» и, следовательно, более конкретен.
Если URL возвращает 410, Google точно знает, что вы удалили его специально, и поэтому ему следует удалить этот URL из индекса намного раньше.
Проблема с обслуживанием 410 удаленных заголовков контента заключается в том, что поддержка Google не является полной.
Конечно, он удалит страницы 410, из своего индекса быстрее, но Консоль поиска Google сообщит 410 с ошибками сканирования «Не найдено», как 404.
Народ, уже несколько раз жаловались в Google на это, но, к сожалению, им еще предстоит это исправить.
Побочный ущерб при удалении страницы.
Когда вы удаляете одну или несколько публикаций или страниц со своего сайта, часто возникает побочный ущерб.
Скажем, вы удалили все сообщения на вашем сайте, которые имеют определенный тег. Этот тег теперь пуст, URL-адрес его архива также будет равен 404.
Даже когда вы обрабатываете все URL-адреса тех сообщений, которые вы удалили должным образом (путем перенаправления или 410-й передачи), архив тегов все равно выдаст 404.
Поэтому вы должны убедиться, что разобраться с этим URL тоже.
Даже если вы не удалили все записи в теге, в архиве тегов теперь может быть 5, а не 12 сообщений. Это не самая большая проблема в мире, когда вы удаляете одну или две записи.
Но если вы имеете дело с проблемой Google Panda и удаляете много плохого контента, то создание 404 может занять ваш сайт вниз. Будьте осторожны!
Пример, у вас страницы с некоторым расширением (например,.drf). Ну так случилось! Хочу выпустить заголовок 410 через htaccess. Чтобы непопасть на снижения рангов в поисковике.
RewriteEngine On
RewriteBase /
RewriteRule .dfr$ — [NC,G,L]
RewriteRule ^index.php$ — [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.dfr$
RewriteRule . /index.php [L]
# END WordPress
RewriteRule ^.*.dfr$ — [R=410]
# Not sure if I really need this, but whatever
ErrorDocument 404 default
Однако, сразу Google на это не регирирует. Тормаза у них что ли? Удаление страниц не такая простая затея!
Удачи, Друзья!