Обработка страниц с ошибкой 404

404 ошибка возникает в браузере достаточно часто и происходит в случае, когда сервер не нашел страницу, на которую ведет ссылка. Этому может быть две причины: либо указанной страницы не существует либо пользователь перешел на сайт по некорректной ссылке.  В большинстве случаев, когда посетитель попадает на стандартную страницу ошибки 404, он чувствует себя в тупике и не находит лучшего решения, чем закрыть страницу и продолжить поиск.  А это в свою очередь отрицательно сказывается на посещаемости сайта.

Чем плоха страница ошибки 404 по умолчанию?

 Сайт jhuskisson.com

Вернуться назад

При попытке входа на сайт может возникнуть несколько ошибок, которые не дадут вам этого сделать. Они могут быть вызваны огромным количеством разнообразных причин. Одной из самых часто встречающихся является ошибка 404. Из-за нее чаще всего снижается производительность сайтов. Особенно важно настроить на сайте вывод специальной страницы вместо обычного извещение об ошибке 404.

Часто случается так, что ошибки подобного типа происходят регулярно. Это может быть вызвано несколькими факторами.

• Отсутствует файл favicon.ico, который запрашивается браузером при каждом входе на страницу. Этот файл требуется, чтобы появилось изображение перед URL страницы в адресной строке браузера.
• Отсутствует файл robots.txt. Он создается для роботов поисковиков, которые запрашивают его, когда выполняются запросы сайта. Это позволяет более грамотно распределять ресурсы поискового робота, указывая ему на страницы какие следует обойти, а какие нет.
• Отсутствует файл javascript. Если в html-коде присутствует ссылка на данный файл, а сам файл отсутствует, то возникнет ошибка.

Для того, чтобы решить все проблемы подобного типа вам требуется проверить, что запрашиваемые файлы действительно находятся на вашем сервере. После устранения данной проблемы, скорость загрузки сайта может возрасти в разы.
Важно понимать, что обработкой 404 ошибок пользователь должен заниматься самостоятельно, ведь обработка этих ошибок не включена в настройки системы.

Этапы обработки ошибки 404

• Пользователь получает ошибку сервера.
• Уточняется, какая именно ошибка произошла.
• В случае 404 ошибки, происходит ее обработка, которая выполняет следующие действия:
• устанавливает кода ошибки 404.
• создает документ из шаблона.
• удаляет код ошибки с сервера.

Также проводится проверка обработки страниц 404.

Очень часто сервером хостинга является Apache, в таком случае, в файл .htaccess следует добавить код:

ErrorDocument 404 /404.html

Где 404.html — это страница, сообщающая об ошибке, а .htaccess – это файл, содержащий правила для работы сервера.

В ситуации, когда сервером является IIS, для устранения ошибки нужно в разделе настроек менеджера Error Pages найти файл web.config и прописать код обработки ошибок:

error statusCode="404" prefixLanguageFilePath="" path="/404.php" responseMode="ExecuteURL" /

Когда возникает ошибка 404, очень важно сообщить о ней и о ее причине посетителям. Ваши пользователи должны понимать, что попали на несуществующую страницу, а также о том, что они могут вернуться к главной странице ресурса. Причем ссылка для продолжения навигации по сайту должна быть размещена на странице-обработчике 404 страницы, иначе ваши посетители могут просто покинуть сайт и уйти на работающий сайт вашего конкурента. При этом важно не создавать редирект на отдельную 404-ю страницу, а реализовать обработку таким образом, чтобы непосредственно сама несуществующая страница имела код ответа сервера 404. Именно на этой странице вы должны дать пользователю информацию о произошедшем сбое и о том, что он может продолжить навигацию по сайту.

Отслеживать появление и обработку ошибок 404 вы можете в файле error_log, он покажет вам, каких файлов не хватает на сайте. Это поможет избежать ссылок на такие несуществующие файлы.

Стоит отметить, что описанная выше директива ErrorDocument способна обрабатывать не только 404 ошибку, но и все остальные.

Эта ошибка встречается довольно часто, и она является самой распространенной причиной снижения производительности сайтов. Проблема становится серьезной для тех сайтов, где вместо стандартного сообщения об 404 ошибке обработка пользователю показывает специальную страница. Такой вариант безвреден, пока количество ошибок будет небольшим по сравнению с количеством запросов.

Довольно часто встречаются случаи, когда ошибки 404 приобретают характер систематических ошибок:

• Отсутствие файла favicon.ico. Когда вы открываете любую страницу, браузер запрашивает изображение с именем favicon.ico, которое отображается в адресной строке перед адресом страницы.

• Отсутствие файла robots.txt. Данный файл запрашивают роботы поисковиков регулярно перед каждым выполнением запросов сайта.

• Отсутствующий javascript файл, когда на этот файл имеется ссылка в шаблоне HTML-кода сайта.

Способ решения этих проблем достаточно прост – необходимо убедиться, что файлы, которые запрашивает браузер, присутствуют на сервере. Устранение этой проблемы увеличивает скорость загрузки примерно в 4 раза.

Следует обратить внимание, что обработка ошибки 404 htaccess полностью исключена из настройки системы. Поэтому пользователю необходимо обрабатывать её самостоятельно.

Этапы обработки ошибки 404 осуществляются в таком виде:

• Пользователю поступает ошибка сервера;

• Идет распознание типа ошибки;

• Если это ошибка 404, ошибка обрабатывается.

Шаги обработки ошибки 404 htaccess:

• Установка кода ошибки 404;

• Создание документа из шаблона;

• Удаление кода ошибки с сервера. 

Решение проблемы также зависит от сервера, установленного на хостинге.

В том случае, если это сервер Apache, нужно вставить в файл .htaccess следующее:

ErrorDocument 404 /404.html

Рассмотрим код детальнее:

• 404.html – страница, которая сообщает об ошибке;

• .htaccess — файл, который содержит правила для сервера Apache.

Если же на хостинге установлен сервер IIS, в таком случае устранять ошибку лучше с помощью менеджера. В настройках сайта выбираем следующее:

HTTP Features->Error Pages

После ищем нужный заголовок и редактируем. В файле Web.config обработка ошибок прописывается так:

<error statusCode="404" prefixLanguageFilePath="" path="/404.php" responseMode="ExecuteURL" />

Если произошла такая ошибка, нужно сообщить об этом пользователю и разъяснить причину. Текст должен содержать информацию о том, что произошел сбой и пользователь может вернуться на главную страницу сайта и воспользоваться картой сайта. Сообщение должно быть информативным и понятным для простого пользователя. Стандартные, краткие ответы необходимо заменить подробными разъяснениями.

Также вы можете наблюдать появление ошибки 404 в файле error_log и прослеживать, какие документы отсутствуют на сервере, чтобы исключить битые ссылки.

После решения проблемы создайте файл 404.html, в котором будет описание того, что делать пользователю при возникшей проблеме. Советы и указания всегда пригодятся вашему пользователю.

Важно, что директива ErrorDocument может обрабатывать не только ошибку 404, но и все остальные ошибки. К примеру, такими способами можно обработать 403 ошибку.

Иногда переходя по ссылке из различных ресурсов или даже из поисковой системы пользователь вместо страницы вашего сайта может увидеть сообщение браузера: 404 ошибка. В этом случае он просто закрывает вкладку и забывает о намерении посетить ваш сервис.

Однако вы можете изменить его решение и обратить ошибку 404 в свою пользу. Как это сделать, узнаете из нашей статьи.

Причины возникновения ошибки 404

Ошибка 404 – это не результат неправильной работы сайта. Ее причинами могут быть:

• ошибки и опечатки при ручном вводе или копировании адреса;
• нарушение внутренней перелинковки;
• переход по ссылке на удаленную или скрытую страницу;
• переход по ссылке на страницу, к которой у пользователя нет доступа.

Ошибка 404 довольно неприятное явление для владельца сайта, она имеет ряд негативных последствий:

• Пользователи покидают ваш сайт так и не узнав о ваших услугах, товарах или других возможностях, которые он предлагает.
• Ваш сайт теряет посещения, отчего страдает статистика, а значит и ранжирование сайта.
• У пользователей складывается негативное впечатление о вашем ресурсе.

К сожалению, возникновение ошибки 404 в большинстве случаев зависит не от владельца сайта. Однако есть способы, как сделать страницу ошибки полезной для себя и своего ресурса.

Как обработать страницу ошибки 404?

Начнем с того, что избавляться от страницы 404 и оставлять предупреждение об ошибочном переходе на усмотрение браузера – это неверное решение, которое гарантированно приведет к потере клиентов. Чтобы не портить статистику, настройте страницу следующим образом.

Позаботьтесь об оформлении страницы. Она должна соответствовать сайту в целом и свидетельствовать о серьезности и солидности ресурса. Разместите на странице свои логотипы, оформите в единой с сайтом цветовой схеме.

Сделайте страницу полезной для посетителя, то есть разместите на ней элементы, которые помогут ему перейти к полезной информации. Для этого на страницу ошибки 404 следует поместить:

• ссылку, ведущую на главную страницу вашего сайта, в каталог или к другой полезной по вашему мнению информации;
• форму поиска для того, чтоб посетители могли быстро найти любые данные, введя соответствующий запрос;
• ссылки для перехода на самые популярные страницы вашего сервиса, например, оформив их каталогом или в виде рейтинга ТОП-10;
• ссылку на карту сайта;
• рекламную и полезную информацию, например, объявление о скидках, новых товарах или рубриках.

Довольно интересными идеями, которые привлекут внимание пользователя и вызовут интерес, станут необычные или смешные картинки. Проявите креатив в этом вопросе. Также внимание привлекают и сообщения в нестандартной, юмористической форме. Например: Ой, мы не можем найти эту страницу, но раз уж вы здесь, посетите нашу распродажу. Или: Упс, что-то пошло не так, может вам будет интересна следующая информация?

Обработка ошибки 404

Чтобы ошибка 404 не отразилась на популярности сайта, ее следует настроить.

Для начала отключите индексацию данной страницы поисковыми роботами, а лучше запретите ее. Тогда поисковики будут игнорировать эту страницу вашего сайта и не направлять посетителей на нее по недоразумению. Чтобы запретить страницу, найдите файл robots.txt и добавьте в него всего одну строчку: Disallow: /404.html.

Далее следует заменить стандартную страницу на собственную уникальную разработку. Для этого найдите файл с расширением .htaccess и внесите в него следующую строку: ErrorDocument 404 / 404-error.html. Где 404-error.html – это и будет URL созданной вами оригинальной страницы для обработки ошибки.

А вот подменять страницу ошибки переходом на главную страницу вашего ресурса не стоит. Не факт, что на ней находится искомая пользователем информация. В результате посетитель решит, что у поисковика произошел какой-то сбой и закроет ваш сайт. Лучше честно признаться, что страницы уже нет или не существовало вовсе, и предложить пользователю самостоятельно найти нужную информацию.

Как минимизировать вероятность возникновения ошибки 404

Как мы уже выяснили, ошибка 404 может возникать и в результате сбоев на сайте. Чтоб снизить эту вероятность, регулярно выполняйте мониторинг внутренних ссылок. Если удаляете или скрываете от пользователей какую-либо страницу или раздел, позаботьтесь, чтоб на них не было переходов с других страниц.

Для обнаружения битых ссылок может пригодиться и специальное программное обеспечение.

Если битые или устаревшие ссылки расположены на других ресурсах, обратитесь с просьбой об их замене к вебмастеру. Если это невозможно, воспользуйтесь скриптами, перенаправляющими пользователей на нужный раздел.

Запомните, от ошибки 404 не защищен ни один ресурс. Однако грамотная ее обработка поможет удержать посетителей и не скажется на статистике и ранжировании сайта.

Как узнать попали страницы в индекс или нет

Инструкция по проверке индексации в Топвизоре

Инструкция по проверке индексации в Key Collector

Как удалить страницы с ошибкой 404 с сайта

Как реагирует ПС на страницы с 404-й ошибкой

Ошибка 404 – эта ошибка, которая означает, что сервер не смог найти сайт по данному адресу. Ссылки, которые ведут на такие страницы обычно называют «битыми».

Разберёмся, как узнать, попали ли страницы с ошибкой в индекс (вручную, через Топвизор и через Key Collector), как на них реагирует ПС и что делать с этими страницами.

Как узнать попали страницы в индекс или нет

Если страниц немного, то можно проверить вручную. Например, ввести запросы в нужной поисковой системе с операторами.

Для Яндекса это оператор url:, а для Google site:.

Как это выглядит в Яндексе:

В Google:

Инструкция по проверке индексации в Топвизоре

Автоматизировать процесс можно c помощью инструмента «Индексация» в Топвизоре.

Лимитов в Топвизоре нет, можно проводить массовую проверку индексации. Цена проверки одной страницы в одной поисковой системе – 0,06 р. 

Откройте настройки и отметьте все поисковые системы, в которых хотите проверить индексацию. В инструменте доступны Яндекс, Google, Bing и Yahoo!. По умолчанию индексация проверяется одновременно в Яндекс и Google:

Загрузите список URL, файл txt, csv, xml, xml.gz или файл Sitemap.xml.

Запустите проверку:

Страницы можно отсортировать по изменению статуса в индексе. Первыми встанут те, которых раньше не было в индексе или которые выпали из него. 

Проверку индексации можно настроить по расписанию, тогда Топвизор сам запустит проверку по требованию и, если нужно, пришлёт отчёт на почту.

Если у вас страниц много, например, несколько тысяч, и установлен Key Collector, то можно автоматизировать процесс и в нём. 

Инструкция по проверке индексации в Key Collector

Для этого загрузите аналогичные запросы с операторами и проверьте позиции по своему сайту. Если позиции есть, то это означает, что страница проиндексирована.

Для этого метода должна быть куплена программа Key Collector и должна быть ссылка от сервиса Яндекс.XML (или сервиса xmlproxy.ru) или сервиса xmlriver.com (для Google). Если есть лимиты в Яндекс.XML, то проверка будет бесплатной. Если нет, то эти лимиты нужно купить. Для проверки в Google нужно покупать лимиты, бесплатного способа нет.

Добавляем фразы, нажав на кнопку «Добавить фразы»:

Фразы необходимо добавлять в следующем формате:

Перед получением данных не забудьте скорректировать настройки программы:

Затем во вкладке «Парсинг» выбираем «Анализ позиций» и получаем позиции в поисковой системе Яндекс:

Указываем нужный сайт и начинаем парсинг:

После получения данных видим такую картину:

В результатах цифра 1 значит, что позиция обнаружилась, соответственно страница в индексе. Если нет – не в индексе.

Как удалить страницы с ошибкой 404 с сайта

Страницы с «битыми» ссылками можно обнаружить с помощью инструментов для технического аудита. Например, в Аудите сайта в Топвизоре.

Для этого выберите проект и нажмите на значок Аудита: 

Чтобы запустить аудит сайта, необходимо настроить список проверяемых страниц и выбрать поисковые системы.

После того, как вы добавите все необходимые URL, запустите проверку. В разделе «Ссылки» будет видно, битая это ссылка или нет: 

Как реагирует ПС на страницы с 404-й ошибкой

ПС реагирует некритично. Однако стоит понимать, что если продвигаемые страницы отдают код ответа 404, то эти страницы не смогут индексироваться и соответственно не будут показываться в поиске. 

Битые ссылки могут напрямую влиять на краулинговый бюджет сайта, ведь роботы каждый раз прилагают усилия на обход таких ссылок.

Краулинговый бюджет – это лимит на количество страниц, которые поисковый робот может просканировать в заданный временной промежуток. Если краулер потратит время на сканирование страниц с ошибкой 404, то это может негативно сказаться на сканировании полезных страниц. То есть робот доберётся до них позже. «Проблемы» краулингового бюджета больше касаются только крупных проектов – хотя бы от 100 тысяч страниц. В остальных случаях проблем со сканированием и индексированием страниц сайта не бывает.

Также пользователи, попадая на несуществующие страницы, могут покидать сайт. Это отразится на поведенческих факторах.

Лайфхак: как использовать битые ссылки конкурента вам на руку. Прочитайте этот материал, чтобы понимать, насколько важно устранять все битые ссылки на своем сайте. В противном случае конкуренты смогут использовать эти ссылки в свою пользу.