Несуществующие страницы не отдают ошибку 404

Страница 404 призвана сообщать пользователю, что заданный им url (адрес страницы) не существует.
Такие неправильные урлы еще можно назвать «битыми ссылками».
Многие сайты делают свои страницы 404 для удобства своих пользователей. Часто это красивые и интересные страницы, которые вызывают у пользователя улыбку вместо разочарования от того, что адрес страницы неправильный.
При создании страницы 404 есть важная техническая составляющая, которая сильно влияет на ранжирование сайтов в поисковых системах, если все не настроено правильно.

Если вы озадачились созданием страницы 404, то вам нужно учитывать три момента:
1) Переадресация со всех неправильно введенных url на страницу 404 в .htaccess.
2) Правильный ответ сервера после переадресации (http-код страницы должен быть 404, а не 200).
3) Закрытие страницы 404 от индексации в robots.txt

Сразу отмечу, что все вышеизложенное написано для самописных сайтов, преимущественно на php. Для wordpress существуют плагины по настройке того же самого. Но в этой статье мы рассмотрим, как все выглядит в реальности. %)

ЕСЛИ КРАТКО, то нужно сделать следующее:

I. В файле .htaccess добавить строку:
—————
ErrorDocument 404 http://mysite.com/404.php
—————
Это перенаправит все неправильные (битые) ссылки на страницу — 404.php. Детали ниже в статье.

II. В файле 404.php в самом начале php-кода пишите:
—————

—————
Это даст правильный ответ о статусе страницы. Не 200, не 302, а 404 — потому что страницы, на которую якобы хотел перейти пользователь — не существует. Как это проверить — читайте ниже.

III. В файле rodots.txt делаете следующую запись:
—————
User-agent: *
Disallow:
Disallow: /404.php
—————-
Это закрывает страницу 404.php от индексации поисковыми системами. В этом пункте будьте аккуратны. Детали читайте ниже.

Дальше каждый пункт расписан в деталях! Если вам достаточно короткого описания… то благодарности принимаются в виде комментариев и лайков.

Переадресация (редирект) неправильных url на страницу 404

Первое, что вы делаете – создаете саму страницу 404, чтобы было куда людей посылать %).
Перенаправление url настраивается в файле .htaccess
Просто вписываете строчку:
ErrorDocument 404 http://mysite.com/404.php
Где «mysite.com» – ваш домен, а http://mysite.com/404.php — путь к реальной странице. Если ваш сайт на html, то строка будет выглядеть как:
ErrorDocument 404 http://mysite.com/404.html
Проверка очень проста. После заливки на хостинг файла .htaccess с вышеуказанной строкой, делаете проверку, вводя заведомо не существующий урл (битая ссылка), например: http://mysite.com/$%$%
Если переадресация на созданную вами страницу произошла, значит все работает.
Итак, полностью файл .htaccess, где настроена ТОЛЬКО переадресация на 404 будет выглядеть так:
____________________________
RewriteEngine on
ErrorDocument 404 http://mysite.com/404.html
____________________________

Правильный ответ сервера (http-код страницы)

Очень важно, чтобы при перенаправлении был правильный ответ сервера, а именно – 404 Not Found.

Тут следует объяснить отдельно.
Любому url при запросе назначается статус (http-код страницы).
• Для всех существующих страниц, это: HTTP/1.1 200 OK
• Для страниц перенаправленных: HTTP/1.1 302 Found
• Если страницы не существует, это должен быть HTTP/1.1 404 Not Found

То есть, какой бы урл не был введен, ему присваивается статус, определенный код ответа сервера.
Проверить ответ сервера можно:
1. Консоль браузера, закладка Network. Нажмите F12 для Chrome. Или Ctrl + Shift + I — подходит и для Chrome и для Opera.
2. На такой ресурсе как bertal.ru
3. SEARCH CONCOLE GOOGLE – Сканирование/Посмотреть как GOOGLE бот.

Когда у вас не было перенаправления через .htaccess на страницу 404, то на любой несуществующий url, введенный пользователем, а также на битые ссылки был ответ «HTTP/1.1 404 Not Found»

Итак, после краткой теоретической части, вернемся к нашим

баранам

настройкам.

После того, как вы настроили перенаправление на свою авторскую страницу 404 через .htaccess, как описано выше, то вводя битую ссылку (неверный url, который заведомо не существует), типа http://mysite.com/$%$%, ответ сервера будет:
— сначала HTTP/1.1 302 Found (перенаправление),
— а затем HTTP/1.1 200 OK (страница существует).

Проверьте через bertal.ru.
Чем это грозит? Это будет означать, что гугл в свою базу данных (индекс) может внести все битые ссылки, как существующие страницы с содержанием страницы 404. По сути — дубли страниц. А это невероятно вредно для поисковой оптимизации (SEO).

В этом случае нужно сделать две вещи:
1) Настроить правильный ответ сервера на странице 404.
2) Закрыть от индексирования страницу 404. Это делается через файл robots.txt

Настраиваем ответ сервера HTTP/1.1 404 Not Found для несуществующих страниц

Ответ сервера настраивается благодаря функции php в самом начале страницы 404.php:

Пишите ее вначале файла 404.php.
В результате мы должны получить ответ на битую ссылку:

Пример страницы 404.php. Вот как это выглядит +/-:

Естественно, что у вас скорее всего сайт полностью на php и динамический, то просто вставляете строку с ответом сервера в начало — перед всеми переменными и подключенными шаблонами.

Закрыть страницу 404 от индексирования

Закрыть страницу от индексирования можно в файле rodots.txt. Будьте внимательны с этим инструментом, ведь через этот файл ваш сайт, по сути, общается с поисковыми роботами!
Полный текст файла rodots.txt, где ТОЛЬКО закрыта индексация 404 страницы, выглядит так:
____________________________
User-agent: *
Disallow:
Disallow: /404.php
____________________________
Первая строка User-agent: * сообщает, что правило для всех поисковых систем.
Вторая строка Disallow: сообщает что весь сайт открыт для индексации.
Третья строка Disallow: /404.php закрывает индексацию для страницы /404.php, которая находится в корневой папке.

Замечания по коду: «/404.php» означает путь к странице. Если на вашем сайте страница 404.php (или 404.html соответственно) находится в какой-то папке, то путь будет выглядеть:
/holder/404.php
где «holder» — название папки.

Вот, собственно и все по странице 404. Проверьте работу страницы, перенаправления битых ссылок, и ответы серверов.
Повторюсь: Все вышеизложенное для самописных сайтов. Если вы используете wordpress, то можете поискать приличный плагин для настройки ошибки 404.

Благодарности принимаются в виде комментариев

Читать также:
Быстро создать свой сайт на WordPress
Сколько стоит создать сайт
Как залить сайт на хостинг
Зарегистрировать торговую марку самостоятельно
Самое ценное на сайте
Сайт бесплатно – это миф!
Продвижение сайта
Резервная копия сайта (бэкап)

Здравствуйте.

Раньше, набирая несуществующую страницу, был редерикт на главную. После чего,
покопавшись в движке и создав 404 страницу, смог настроить отдачу ошибки, но
получилось, что только на каталоги, и остались следующие проблемы со страницами:

Проблема №1: При наборе несуществующей страницы, к примеру:
http://www.nikand.ru/production/fireplaces/3057.htm
http://www.nikand.ru/production/fireplaces/30057.htm
http://www.nikand.ru/production/fireplaces/300057.htm
и т.д. открывается страница каталога, но при этом в адресной строке остается несуществующий url и отдает 200 вместо 404.

Проблема №2: При добавлении символов после .htm ничего не происходит, страница не
меняется. Примеры:
http://www.nikand.ru/production/pechi/345.htm1233
http://www.nikand.ru/production/pechi/345.htmава

Нужно, чтобы все несуществующие страницы (как и каталоги) отдавали 404. Помогите, пожалуйста, разобраться.

Есть неправильный url вида http://www.nikand.ru/production/fireplaces/3851.htm
Необходимо, если я ввожу неправильный url, показывать страницу 404,
если я ввожу правильный url http://www.nikand.ru/production/fireplaces/385.htm, показывать товар.

Есть такой код:

if(is_int(DOC) && $goodsr['zag']){
    echo "Ok";
}
else if(is_int(DOC) && !$goodsr['zag'])
{ 
    header("Location: error404.php");
    exit();  
}

Как проверить, что DOC число, и если товар существует, показывать товар, а если нет — ошибку 404?

23 марта 2017

Нам часто приходится делать аудиты сайтов. Как правило, к нам обращаются компании, которые уже сделали или делают сайт в другом агентстве, но хотят быть уверенными в качестве работ. Иногда приходят фирмы, которые уже имеют работающий сайт, но хотят проверить его на наличие ошибок.

Для комплексного аудита существует чек-лист из нескольких десятков пунктов, который помогает ничего не забыть и не упустить. Один из пунктов — страница 404.

Кому нужна страница 404?

О странице 404 нужно говорить с двух точек зрения: с точки зрения пользователей и с точки зрения поисковиков. Страница 404 называется так, потому что при обращении к ней сервер возвращает ошибку 404, т.е. сообщение о том, что пользователь попытался перейти на несуществующую страницу. Если ответ сервера верный, то с точки зрения поисковых систем проблем нет: обращение произошло — ответ получен. Но в то же самое время пользователь может увидеть белый экран с номером ошибки, пустую страницу сайта или карту сайта, а если сайт собран на шаблоне, то могут встретиться даже позабытые куски тестового контента.

Когда в рамках аудита мы доходим до пункта про 404 страницу, даем одно из нескольких заключений:

• страница 404 не оформлена и отдает код 200;
• страница 404 оформлена, но отдает код 200;
• страница 404 отдает любой другой код ответа;
• страница 404 сначала отдает 301 редирект, затем — 404 статус;
• страница 404 не оформлена, но отдает код 404;
• страница 404 оформлена и отдает код 404.

Только в последнем случае мы можем считать пункт аудита закрытым, в первых трех со страницей 404 придется поработать.

Страница 404 отдает код 200, это плохо?

Если страница 404 вместо соответствующего кода ошибки отдает код 200, это серьезная проблема, которую срочно нужно решать. Код 200 характерен для нормальных существующих страниц. Это сигнал для поискового робота, что он должен проиндексировать содержимое данной страницы, чтобы она могла попасть в выдачу.

Когда код 200 начинают отдавать несуществующие страницы, боты принимают эти страницы за реальные и пытаются проанализировать их содержимое, которого просто нет. А пока поисковые роботы тратят время на анализ мифических страниц, индексация реальных происходит очень медленно. Кроме того, пустые страницы в выдаче — это гарантированные отказы, а большой процент отказов может быстро понизить весь сайт в поисковой выдаче.

Одним из ярких признаков того, что страница 404 отрабатывает некорректно может стать резкое увеличение числа страниц в индексе поисковых систем. Если вы в последнее время не занимались развитием и расширением своего ресурса, а количество страниц в поиске резко пошло вверх, стоит проверить, не происходит ли индексация закрытых через robots.txt страниц и не появились ли несуществующие страницы в выдаче.

Как оформить страницу 404

Как мы сказали, страницу 404 нужно оценивать со стороны пользователей и со стороны поисковиков. Долгое время шли споры о том, какую информацию размещать на 404 странице. Наблюдалось две крайности: одни ограничивались стандартными фразами о том, что страница не найдена, другие пытались превратить ее в SEO-портянку в надежде “понравиться” поисковым роботам.

На недавней видеовстрече вебмастеров представитель компании Google Джон Мюллер заявил, что поисковики не анализируют контент на 404 странице. По словам Джона Мюллера, поисковым роботам не важно, какой контент размещен на странице 404, когда сервер в ответ на запрос возвращает ошибку 404, бот не продолжает анализ страницы, а переходит к следующей. Следовательно, наполнять страницы SEO-контентом абсолютно бессмысленно, с точки зрения поисковых роботов все 404 страницы одинаковы.

Тем не менее, оформлять страницы 404 все-таки стоит, но нужно делать это для пользователей. Ваша задача — сделать так, чтобы пользователь не ушел с сайта, а остался на нем. Для этого на 404 странице можно разместить ссылки на другие страницы, например, на основные разделы каталога, если речь идет об интернет-магазине.

Вывод: правильная страница 404 — это страница, которая отдает код ошибки 404 и одновременно полезна для пользователей. Ее основные задачи — сообщить поисковому боту о том, что страница не существует, и перенаправить пользователей на другие страницы сайта.

• SEO и поисковые технологии
• Дизайн

Наша статья вам помогла? Поддержите нас лайком!

Другие записи