Как удалить url с ошибкой

Уверена, многие из читателей сталкивались с ситуацией, когда клик по ссылке приводил к непонятной фразе «ошибка 404» или «Not Found». Это неприятно и пользователям, и владельцу площадки. И наверняка должно вызвать вопрос, как удалить битые ссылки с сайта. Сначала разберёмся, что они собой представляют.

Что такое битые ссылки?

Ссылка, при открытии которой пользователь перенаправляется на несуществующую страницу, называется битой. Перешедшему по ней сервер выдаёт код ошибки 404 либо Not Found, сообщающий, что по указанному HTML-адресу не существует запрашиваемых данных.

Как возникают битые ссылки?

Поскольку сайт — это динамично развивающийся механизм, он требует постоянных изменений и поправок. Причины, заставляющие регулярно поддерживать образцовый порядок, могут быть следующими:

Возможны и другие причины, например, связанные с перелинковкой страниц. Главное — не оставлять проблему нерешённой, оперативно исправлять.

На что влияет наличие битых ссылок на сайте?

Обратившись к справке Google Search Console, находим следующее:

«Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt».

Поисковая система Google считает, что подобные ошибки не оказывают пагубного влияния на ранжирование сайта.

Однако на практике негативное воздействие всё же есть. Изобилие нерабочих ссылок является бом­бой замедленного действия с неприятными последствиями:

На мой взгляд, последний пункт занимает лидирующую по важности позицию.

Согласно исследованию Миссурийского университета науки и технологий, пользователям требуется меньше 2,6 секунды, чтобы сформировать впечатление о сайте. К этому заключению учёные пришли, когда с применением новейших технологий провели анализ движения глаз студентов, просматривающих сайты.

По мнению доцента кафедры Хонг Шэн, длительное нахождение испытуемых на странице гарантировало более благоприятное мнение о ресурсе. А это значит: чтобы удержать посетителя на площадке, важно произвести хорошее первое впечатление, которое и определит успех проекта в целом.

Обилие битых ссылок не только негативно повлияет на SEO-продвижение, не даст пользователю совершить целевые действия, затруднит навигацию по сайту, но и попросту отпугнет посетителя, заставив перейти к вашим конкурентам.

Избежать этого можно, качественно выполнив техническую оптимизацию, включающую решение проблем с неработающими ссылками, что до минимума снизит риск ухода пользователей.

Так что, создавая удобный функционал и уделяя внимание юзабилити, вы обеспечиваете себе качественную конверсию и успешное продвижение площадки в будущем.

Способы поиска и удаления битых ссылок

Поиск неработающих ссылок осуществляется разными способами, отличающимися по удобству применения, скорости проверки и качеству. Обычно это происходит:

Что касается ответа на главный вопрос, как устранить некорректные URL, существует всего два пути:

1. скорректировать адрес;
2. удалить неверную ссылку.

Эти правила касаются как внешних ссылок, так и внутренних.

Инструменты для поиска и удаления битых ссылок

Проведение регулярных проверок — важный фактор успешного продвижения ресурса. Эта процедура должна стать полезной привычкой. Далее подробно рассмотрим способы, которые гарантированно дадут вам возможность найти целый список страниц с неработающими URL, подскажут, как убрать битые ссылки с сайта.

Программы для ПК

1. Xenu’s Link Sleuth

Один из самых известных сервисов-анализаторов для улучшения поисковой оптимизации —Xenu’s Link Sleuth. Основные характеристики и преимущества программы: 

Английский интерфейс программы интуитивно понятен и несложен, поэтому не стоит его пугаться. 

Для начала анализа сайта откройте пункт в верхнем меню «File — Check URL».

В появившемся окне укажите адрес вашего сайта и поставьте галочку около пункта Check external links, если необходимо проверить работоспособность ссылок, уводящих за пределы ресурса. 

После ввода адреса нажмите кнопку «OK» и ждите окончания сканирования. Скорость проверки зависит от наполненности и сложности сайта, процесс может длиться и несколько се­кунд, и несколько часов.

Окончив проверку, программа предложит загрузить отчёт о проделанном анализе.

Начинаем просмотр полученных результатов. Цвета ссылок будут варьироваться. Зелёный означает, что ссылка работоспособна, красный — что битая, серый — что стоит в очереди на проверку или исключена из анализа.

Для исправления находим битую ссылку, помеченную красным цве­том, кликаем правой кнопкой мыши и выбираем во всплывающем меню пункт URL properties.

Теперь дело за малым. Вводим в браузере полученный адрес, убеждаемся в нерабо­тоспособности ссылки и исправляем URL.

По завершении анализа полученные результаты комфортнее просматривать в отчёте, чем в ин­терфейсе программы, благодаря грамотной структуризации данных по разделам и чёткой табличной статистике.

2. LinkChecker

Ещё один популярный инструмент анализа ссылок — LinkChecker. Основные характеристики и преимущества программы:

Для начала сканирования до­статочно ввести URL ресурса и нажать кнопку Start.

Время сканирования зависит от структуры и наполненности площадки. Ресурс на 100 страниц про­грамма проверяет не дольше 10 минут. Если же их больше 1000, то и анализ затянется.

Битую ссылку вы увидите, нажав на неё в поле URL. Также в нижнем меню есть информация об ошибке и наименовании кода в графе Result.

Завершив проверку, программа предлагает сохранить отчёт в оптимальном для вас формате: HTML, TXT, CSV, XML. Для удобства перед завершением работы отсортируйте ре­зультаты по колонке.

3. Screaming Frog SEO Spider

Этот сервис предлагает платные и бесплатные инструменты для анализа. Основные характеристики программы:

Минусом бесплатной версии является ограничение на сканирование 500 URL и ряд недоступных настроек.

В верхнем меню мы видим пункт Mode, при нажатии на который меняется режим сканирования.

При необходимости проанализировать ресурс целиком выбирайте режим Spider.

После этого вводим в строку поиска адрес и запускаем проверку кнопкой Start.

Пока программа просматривает одну страницу за другой, можно понаблюдать за процессом, взглянув в нижний угол рабочего окна.

По окончании сканирования переходим во вкладку Response Codes и в фильтре слева выбира­ем интересующие нас ошибки 4xx и 5xx.

Если программа нашла битые ссылки, то смотрим на их расположение. Выбираем одну, внизу нажимаем на вкладку Inlinks, и в нижнем окне откроется список страниц, где выявлены нерабочие ссылки.

Как и в других программах, здесь есть функция выгрузки полученной информации в форматах CSV, XLS и XLSX. Просто нажмите кнопку Export и выберите путь сохранения файла.

4. Netpeak Spider

Netpeak Spider — функциональное и удобное десктопное приложение, созданное для полноценного анализа сайтов. Основные характеристики и преимущества сервиса:

Это платная программа, для которой предлагается несколько тарифов на выбор. Стоимость лицензии составляет от 180–950 $ в месяц. Предусмотрен 14-дневный бесплатный пробный период.

Если вы желаете получить конкретный результат от проверки, произведите предварительную настройку, а затем переходите к сканированию ресурса. В приложении можно изменить язык, дополнить базовые настройки сканирования в соответствии с вашим запросом, установить ограничения и пр.

Пронаблюдать за анализом можно внизу рабочего окна.

Нажав на найденную битую ссылку, вы получите всю возможную информацию.

После завершения анализа у вас появится обширный список ошибок. Программа имеет удобный интерфейс в виде бокового меню справа, где можно пройтись по всем интересующим вас пунктам и найти нужные.

Также разработчики программы предусмотрели опцию выгрузки подробного отчёта на компьютер. Для этого в главном меню перейдите в раздел «Экспорт — Специальные отчёты — Битые ссылки».  На мой взгляд, это очень удобная функция, но помните: такая возможность дана только пользователям с платным доступом.

Поиск битых ссылок в Яндекс.Вебмастере и Google Search Console

1. Яндекс.Вебмастер

Основные характеристики популярного инструмента Яндекс.Вебмастер:

Для начала работы с Яндекс.Вебмастером входим в свой аккаунт в системе либо регистрируем но­вый. Нажимаем кнопку «Перейти». После этого откроется возможность добавления адреса для проведения анализа.

После того как нажато «Добавить», откроется форма для подтверждения прав.

Подтвердив права, вы будете взаимодействовать с широким спектром инструментов и поль­зоваться полным их набором для анализа ресурса.

В пункте «Ссылки» находится и нужная нам информация. Здесь вы сможете получить наглядную статистику бэклинков, которые теперь недоступны.

При необходимости полученные данные выгружаются в Excel.

2. Google Search Console

Основные характеристики этого сервиса:

Для начала работы с Google Search Console нужно выбрать тип ресурса и написать его URL.

Здесь, как и в Яндекс.Вебмастере, потребуется подтверждение ваших прав для входа на сайт. После успешного завершения такой проверки ищем пункт «Индекс» в левом боковом меню и перехо­дим во вкладку «Покрытие», где и будут сосредоточены все сведения о неработающих ссылках. 

Для получения информации о ссылке жмём на «Отправленный URL не найден (ошибка 404)”. Из показанных примеров страниц выбираем то, что нас интересует, кликаем на «Проверить URL» и получаем отчёт о сканировании. 

В обоих случаях после обнаружения битых ссылок вы идёте в админку своего ресурса и либо ис­правляете их, либо удаляете, чтобы те не мешали отлаженной работе площадки.

Онлайн-инструменты для поиска битых ссылок

1. Сайтрепорт.ru

СайтРепорт — онлайн-инструмент, проводящий диагностику и аудит сайтов. Основные его характеристики:

В анализ сайта включено не меньше 200 параметров. По окончании процесса у вас будет возможность выгрузки отчёта в формате CSV.

В боковом меню доступны разнообразные инструменты для анализа.

Результаты проверки находятся в подразделе «Мои проекты».

После анализа каждая найденная битая ссылка будет содержать необходимую информацию, а рекомендации из отчёта помогут в исправлении имеющихся ошибок.

2. Brokenlinkcheck.com

Онлайн-сервис, позволяющий проверить бесплатно 3000 страниц. Основные характеристики программы:

Однако сервис не будет диагностировать картинки и документы.

Сервис понятен и прост. Для проведения проверки не нужна регистрация. Всё, что надо сделать, — ввести адрес сайта и запустить сканирование.

3. Siteliner.com

Онлайн-площадка для комплексного SEO-анализа страниц сайта. Работает бесплатно или платно на разных условиях:

Мы видим простой интерфейс и удобный функционал. Сразу на главной странице вводим нужный адрес, нажимаем кнопку Go и ждём окончания проверки. После этого переходим во вкладку Broken Links, где ознакомимся со всеми страницами сайта, на которых лежат нерабочие ссылки.

При нажатии на любую строку столбца URL попадём на страницу сканируемого сайта, где би­тые ссылки будут выделены ярким цветом.

В конце процесса можно выгрузить подробный отчёт о выполненном анализе.

4. Badlinks.ru

Продвинутый онлайн-сервис для проверки сайтов, который качественно анализирует текст, изобра­жения, прикреплённые файлы, но комплексная диагностика здесь недёшева.

Основные характеристики программы:

Для проведения проверки вводим адрес ресурса в специальное поле и нажимаем на маленькую кнопку в виде жучка.

После окончания проверки появляется возможность выгрузить в PDF-формате подробный отчёт о сканировании, содержащий все найденные битые ссылки и полный перечень исследованных страниц.

Вся соль

Возникновение битых ссылок — естественный процесс. Но важно помнить о необходимости частого устране­ния таких URL. Наличие некорректных адресов снижает уровень доверия поисковых систем к сайту и, что немаловажно, отворачивает от вас клиентов, а это точно не будет выгодно.

Так как удалить битые ссылки помогают разные сервисы, при выборе инструментов стоит учитывать преимущества и недостатки в виде существенных ограничений. Я бы хотела особенно выделить программы Screaming Frog SEO Spider и Netpeak Spider, которые нравятся мне своими возможностями.

Из ключевых параметров программы Screaming Frog SEO Spider особенно хороши:

Несмотря на то, что эта программа платная, она ценится специалистами благодаря широкому функционалу и доступности.

Что касается приложения Netpeak Spider, то у него следующие очевидные преимущества перед аналогами:

Функционалы упомянутых онлайн-сервисов в целом очень похожи. Выбор определённого инструмента зависит от объёмов вашего сайта и бюджета, отложенного на развитие и продвижение площадки.

А вот Google Search Console и Яндекс.Вебмастер очень полезны, пригодятся:

Поскольку оба сервиса имеют уникальные возможности, используйте их вместе, сравнивая полученные данные для достижения наилучших результатов.

Перечисленные мною способы поиска и борьбы с некорректными адресами страниц сайтов имеют право на жизнь — все они справляются с возложенными обязанностями. Надеюсь, что статья дала вам ответ на мучивший вопрос, что делать с битыми ссылками, и по­может лучше разобраться в многообразии инструментов для мониторинга некорректных URL в буду­щем.

Содержание

Что такое битые ссылки 

Как они появляются 

Чем опасны битые ссылки

Как найти битые ссылки на своём сайте

С помощью панелей вебмастеров  

С помощью специальных сервисов

С помощью парсеров

С помощью плагинов для CMS

Что делать с битыми ссылками на своём сайте 

Заменить неработающую ссылку 

Удалить страницу 

Восстановить удалённую страницу 

Настроить редирект с проблемной страницы

Как оформить страницу с ошибкой 404

Как поисковая система реагирует на страницы с 404‑й ошибкой

Что делать с битыми ссылками на чужих сайтах

Что запомнить

Битые ссылки раздражают пользователей и плохо влияют на ранжирование сайта. Рассказываем, откуда они появляются, как их найти и избавиться от них навсегда.

Что такое битые ссылки 

Битые ссылки — это ссылки, которые ведут на несуществующие сайты, страницы или файлы. Они обычно отдают код ответа 404 — «Страница не существует».

Коды ошибок HTTP: полный список ошибок сервера 

Вот как может выглядеть страница, которая не существует и на которую нас привела битая ссылка:

Битые ссылки могут быть внешними и внутренними:

• внешние — это такие, которые ведут на сторонние ресурсы;

• внутренние — те, которые ведут на страницы внутри сайта.

Битые ссылки могут вести на страницы, файлы, видео, изображения — куда угодно.

Как они появляются 

Есть три основных причины, почему мы можем увидеть битую ссылку:

1. URL ссылки написан с ошибкой. Например, если пользователь вводил URL вручную и ошибся. Повлиять может даже слеш: если забыть его ввести или поставить не в том месте, страница не откроется, а мы увидим сообщение об ошибке. 

2. У сайта, страницы или файла изменился URL. Например, была изменена структура сайта, страница переехала на другой адрес и т. д. Тогда по старому адресу страница или файл будут недоступны — ссылка станет битой. 

3. Сайт, страница или файл удалены. 

Чем опасны битые ссылки

Когда мы переходим по какой‑либо ссылке, а страница оказывается недоступна, то, скорее всего, закрываем страницу и переходим к другому интернет‑ресурсу. 

В этом основная проблема битых ссылок: они раздражают и разочаровывают пользователей, из‑за чего те уходят с сайта. А если где‑то размещена битая ссылка на ваш ресурс, вы теряете трафик. Битые ссылки — признак некачественного ресурса, и они могут навредить доверию пользователей и ПС.

Кроме этого, битые ссылки могут косвенно влиять на позиции сайта в результатах поиска ещё в двух случаях:

1. ПС удаляет из индекса страницы с 404‑й ошибкой. Вы можете ожидать, что нужная вам страница в индексе, хотя на самом деле это не так.

2. Размещенные на сайте ссылки участвуют в формировании ссылочного веса сайта. Несуществующие ссылки перетягивают на себя часть ссылочного веса, но не приносят сайту пользу.

Как найти битые ссылки на своём сайте

Поиск битых ссылок можно выполнить с помощью:

• панелей веб‑мастеров — GSC и Яндекс.Вебмастера;

• сервисов — Топвизора, Broken Link Checker и т. п.;

• парсеров — Xenu, Screaming Frog Spider и т. п.; 

• плагинов для CMS. 

Обо всех способах по порядку.

С помощью панелей вебмастеров  

Google Search Console

Откройте отчёт «Индексирование» → «Страницы» (раньше этот отчёт назывался «Покрытие»). Прокрутите отчёт немного вниз до блока «Почему эти страницы не индексируются» и кликните на причину «Не найдено (404)»:

Яндекс Вебмастер

1. Зайдите в раздел «Ссылки». 

2. Выберите «Внутренние ссылки». 

Если на сайте есть битые ссылки, то инструмент покажет, какие именно. Если нет — выдаст сообщение «Робот не нашёл битых ссылок на этом сайте»:

Дополнительно зайдите в раздел «Индексирование сайта» → «Страницы в поиске» → «Исключённые страницы». Просмотрите статусы исключенных страниц. В этом списке вы сможете увидеть страницы с ошибками:

С помощью специальных сервисов

Топвизор

Чтобы находить битые ссылки на страницах через Топвизор, сначала нужно добавить в сервис список страниц сайта для отслеживания. Чтобы это сделать:

1. Откройте инструмент «Анализ сайта». Выберите способ, каким загружать ссылки: списком, из файла или с помощью добавления ссылки на карту сайта Sitemap.xml.

2. Нажмите «Импорт» — все URL добавятся в инструмент.

3. Теперь в «Анализе сайта» нажмите кнопку «Проверить» и перейдите в раздел «Ссылки». Здесь Топвизор покажет, есть на сайте битые ссылки или нет:

Broken Link Checker

На главной странице добавьте ссылку на сайт и нажмите Find Broken Links Now!. Бесплатно инструмент сканирует 3 000 страниц. 

Вы увидите список битых ссылок с URL и кодом ответа:

Dead Link Checker

На главной странице введите ссылку на ваш сайт или на отдельную страницу, которую нужно проверить. Нажмите Check. 

Check My Links

Это расширение для Chrome, Opera, Яндекс Браузера, Brave, Edge и других браузеров на движке Chromium. 

Установите расширение на свой компьютер. Активируйте его в правом верхнем углу интерфейса браузера. Теперь расширение будет на каждой странице подсвечивать красным цветом битые ссылки. А зелёным — те, с которыми все хорошо. 

С помощью парсеров

Xenu’s Link Sleuth

Это бесплатная программа для Windows. Чтобы найти битые ссылки:

1. Скачайте программу с сайта и установите.

2. В верхней панели интерфейса выберите File → Check URL.

1. Введите ссылку на сайт, который хотите проверить.

Вот так будет выглядеть результат проверки: 

Ответы сервера указаны в поле Status. Красным отмечены страницы с ошибками.

Screaming Frog Spider

Работает похожим образом, что и Xenu’s Link Sleuth.

Скачайте программу с сайта. Для поиска битых ссылок подойдёт бесплатная версия. Программа на английском языке.

Введите ссылку на сайт в поле для проверки и подождите, пока проверка будет завершена. Дальше нужно перейти в Response Codes и выбрать код ответа 4** — покажутся все страницы, которые отдают такой код ответа. 

Выберите интересующий вас URL, и во вкладке Inlinks сможете посмотреть, какие страницы на него ссылаются.

Коды ошибок HTTP: полный список ошибок сервера

С помощью плагинов для CMS

Для разных CMS разработаны разные плагины для поиска битых ссылок. Например, в Wordpress это: Broken Link Checker, Broken Link Checker | Finder, Link Checker Professional и другие. А в Joomla — Link Wallet.  

Что делать с битыми ссылками на своём сайте 

Есть несколько способов исправить неработающую ссылку. 

Сначала проверьте, правильно ли написан URL — особенно актуально, если вы набирали его вручную или копировали откуда‑то. 

Если дело не в написании URL, можно попробовать: 

Заменить неработающую ссылку 

Это подходит, если страница с соответствующим контентом у вас есть: надо будет просто заменить на всех страницах сайта битую ссылку на актуальную. Это делается через систему управления сайтом.

Удалить страницу 

Если страница в целом перестала быть актуальной, то удаляем её — тоже через админку сайта. Это в том случае, если у вас нет актуальной страницы на замену. 

Восстановить удалённую страницу 

Если, наоборот, ссылка ведёт на удалённую страницу, её можно восстановить (при условии, что она вам нужна, конечно). 

Такое бывает, если вы случайно удалили что‑то нужное. 

Настроить редирект с проблемной страницы

Если страница не актуальна, но у вас есть соответствующий контент, куда можно перенаправить пользователя, нужно это сделать. 

Этот способ подходит, если нужно решить проблему внутренних неработающих ссылок, не внешних. Если сайт переезжает с домена на домен, редирект — отличный способ избежать битых ссылок. Также редирект подойдёт, если разделы сайта переименовываются, меняется уровень вложенности или производятся ещё какие‑то изменения со структурой. 

Редирект по‑простому — это перенаправление пользователя с одной страницы на другую. Когда настроен редирект, пользователь, заходя на несуществующую/удалённую страницу, будет автоматически перенаправляться на работающую страницу.

О редиректах:

Справка Яндекса

Справка Google

Как оформить страницу с ошибкой 404

Пользователи могут вводить ссылку вручную и ошибаться в процессе ввода. Или попытаются зайти на страницу сайта, которая уже удалена вами, но сохранена у них в закладках. Эта страница будет отдавать код ответа 404. 

Кроме того, подобные страницы могут появляться по не зависящим от вас причинам, когда пользователь просто ошибся в написании URL. Поэтому сделать так, чтобы страница с ошибками 404 были полезными для пользователя и помогали ему перейти на другие страницы сайта, а не уходить с него.  

Стандартная страница 404 просто уведомляет пользователя о том, что такой страницы не существует. Вот как она выглядит:

Такую страницу остаётся только закрыть, поэтому оставлять их такими не рекомендуется.

Во‑первых, пользователю должно быть понятно, что произошло и где он находится. Текст для сообщения об ошибке можно составить по такой формуле:

• сначала прямо сообщаем, что запрошенной страницы не существует, например «Такая страница не найдена»;

• затем можем дать краткую информацию о том, что произошло, например «Возможно, опечатка в адресе»;

• после этого подсказываем пользователю, что делать, например «Воспользуйтесь меню или перейдите на главную страницу сайта».

Несколько удачных примеров страницы 404:

Рекомендации по оформлению страницы:

в Google Справке

в Яндекс Справке

Как поисковая система реагирует на страницы с 404‑й ошибкой

В целом поисковые системы не реагируют на такие страницы ни положительно, ни отрицательно. Одна или несколько таких страниц не могут повредить сайту. 

Однако если вы будете продвигать страницу, которая отдаёт код ответа 404, она не будет индексироваться и не будет показана в поиске.

Битые ссылки могут влиять на краулинговый бюджет сайта. Краулинговый бюджет — лимит на количество страниц, которые поисковый робот может просканировать в тот или иной период времени. Если робот потратит время на сканирование страниц, которые отдают код ответа 404, то до нужных страниц может добираться долго или вообще не дойти. Однако в основном это касается только крупных сайтов — где 100 тысяч страниц и больше.

Как оптимизировать краулинговый бюджет

Что делать со страницами, которые выдают ошибку 404 — совет

Что делать с битыми ссылками на чужих сайтах

Если битая ссылка на ваш сайт размещена на чужом ресурсе, вы теряете потенциальный трафик с неё и ссылочный вес. 

Чтобы это исправить, можно найти контакты владельца ресурса и попросить заменить ссылку на работающую. Некоторые ресурсы размещают контакты для обратной связи в подвале сайта.

Это сложно и долго. Поскольку ссылки с других ресурсов обычно стоят на важные страницы, надёжнее настроить 301‑й редирект с неактуальной страницы на новую. Но это подходит только для таких ситуаций, когда ошибка находится не в доменном имени. Сейчас приведём пример, чтобы было понятнее.

Допустим, у кого‑то на сайте размещена ссылка на наш сайт с ошибкой. Должно было быть так:

https://topvisor.com/ru/card/ 

А разместили случайно вот так:

https://topvisor.com/ru/cards

В этом случае мы можем настроить перенаправление с cards на card, и всё будет хорошо. 

Однако если кто‑то разместил вот такую ссылку на своём сайте:

https://tobvisor.com/ru/card/ 

То мы ничего не сможем сделать, потому что, по сути, она ведёт не на наш сайт и у нас нет доступа к его редактированию, чтобы мы могли настроить редирект с https://tobvisor.com/ru/card/ на https://topvisor.com/ru/card/. 

В таких ситуациях придётся связываться с владельцем стороннего ресурса и просить заменить ссылку — но они случаются крайне редко.

Что запомнить

1. Битые ссылки — это такие ссылки, которые ведут на удалённую страницу, чаще всего страница будет отдавать код ответа сервера 404 Not Found.

2. Битые ссылки могут появляться, если URL введён неправильно, если у сайта поменялась структура и страницы переехали на новый адрес или если страница была удалена.

3. Битые ссылки ухудшают пользовательский опыт на сайте и снижают поведенческие факторы, а ещё способствуют неравномерному распределению ссылочного веса.

4. Найти битые ссылки на своём сайте можно с помощью панелей вебмастеров, специальных сервисов — например, Топвизора — и парсеров.

5. Исправить ситуацию с битыми ссылками можно разными способами: удалить неактуальные страницы, восстановить страницы, чтобы они отдавали код ответа сервера 200 OK, поставить редиректы на актуальные страницы, сделать страницу 404 полезной для пользователя.

Что ещё почитать по теме 👇

Ставить завершающий слеш в URL или нет: как лучше для SEO 

Как посмотреть сайт «глазами» поискового робота с помощью Google Chrome 

 vlada_maestro / shutterstock

Пишущий интернет-маркетолог, автор-фрилансер. Помогает развивать и продвигать блоги, делает контент для внешних площадок. Пишет об интернет-маркетинге, реже о финансах и бизнесе.

Битая ссылка (broken link) — ссылка, которая ведёт на несуществующую страницу. При переходе по ней пользователь видит сообщение об ошибке. Например, такое:

Ошибка 404 или Not Found — стандартный код ответа сервера. Он сообщает, что по заданному адресу HTML-страницы не существует, запрошенные данные найти не удаётся.

В процессе продвижения сайта приходится постоянно вносить изменения: удалять устаревшие статьи, объединять разделы в интернет-магазине, переименовывать URL. И чем сложнее ресурс, тем легче что-то забыть и допустить ошибки.

Например, страница имела адрес «site.ru/page123», а получила «site.ru/price-list». При этом не было настроено перенаправление с первого URL на второй. Значит, все ссылки, ведущие на «site.ru/page123», станут битыми. При попытке перехода по ним пользователь увидит в браузере ошибку 404.

Broken links появляются также в результате банальных опечаток. Копирайтер при написании статьи может случайно вставить в текст ссылки лишний символ, что тоже сделает её нерабочей. Сервер не догадается интуитивно, что «site.ru/statya-» — это вроде похоже на «site.ru/statya» и, значит, можно открыть её.

В общем, битые ссылки — не проделки хакеров или злых конкурентов, а вполне естественное явление.

Битые ссылки, скорее всего, ухудшают продвижение в поисковых системах. Для поисковых роботов они могут быть признаком некачественного, неудобного для пользователей, устаревшего ресурса. Правда, пока нет подтверждённых данных, что битые ссылки напрямую влияют на ранжирование.

Ещё некоторые специалисты считают, что такие ссылки расходуют краулинговый бюджет. Проще говоря, это лимиты по количеству URL вашего сайта, которые сканирует поисковый робот Google. Однако представитель компании Джон Мюллер говорил, что ошибки 404 не снижают этот бюджет и не ухудшают рейтинг всего сайта.

Тем не менее битые ссылки однозначно влияют на поведение на сайте. Допустим, пользователь хочет почитать статью, кликает и видит ошибку. Он может вернуться назад, воспользоваться меню или поиском по сайту — а может просто уйти.

А вот поведенческие показатели (отказы, количество просмотров страниц, продолжительность посещения) уже играют значительную роль в SEO. Исследование компании «Ашманов и партнёры» показывает корреляцию с топом или позициями и в Google, и в Яндексе.

Получается, самая главная опасность битых ссылок в том, что они ухудшают пользовательский опыт. Затрудняют потребление контента, изучение товаров/услуг и выполнение целевых действий. А это важно при любом, не только поисковом трафике.

Если сайт с большим количеством страниц, невозможно вручную проверять каждую и кликать по всем имеющимся ссылкам. Для поиска лучше использовать специальные инструменты. Это можно сделать с помощью официальных вебмастеров:

• Google Search Console. В старом интерфейсе ошибочные ссылки показывались в отчёте «Ошибки сканирования». В новом — в разделе «Покрытие».

• Яндекс.Вебмастер. Данные лежат в разделе «Индексирование» → «Статистика обхода». Ещё можно посмотреть в разделе «Ссылки».

Ещё битые ссылки видны в отчётах по заголовкам страниц в Яндекс.Метрике и Google Analytics. Если, конечно, у 404-страницы title отличается от других. На скриншоте ниже — статистика по сайту на одном из конструкторов. Переходы по битым ссылкам выдают заголовок страницы по умолчанию.

Если хотите быть на «ты» с инструментами вебмастеров и системами веб-аналитики, приглашаем на онлайн-курс «SEO-специалист с нуля до PRO». Подходит новичкам в поисковом продвижении, интернет-маркетологам, владельцам бизнеса.

Также можно выбрать для проверки один из сторонних инструментов SEO-аудита. Например:

• Xenu Link Sleuth. Это бесплатная десктопная программа, достаточно функциональная, хоть и немного устаревшая.

• Screaming Frog SEO Spider. Платная десктопная программа. Проверка 500 URL бесплатно.

• SEO & Website Analysis. Бесплатный и удобный плагин для Chrome.

• Check My Links. Ещё один бесплатный плагин для Google Chrome. Можно скопировать список битых ссылок в CSV-формате.

• Badlinks.ru. Платный онлайн-сервис. Стоит от 50 рублей, сумма зависит от количества страниц и регулярности проверки.

Ссылки, ведущие на несуществующие страницы, можно просто удалить. Если в тексте опечатка, то нужно внести правки. Это легко сделать самому через панель управления сайтом или делегировать тому, кто отвечает за наполнение и редактирование контента, — вебмастеру, контент-менеджеру или верстальщику.

Когда битые ссылки возникают в результате массовой смены URL (например, блог переехал с «site.ru/blog» на «blog.site.ru»), нет смысла исправлять вручную — нужно настроить редирект. Это сложная техническая задача, с которой лучше обратиться к опытному разработчику или веб-программисту. Если всё же хочется уметь делать редиректы своими руками, действуйте по гайду TexTerra или Promopult.

Но даже если на сайте не будет битых ссылок, пользователи всё равно будут видеть код ответа 404. Написать URL с ошибкой могут и в соцсетях, и на сторонних ресурсах. И всегда есть вероятность, что пользователь опечатается, когда захочет напрямую зайти на ваш сайт. Чтобы уменьшить процент отказов и негатив в таких случаях, лучше оформить страницу 404 нестандартно. Дайте задание копирайтеру и дизайнеру, а разработчика попросите настроить переадресацию.

Научитесь: Интернет-маркетолог с нуля
Узнать больше

Для веб-мастеров есть несколько вещей хуже, чем ошибка 404 Not Found (но у нас есть целое руководство по исправлению ошибок 404 ).

Это должен быть ваш худший кошмар – отправить посетителя туда, чего не существует. Я намеренно говорю, что это должен стать вашим худшим кошмаром, поскольку многие блоггеры не слишком задумываются о неработающих ссылках и о том, насколько эффективно они могут увести людей с веб-сайтов.

Подумайте о своем поведении при появлении ошибки 404: как это влияет на ваше восприятие сайта, на котором вы находитесь? Насколько велика вероятность того, что вы попытаетесь покопаться в поисках того, что ожидали увидеть? У вас больше шансов просто двигаться дальше? Интерес посетителя к вашему веб-сайту часто бывает незначительным – обострять отношения, предлагая неработающую ссылку, непростительно.

Хотя вы можете поработать над созданием интересной и уникальной страницы с ошибкой 404, я считаю, что лучшим лекарством является профилактика. Имея это в виду, в этом посте я хочу познакомить вас с отличным бесплатным плагином, который поможет вам полностью удалить страницы с ошибками 404 с вашего сайта.

Представляем средство проверки неработающих ссылок

Возможно, вы слышали об этом плагине раньше – на самом деле, я специально упомянул его как часть моей функции в Периодической таблице плагинов WordPress. Это чрезвычайно популярный плагин, и на то есть веские причины: он может помочь вам оставить в прошлом сообщения об ошибках 404 на вашем сайте.

Функциональные возможности средства проверки неработающих ссылок просты, но чрезвычайно эффективны: он будет сканировать и тестировать каждую ссылку на вашем сайте, чтобы убедиться, что каждая из них правильно соответствует определенному URL-адресу. Если плагин обнаруживает проблему (например, ошибку 404), он добавит ее в список неработающих ссылок, с которыми вы сможете соответственно разобраться.

Следует отметить, что в последнее время программа проверки неработающих ссылок привлекала иногда плохие отзывы, и некоторые люди жалуются, что она просто не работает. У меня не было проблем с плагином, и большинство отзывов по-прежнему в основном положительные. Многие люди склонны оставлять отрицательные отзывы из-за проблем с их собственной уникальной настройкой WordPress, а не с самим плагином, поэтому я всегда отношусь к таким отзывам с долей скептицизма. Возможно, вы столкнетесь с конфликтом с определенным плагином на своем сайте, если воспользуетесь средством проверки неработающих ссылок, но я считаю, что это оправдывает потенциальный «риск».

Как использовать проверку неработающих ссылок

Процесс использования Broken Link Checker чрезвычайно прост.

Плагин выполняет всю тяжелую работу, сканируя ваш сайт на наличие битых ссылок в фоновом режиме. По завершении он представит вам все неработающие ссылки, обнаруженные в WordPress.

Есть два способа быстро проверить, обнаружила ли программа проверки неработающих ссылок какие-либо неработающие ссылки:

Через панель управления WordPress или…

… Через боковую панель.

Как видите, уведомления интуитивно понятны и их легко обнаружить – если на вашем сайте появляется неработающая ссылка, вы быстро узнаете об этом.

Для этого поста я использую свой блог как подопытный кролик. Как видно из приведенных выше снимков экрана, в настоящее время на моем сайте две неработающие ссылки, поэтому следующим шагом будет их проверка. Вы можете сделать это, щелкнув «Найдено 2 неработающих ссылки» в виджете панели инструментов или щелкнув пункт меню «Неработающие ссылки» в разделе «Инструменты» на боковой панели.

Затем вам будет представлен такой экран:

Как видите, обе неработающие ссылки на моем сайте являются результатом ошибки 404 Not Found, но плагин найдет любую ссылку, которая не разрешается правильно. Например, в нем будут перечислены все URL-адреса, которые не загружаются из-за нереактивного сервера.

Приведенный выше дисплей не требует пояснений. У вас есть URL-адрес неработающей ссылки, за которым следует ее статус, используемый текст привязки и, наконец, сообщение или страница, на которой она отображается. Однако настоящая прелесть Broken Link Checker заключается в том, что она позволяет исправлять или удалять эти ссылки на лету. Просто наведите указатель мыши на сломанный URL-адрес, и вам будет представлен список вариантов:

Опять же, параметры довольно очевидны: вы можете отредактировать URL-адрес, удалить ссылку (с сохранением текста привязки), пометить ссылку как неработающую (если, например, была решена временная проблема с сервером) или просто отклонить ссылка.

В приведенном выше примере я знаю, что ссылка не работает, поскольку она указывает на перенаправление 301, которое я с тех пор удалил. Таким образом, мне нужно отредактировать URL-адрес, чтобы он указывал на правильное местоположение:

Это так просто! Не покидая этого экрана, вы можете принять все необходимые меры для исправления неработающих ссылок. А с виджетом на панели инструментов WordPress любая неработающая ссылка на вашем сайте не будет оставаться неработающей надолго.

Все ссылки, которые вы отклоняете, можно найти по ссылке «Отклонено» вверху страницы:

Как видите, приведенный выше снимок экрана демонстрирует, какие еще сообщения об ошибках вы можете увидеть. Ссылка на Life Stoked является хорошим примером, поскольку я знаю, что это регулярно обновляемый блог. Когда программа проверки неработающих ссылок в последний раз сканировала его, должна была произойти временная ошибка сервера, из-за которой ссылка была помечена как неработающая. Но поскольку я знал лучше (и после проверки обнаружил, что она снова в сети), я смог пометить ссылку как «Не нарушена».

Бывают случаи, когда вам нужно просмотреть сообщение или страницу, на которых содержится ссылка, чтобы понять ее контекст. Ссылка на trafficplanet выше – хороший тому пример. Все, что мне нужно сделать, это навести указатель мыши на ссылку источника и нажать «Просмотр». Затем я могу найти ссылку на странице:

Я вижу, что ссылка ведет к конкретному сообщению на форуме, которого больше не существует. Таким образом, лучшее, что можно сделать с точки зрения взаимодействия с пользователем, – это:

1. Измените ссылку на главную страницу форума Traffic Planet
2. Добавьте примечание к сообщению о том, что названная служба больше не доступна

Одно быстрое изменение с помощью плагина Broken Link Checker и небольшое редактирование сообщения, и я решил любую потенциальную путаницу для посетителей сообщения.

Бесподобный плагин?

Мне не известно о каком-либо другом плагине, который бы соответствовал функциональности, предлагаемой Broken Link Checker. В мире, наполненном бесконечным количеством плагинов для SEO и т.п., это стало для меня сюрпризом. Лично я хотел бы видеть некоторую конкуренцию в области, которая, как я считаю, жизненно важна для постоянного удобства использования любого блога.

По большей части я пишу сообщения в блогах, которые, как мне нравится, выдерживают испытание временем. Мне вообще нравится писать «вечнозеленые» произведения, которые через год будут такими же актуальными, как и сегодня. Имея это в виду, для меня очень важно убедиться, что страницы, на которые я ссылаюсь в старых сообщениях блога, остаются правильными в будущем. Вот почему я считаю программу Broken Link Checker таким бесценным инструментом.

Как всегда, если у вас есть какие-либо вопросы или комментарии, не стесняйтесь задавать их через раздел комментариев ниже!

Источник записи: https://www.wpexplorer.com

Если вы хотите избавиться от низкокачественных, неактуальных, конфиденциальных страниц или дублей в результатах поиска Google, предлагаем ознакомиться с тремя популярными способами удаления URL из выдачи мирового поисковика.

Способ #1: С помощью Google Search Console

Старый метод

Страницы принадлежащие вашему сайту можно легко удалить с помощью Google Search Console. Сайт должен быть авторизован в сервисе Google для Вебмастеров.

Инструкция по удалению URL с помощью Google Search Console:

1. Обратитесь к инструменту для удаления URL от Google, он находится здесь,
2. Выберите подтвержденный ресурс,
3. Нажмите на кнопку Временно скрыть, введите URL и нажмите Продолжить,
4. Подтвердите операцию с помощью кнопки Отправить запрос.

По умолчанию, Google временно удалит URL из кеша и исключит его из поиска.

Страница пропадет из Google поиска примерно на 90 дней. Каждый новый URL-адрес будет иметь статус «Ожидающий удаления», но вы легко можете отменить этот запрос нажав кнопку Отмена.

Имейте ввиду, что этот способ — временный. Если страница продолжает находится на вашем сайте спустя 90 дней, возможно, Google снова начнет показывать ее в результатах поиска.

Новый метод

В новой версии Google Search Console появился инструмент для удаления URL. Его можно найти в левой колонке в разделе «Индекс». Примечательно, что временное скрытие страниц из Google было расширено до 6 месяцев или 180 дней, что вдвое больше предыдущей квоты.

Чтобы удалить URL через обновленную консоль, выполните:

1. Обратитесь к инструменту для удаления URL, теперь он находится здесь,
2. Выберите сайт,
3. Создайте запрос для удаления страницы во вкладке «Временные удаления» с помощью кнопки Создать запрос,
4. Введите URL страницы или раздела, который хотите скрыть и нажмите След.,
5. Подтвердите действие кнопкой Отправить запрос.

Способ #2: Используйте мета-тег noindex

Мета-тег noindex самый простой способ удалить страницу из результатов поиска или запретить ей индексироваться. Мета-тег это маленький отрывок кода в заголовке HTML-файла вашей страницы. Он запрещает Google и другим поисковым системам ее индексировать.

Вот как он выглядит:

<meta name="robots" content="noindex" />

Иногда можно встретить комбинацию noindex, follow вместо noindex — оба варианта имеют одинаковый эффект.

Вы можете добавить такой код вручную на ваш сайт, если имеете доступ к редактированию разметки HTML. Если вы используете WordPress, то большинство SEO-плагинов предоставляют опции запрета индексации отдельных постов, страниц и категорий.

Например, в популярном плагине Yoast SEO для WordPress это можно сделать во вкладке «Разрешить поисковым системам показывать запись в результатах поиска?», изменив статус «По умолчанию» на «Нет». Так, вы добавите мета-тег noindex в заголовок страницы.

Страницы должны исчезнуть из поиска, когда поисковой робот вновь обойдет их. Ускорить процесс можно с помощью инструмента по удалению устаревшего контента Google. Это лучший способ запрета индексирования контента или удаления ненужных URL.

Пока тег noindex присутствует на страницах, они не попадут в поле зрения краулера и не будут показываться в результатах поиска. Мета-тег noindex также поможет исключить страницы из других поисковых систем, включая Яндекс, Bing и Yahoo.

Вы также можете применить мета-тег noindex ко всему сайту, чтобы убрать все ваши страницы из результатов поиска. В WordPress это можно сделать в панели управления: Настройки > Чтение. Установите флажок «Попросить поисковые системы не индексировать сайт» в блоке «Видимость для поисковых систем».

Не используйте этот прием на работающем сайте, если не хотите потерять поисковой трафик.

Способ #3: Удаление URL навсегда

Если страница не преследует никакой цели, вы можете просто удалить ее с сайта навсегда. В момент сканирования страницы роботом, сервер сообщит ему о том, что такая страница не найдена (404) или удалена навсегда (410).

Отметим, что лучше использовать вызов серверной ошибки 410, так как стандартная ошибка 404 Not Found в дальнейшем может привести к повторному индексированию URL, подробнее об этом можно узнать из справки Google.

Иногда, страница которую вы хотите убрать из поиска может иметь устойчивый трафик или входящие ссылки, которые несут ценность для SEO.

В таком случае, для удобства пользователей лучше использовать 301 редирект для перенаправления новых посетителей и поискового робота на другую релевантную страницу или раздел.

Не рассчитывайте на Robots.txt

Robots.txt — специальный файл, который используется для регулирования процесса индексации сайта поисковыми системами.

Например, с его помощью вы можете ограничить доступ робота Google к конкретным страницам и разделам вашего сайта. Как показывает практика, полностью полагаться на этот файл не совсем правильно.

Если у страницы, которую вы хотите удалить из поиска есть трастовые входящие ссылки, Google может проигнорировать требования Robots.txt и показать страницу в поиске с ограниченным сниппетом.

Как удалить весь сайт из Google

Лучший способ удалить сайт из Google это добавить тег noindex к каждой странице. Вы также можете использовать плагин для ограничения доступа к контенту с помощью серверной авторизации, если проще — установить пароль для скачивания и просмотра документа пользователями.

Кроме того, вы можете заблокировать сайт от обхода роботов, указав в robots.txt следующее:

User-agent: *
Disallow: /

Как удалить URL-адреса с сайтов, которыми вы не владеете

Гораздо сложнее удалить страницы из Google если они не принадлежат сайту, который вы контролируете. Тем не менее, если кто-то скопировал ваш контент, то у вас есть возможность удалить его из Google заполнив форму о нарушении авторских прав (DMCA).

Лучше всего начать с отправки запроса о нарушении авторских прав хостинговой компании в которой обслуживается нарушитель.

Также вы можете отправить запрос о нарушении прав непосредственно в Google, используя инструменты поддержки. Кроме того, Google сделал детальный гид о удалении стороннего контента.

Но, если для удаления страницы нет надлежащей юридической причины это, как правило, невозможно. Лучший способ удаления таких страниц это отправка письма вебмастеру напрямую с просьбой удалить ворованный или конфиденциальный контент.