Ошибка 404 («Страница не найдена», на англ. “Page not found” ) – это стандартный код статуса HTTP, который возникает при попытке запроса ответа сервера пользователем на веб-документ, который был удален. В общем, это страница, которой не существует.
Причины возникновения 404 ошибки
- страница была удалена из сайта;
- пользователь некорректно ввел URL-адрес;
- страницу переместили, а редирект был настроен неправильно;
- неисправность сервера (в редких случаях).
В идеале на сайте должны вообще отсутствовать ссылки, которые показывают 404 ошибку сервера (или внешние ссылки с таким кодом). Если сайт содержит тысячи страниц, то проблем с 404 ошибкой довольно трудно избежать. Но возникновение таких ошибок на маленьком сайте говорит о невнимательности его владельца или вебмастера.
Увеличение количества 404 ошибок
Бывают случаи, когда при проверке сайта поисковые системы уведомляют о десятках ошибок. Но что, если количество ошибок возрастает многократно, а их счет идет на тысячи? Быстрое решение нужно искать, если число 404 ошибок превзошло уровень 10% ото всех страниц сайта. Причины быстрого роста таких страниц могут быть разные. В основном такая ситуация возникает из-за проблем с кодом (например, эти страницы были созданы с помощью скриптов и стилей, а стили прописаны в коде шаблона, а не в специальном файле).
Другая причина, по которой роботы избегают недоступных страниц – кибер-атака (к примеру, наличие страниц дорвея на веб-сайте). Но и после их исчезновения роботы по-прежнему будут избегать созданных веб-страниц в течение некоторого времени, и это может привести к появлению многочисленных 404 ошибок.
Как отслеживать 404 страницы
1. Sitechecker
Разовый аудит в Sitechecker помогает найти все битые ссылки на сайте, и определить на каких страницах они размещены.
Мониторинг сайта в реальном времени дает возможность узнать о появлении 404 страниц, которые появились в результате последних обновлений сайта.
Если вы часто вносите изменения на свой сайт, то мониторинг поможет вам держать руку на пульсе и мгновенно реагировать на критические ошибки допущенные лично вами, сотрудниками или подрядчиками.
2. Яндекс.Метрика
Вы должны использовать вкладку «Параметры посещений» в Яндекс.Метрике, если хотите проверить количество переходов по битым ссылкам. Просто поместите эту строку в код счетчика:
params:window.yaParams||{ }});Также вы должны поместить этот JS-код где-то на 404 странице:
<script>
var url = document.location.pathname + document.location.search
var url_referrer = document.referrer;
var yaParams = {error404: {page: url, from: url_referrer}};
</script>
3. Google Analytics
Чтобы отследить переходы пользователей по битым ссылкам в аналитике, вы должны установить этот код на странице 404:
<script>
ga('send', 'pageview', '404.html?page='+ document.location.pathname + document.location.search +'&from=' + document.referrer);
</script>
Где document.location.pathname + document.location.search – это URL-адрес страницы, которая не найдена на сайте, а document.referrer – урл страницы, которая используется пользователем для перехода на 404 страницу.
4. Yandex.Webmaster
Чтобы найти 404 страницы следуйте этому пути.
Яндекс.Вебмастер > Индексирование > Страницы в поиске > Исключенные страницы
В этом отчете вы можете отфильтровать все страницы со статусом «Ошибка HTTP: 404».
5. Google Search Console
Следуйте этому пути, чтобы увидеть 404 ошибки, которые нашла Google Search Console.
Google Search Console > Index > Coverage > Excluded
Так вы попадете на список страниц, исключенных из индекса. И среди них есть страницы с 404 ошибками.
Кликните на тип 404 ошибки и вы получите список URL, которые хотите проанализировать.
Основная опасность 404 ошибки
Многие утверждают, что отсутствие страниц имеет непосредственное влияние на индексацию веб-ресурса и отрицательно сказывается на его ранжировании в результатах поиска. Но чаще всего это утверждение ошибочное. Что же происходит с страницей, когда поисковый робот её находит? Он стирает её из индекса (если страничка присутствовала в нем, а если нет, то робот просто не будет сканировать её).
Очевидно, такое происходит потому, что страница становится не информативна и малополезна для пользователя. Но также стоит не забывать о SOFT ошибках.
SOFT 404 не является официальным ответом сайта, а скорее тегом, который присваивается поисковыми системами странице после сканирования.
Поисковые системы принимают решение о присвоении такого статуса по причинам:
1. Если на страничке присутствует незначительное количество текста или там его нет совсем (Google способен посчитать такую страницу 404-й, а Яндекс – некачественной).
2. На странице включена переадресация, которая не отвечает на запросы пользователей.
3. Исчезнувшая страница не дает ответа сервера 404 или 410.
Что выбрать: 301 или 404
После удаления страниц назревает новый вопрос: какой следующий шаг предпринять? Что лучше, использовать 404 ответ сервера или 301 редирект? Каждый случай стоит проанализировать отдельно: к примеру, инструментарий, который вы успешно использовали для онлайн-магазина, может не совсем подходить для веб-сайта, который предлагает услуги или для другого интернет-магазина. 404-й серверный код следует устанавливать, если по некоторым причинам страница окончательно удалена с ресурса. 301 редирект же лучше использовать когда:
- Адрес страницы был изменен (например, при изменении структуры сайта);
- Страница релевантна запросу пользователя;
- Возможно перенаправление на другую страницу с похожим контентом (на той же теме или со страницы с описанием товара в каталог);
- Присутствуют обратные ссылки на страницу.
301 редирект на главную страницу – не лучший вариант как для пользователей (ведь он может вводить их в заблуждение), так и для SEO оптимизации (например, поисковый паук Google отмечает его кодом SOFT 404).
404 ошибка и поведенческие факторы
Вспомните свое чувство, когда после перехода на сайт в поисках определенной информации вы наблюдали белый монитор с 404 ошибкой, вместо данных, которые пытались найти. Что делает среднестатистический пользователь в такой момент? Само собой, он закроет пустую вкладку и продолжит свои поиски. Увеличение на сайте количества страниц с 404 кодом сервера приводит к тому, что пользователи проводят на нем меньше времени, быстрее его покидают, испытывают к сайту негативные эмоции.
Алгоритмы поисковых систем всё больше внимания уделяют именно поведению пользователей, как одному из факторов ранжирования сайтов. Если вы не хотите, чтобы поведенческие факторы на вашем проекте ухудшались, подойдите к процессу создания 404 страницы со всей ответственностью, сделайте её увлекательной и удобной.
Создание собственной 404 страницы
Перед созданием такой страницы, необходимо детальнее понять какие задачи она решает для пользователя. Главные цели такой страницы:
- Привлечь больше внимания пользователей;
- Объяснить, что происходит;
- Дать посетителю решение конкретной проблемы.
Поисковые системы, дают такие рекомендации:
1. Google
- Страница должна повторять основную стилистику сайта (даже в аспекте навигации).
- На ней должны располагаться ссылки на наиболее востребованные и читаемые статьи и комментарии.
- Дайте посетителям сайта сообщить вам о любых битых ссылках.
2. Яндекс
- 404-я страница должна иметь особый дизайн, который отличается от остальных страниц на сайте;
- Когда вы создаете такую страницу, используйте разные цвета или вовсе не используйте графику.
3. Общие рекомендации
- На ней должна быть ссылка на домашнюю страницу сайта;
- Стоит объяснить пользователям в доступной форме, что искомая страница к сожалению, недоступна.
Упомянутые выше советы не являются беспрекословными правилами. Многое зависит от темы сайта и его целевой аудитории. Поэтому если, например, у вас интернет-магазин, то обязательно добавьте блок поиска, а если вы продвигаете какие-нибудь услуги – укажите контакты. Ниже есть примеры 404 страниц для разного типа сайтов (социальных сетей, SaaS сервисов, интернет-магазинов).