Делайте, что можете, просто не рассчитывайте на эффект. В конце концов, бюджет сканирования, в первую очередь, касается качества. Чем более «свежим», всесторонним контентом вы как увеличить краулинговый бюджет делитесь, тем больше людей захотят его расшарить. Вероятно, вы уже знаете, что Google за это больно наказывает, но это также может негативно повлиять на бюджет сканирования.
Логи — это файлы (журнал), содержащие информацию о работе сервера или компьютера, в которые заносятся обращения пользователя или бота. В статье мы подробно разберём, что такое краулинговый бюджет, от чего он зависит, можно ли им управлять и как это делать. Краулинговый бюджет рассчитывается для каждого сайта индивидуально, но точная формула, к сожалению, неизвестна.
Как проверить отчет о краулинговом бюджете?
Внизу есть список с URL-адресами с ошибками сканирования (если они есть). Это функция одного из моих любимых инструментов, поисковой консоли Google. Вы должны знать, что Google обязательно сообщит вам о любых ошибках, с которыми столкнется, сканируя ваш сайт. Они могут привести к тому, что ваш сайт будет загружаться более 2 секунд.
Немного сложнее обстоят дела с 404 кодом – страница не найдена. Если возвращается 404, то это сигнал боту о том, что возможно страница появится позже, поэтому он периодически будет ее посещать. Если на сайте присутствует много удаленных страниц, но возвращающих 404 код, то лимиты будут тратиться в больших количествах. Оптимизация краулингового бюджета может затянуться на продолжительное время. Цель – привлечь ботов на важные разделы и страницы и исключить их посещения от мусорных.
Советы по оптимизации краулингового бюджета сайта для роста позиций в поисковых системах (SEO)
Любая поисковая система старается оптимизировать процесс индексации сайтов, выделяя на каждый из них лимиты. Краулинговый бюджет сайта определяет количество документов, которое поисковый робот должен обойти за одно посещение или другой временной промежуток. Например, если бот обходит 60 URL-адресов в сутки, то на ваш сайт выделяется 1800 https://deveducation.com/ страниц краулингового бюджета ежемесячно. Чтобы понять суть проблем с индексацией, достаточно выяснить, каковы ограничения по количеству страниц, доступных для обхода роботами поисковых систем. Если страниц на сайте много и каталог регулярно пополняется, то скорость увеличение скорости индексации становится максимально актуальной темой.
Ещё один важный источник информации об ошибках – это инструменты вебмастеров. Яндекс-Вебмастер, например, вообще предлагает включить мониторинг важных страниц, чтобы вы могли своевременно получать уведомления об ошибках. Процесс краулинга лучше описан для роботов Google благодаря тому же Гэри Иллису (Gary Illyes). Google создаёт список URL и сортирует их по приоритетности. Затем начинается сканирование по списку, сверху донизу.
Работа с кодами ответов страниц
Краулинговый бюджет формируется пользовательским спросом и доступностью сервера. При наличии большого количества URL на одном IP индексация может замедлиться, поэтому крупным веб-проектам необходима оптимизация контента с учетом этого показателя. На относительно маленьком проекте о краулинговом бюджете можно не задумываться, т.к. Его количества хватает с избытком на то, чтобы проиндексировать новые страницы.
Лимит скорости сканирования не дает Google ботам слать слишком много запросов и замедлять работу вашего сайта. Вам нужно всего лишь улучшать свой сайт, работать над контентом и со временем он будет повышаться. Тут все прозрачно – чем быстрее грузится сайт, тем быстрее его просканируют роботы.
Избавьтесь от проблемных кодов ответа, чтобы не тратить время ботов на их проверку
Краулинговый бюджет — это количество страниц веб-сайта, которые сканирует Googlebot в течение определённого периода времени. Проще говоря, это количество страниц, которые бот хочет и может обойти. Многие глубоко убеждены, что нет смысла анализировать поведение поисковых ботов, количество и качество страниц, которые они обходят.
Поисковые системы используют её для навигации и в какой-то мере для получения указаний по приоритетам. В sitemap.xml может содержаться информация о дате создания, последнего изменения, присвоенного вами приоритета по важности, частоте обхода и т.д. Ещё одна проблема с лишними редиректами – это ссылочный вес. Каждое перенаправление уменьшает его, поэтому ваш линкбилдинг работает менее эффективно. В некоторых случаях просто так закрыть дублирующую страницу от робота нельзя чисто технически. В таком случае используют тег Canonical, объясняющий роботу, какая страница должна быть в индексе, а какую можно проигнорировать.
Leave a Reply