CDN, Googlebot и кэш: как не сломать сайт при переходе на новый сервер

На Google обсудили, как переход на CDN может спровоцировать рост индексации и перегрузку сервера — даже если цель была ускорить сайт. Суть в том, что кэш не заполнен сразу, и Googlebot начинает полоскать сервер как воду из шланга.

CDN не спасёт от Googlebot сразу

Переход на CDN не означает, что сайт мгновенно защищён. Когда кэш пуст, каждый запрос от Googlebot идёт на исходный сервер. Это неизбежно. Пока кэш не наполнится, CDN не работает как щит. И в этот момент Googlebot, увидев, что сервер отвечает быстро, начинает увеличивать частоту запросов. Это не ошибка, это логика: быстрый ответ — сигнал, что можно больше. Но для сервера это как включить шланг на полную мощность, пока кэш ещё не заполнен. Мы видим это на практике: сайты, которые перешли на CDN, в первый день падают под нагрузкой, потому что кэш пуст, а Googlebot уже работает в максимуме.

Когда защита становится врагом

Опасность не в том, что CDN сломается, а в том, что администратор, увидев рост трафика, в панике включает защиту от ботов. Cloudflare или другой провайдер может блокировать Googlebot, если сработает «строгий режим». CAPTCHA не пройдёт, потому что бот не видит светофор. В результате — сайт исчезает из поиска. Это не редкость. Мы сталкиваемся с этим, когда клиенты жалуются, что их сайт «пропал». А причина — в том, что настройки безопасности были настроены на «всё, что не человек — враг». И Googlebot оказался в числе врагов.

Раньше — всё по-старому, теперь — с кэшем

Раньше сайт был на одном сервере. Быстро — хорошо, медленно — плохо. Никто не думал, что кэш может быть проблемой. Теперь — CDN. Сначала всё кажется идеальным. Но если не подготовиться, вместо ускорения получается перегрузка. Проблема не в технологии, а в её внедрении. CDN не заменяет инфраструктуру, он её усиливает. Но только если кэш заполнен. Иначе — он просто перенаправляет нагрузку. Это не ошибка, это закономерность. И её нужно учитывать на этапе запуска.

Кто должен это знать — и как понять

Если у вас сайт с высокой посещаемостью, если вы недавно перешли на CDN или планируете это сделать — это про вас. Если вы замечали, что после обновления сайт стал медленнее, а потом вдруг начал «сжигать» сервер — это не случайность. Это следствие того, что кэш пуст, а Googlebot уже работает. Если вы включили защиту от ботов и не знаете, почему Google перестал индексировать — проверьте, не заблокировали ли Googlebot. Это не про технические сбои, это про логику работы поисковика. И она не меняется.

Что с этим делать — шаги в общем виде

Сначала — не включать защиту на полную. Второе — предварительно заполнить кэш. Программно запросить ключевые страницы через CDN, чтобы они оказались в кэше до начала индексации. Третье — настроить CDN так, чтобы Googlebot был в списке доверенных. Четвёртое — если нагрузка на сервер растёт, временно ограничить частоту запросов от Googlebot, но не блокировать его. Пятый — мониторить индексацию. Если страницы исчезают — проверить, не заблокирован ли бот. Это не чрезвычайная ситуация, это часть процесса. И она решается заранее, а не после падения.

Что мы с этим делаем

Работаем с 2002 года, более 1000 проектов. Мы в Cetera. Когда мы внедряем CDN, мы не просто подключаем сервис. Мы смотрим, как будет работать индексация. Проверяем, как настроены правила безопасности. Планируем предварительное заполнение кэша. Настроим исключения для Googlebot. Учитываем, что поисковик не будет ждать, пока кэш заполнится. Он начнёт индексировать сразу. И мы готовим инфраструктуру к этому. Это часть комплексной работы. Не только техника, но и понимание, как работает поисковик. Если хотите понять, как это выглядит у вас, — давайте обсудим вашу задачу.

Это часть нашей работы — Администрирование. Поддерживаем сайты всех типов на CMS и фреймворках: Cetera CMS, Laravel, Yii2, InSales, «1С-Битрикс», Bitrix24, WordPress, WooCommerce, Ecwid, OpenCart, Drupal, Joomla, Magento2, Shopify и самописные системы на PHP и Python. Инфраструктура, развитие и продвижение включены. Администрирование

Автор: Святослав Семенов из Cetera Labs

← Все новости

Вопросы и ответы

С удовольствием отвечу — vladislavukhov@gmail.com

Другие регионы

Правовая информация

© Владислав Ухов, vladislavukhov@gmail.com, +79051345191, 2022-2026

Поддержка сайтов — Cetera Labs