Владельцы веб-сайтов столкнулись с резким ростом вредоносного трафика: боты массово имитируют легитимные поисковые краулеры Google, пытаясь обойти системы безопасности. Специалисты настоятельно рекомендуют проверять IP-адреса с помощью официальных инструментов верификации Google, чтобы отличать настоящих пауков от мошенников. Заметный всплеск активности, по данным администраторов, наблюдается с июня 2026 года.
Масштабная кампания под прикрытием облачных провайдеров
Крис Зибенманн (Chris Siebenmann), системный администратор Unix из Университета Торонто, один из первых обратил внимание на аномалию. В своем блоге Wandering Thoughts он отметил, что долгое время поддельные запросы от Googlebot были редкостью: «лишь несколько попыток время от времени». Однако ситуация кардинально изменилась. «В этом июне шлюзы открылись», — пишет Зибенманн.
По его словам, в течение нескольких недель он фиксировал сотни, а в некоторые дни — тысячи запросов в день, каждый из которых заявлял, что принадлежит Googlebot. Трафик исходил от множества IP-адресов, распределенных по различным облачным и хостинг-провайдерам. Зибенманн подозревает, что это единая масштабная кампания, а не разрозненные действия атакующих. Он обращает внимание на тактику злоумышленников: множество IP-адресов задействованы одновременно, каждый отправляет лишь несколько запросов с подделкой User-agent, а в случае неудачи некоторые боты повторяют попытку, меняя идентификатор.
Среди IP-адресов, сгенерировавших наибольшее количество подозрительных запросов, фигурируют адреса, принадлежащие HostRoyale, M247, Latitude.sh, Web2Objects и AWS.
Рекомендованные методы проверки от Google
Корпорация Google предоставляет инструменты для верификации своих краулеров. Разработчикам предлагается выполнить однократный DNS-запрос через командную строку или использовать опубликованные диапазоны IP-адресов для автоматического сопоставления. «Это полезно, если вы обеспокоены тем, что спамеры или другие злоумышленники получают доступ к вашему сайту, утверждая, что они от Google», — говорится в документации поискового гиганта.
Сам Зибенманн смог выявить нашествие именно благодаря тому, что настроил свои сайты на блокировку любых ботов, заявляющих о принадлежности к Google, но находящихся за пределами официально опубликованных IP-диапазонов компании. Это позволило с легкостью отсеивать поддельные запросы от настоящих.
Экономика ботов и разрыв «общественного договора»
Проблема выходит далеко за рамки технической неприятности. Объем HTML-трафика от ботов уже превышает человеческий и превращается в ощутимую статью расходов для владельцев серверов. Боты потребляют пропускную способность канала, замедляют работу сайтов, занимаются веб-скрапингом и воруют контент для обучения больших языковых моделей (LLM), не принося владельцам ресурсов никакой пользы. Генеральный директор Cloudflare Мэттью Принс (Matthew Prince) ранее предупредил, что боты захватывают интернет быстрее, чем ожидалось.
На этом фоне некоторые владельцы сайтов, включая Криса Зибенманна, начали пересматривать ценность исключительного положения Googlebot. Причина — изменение самой бизнес-модели Google. Поисковик смещается от традиционной выдачи «10 синих ссылок», приносящих сайтам трафик, к ответам, сгенерированным искусственным интеллектом, которые дают существенно меньше переходов и часто содержат некорректное цитирование.
Компьютерный ученый Пол Кантрелл (Paul Cantrell) ранее сформулировал суть «общественного договора» между сайтами и Google: «Их боты могут сканировать наши сайты, они могут индексировать наши сайты, и они могут показывать отрывки с наших сайтов, потому что и “только потому что” они отправляют людей на наши сайты». Сейчас многие полагают, что поисковый гигант нарушает эту негласную сделку, а массовая волна поддельных ботов лишь усугубляет ситуацию.
