Июнь 19, 2009
Робота "Яндекса" забанили
Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить робота "Яндекса", который выкачивал десятки страниц в секунду.
"Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду.
Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров Яндекс-Новостей". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты.
В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту - "Яндекс" вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay).
Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота объяснились типично: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".