"Яндекс" проводит DoS-атаки - Форум города Изобильного

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1
1

"Яндекс" проводит DoS-атаки

XALIF

Дата: Понедельник, 22-06-09, 16:43 | Сообщение # 1

IT News Maker

Группа: Местный

Сообщений: 531

Награды: 4

Репутация: 31

Статус: Offline

Компания SmartWeb, владеющая проектами-каталогами UAProm.net и RUProm.net, вынуждена была забанить сумасшедшего робота "Яндекса", который выкачивал десятки страниц в секунду. "Сегодня наш сервер переполнил количество соединений с СУБД из-за излишней прожорливости YandexSomething-бота", - сообщается в блоге компании 15 июня. Далее говорится, что в этот день между 20 и 21 часами робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net, доходя до 12 страниц в секунду. В твиттере той же компании говорится уже про 20-30 запросов в секунду. Бот YandexSomething описывается в разных источниках как робот, "индексирующий новостные потоки партнеров Яндекс-Новостей". Однако, судя по обсуждениям в форумах, он донимает не только новостные сайты. В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net забанили этого бешеного бота через robots.txt. Но сегодня они выяснили, что это приводит к мстительному эффекту - "Яндекс" вообще перестал индексировать их сайт. Пришлось заменить полный запрет бота (Disallow) на уменьшение частоты доступа (Crawl-delay). Стоит заметить, что уже не первый случай сумасшествия поисковых пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже производили эффект DoS-атаки. Представители робота отмазались весьма стандартно: Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс". Ровно те же аргументы использовала в 2006 году Webalta, чей робот создавал перегрузки у провайдеров. Представители поисковика тоже говорили тогда, что во всем виноваты вебмастера, которые не легли под робота именно в той позе, которую захотел робот в этот день.