Поисковые боты

Автор kak2z, 06 ноября 2011, 19:14:41

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

kak2z

Ну собственно вопрос, есть у меня ВПС, временами начинает ну очень сильно тормозить - обычно время генерации главной страницы с порталом 0.3-0.5 сек, во время тормозов 1.5-8.
Хостер сказал что скорее всего боты нагружают. Как можно узнать (может скрипт какойто) какой именно бот грузит? Может есть какие то рекомендации общие для ботов? В роботсе представленном в другой теме только один поисков ограничивается.
Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)

remingtone

посмотри логи, похоже на twiceler

kak2z

а как его вычислить? по айпи?
Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)

remingtone

если он не забит в "пауках" (поисковые системы) - забей его сам по юзер-агент и поглядывай статистику

Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html).

админка > пользователи > поисковые системы > пауки

админка > пользователи > поисковые системы > статистика

в статистике указывается, когда какой бот был в последний раз. а вообще попробуй включить в настройках ПС подробную статистику (учитывать каждую посещенную страницу) - там видно, кто и сколько раз заходил. и куда. а может это брутфорсят тебя, кучу http-запросов идет, вот и подвисает

kak2z

брутят все время)) а за робота спасибо)) не было его) Но от брута ничего не спасет особо)
Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)

remingtone

коли так - поможет отот мод (фаервол). надо посидеть с настройками, поначалу может будет не все гладко, но там не сложно в принципе. потом под репрессии может и будет изредка попадать невезучий юзер, но злоумышленники будут отрубаться на ура. я отключал блокирование на время, но щас логи посмотрел - и обратно включил. там кстати есть функция - отслеживание без блокирования. поначалу можно так, чтобы смотреть, кто куда лазит, а потом как картина обрисуется - в настройках защитить наиболее излюбленные места

Bugo

Разве Twiceler не отправился в мир иной, вместе с поисковой системой?

kak2z

Я хостеру написал, посмотрим что он скажет)
Если нужно что то исправить, обновить, переставить, настроить, сделать форум заново - пишите в ЛС)