Баните ли вы крибрумы, юсканы и прочих мониторщиков?

[gorbi]

Если да, то как? Я пытаюсь банить по диапазону IP

[ksamochkin]

че ругаешься?

[gorbi]

А не ругаюсь. Эти мониторщики соцсетей и форумов растут как грибы, а толку нам от них ноль.

[Yarik]

Так они и будут продолжать расти как грибы. Не баню,толку от этих банков не много.

[gorbi]

А у меня периодически эти товарищи вызывали ошибку 503. Я бы сделал публичную коллекцию этого мусора для облегчения банов

[Yarik]

А у меня периодически эти товарищи вызывали ошибку 503. Я бы сделал публичную коллекцию этого мусора для облегчения банов

Кстати,вчера хотел тегнуть модератора раздела Yworld_garry но посмотрел ему в профиль перед этим и понял что это бесполезно.Модератор раздела SEO Yworld_garry заходил сюда более чем пол года назад и судя по всему числится тут модератором раздела чисто для галочки.

[gorbi]

А зачем его тегать? Сами не справимся?

[Yarik]

А зачем его тегать? Сами не справимся?

Хотелось бы послушать его мнение на этот счет
Банить то надо не по IP,надо находить их User-agent и по ним банить.Ибо если банить по IP то это всё равно что палить из пушки по комарам.

[gorbi]

А чего пушка, если это одна строчка в htaccess?

[Yarik]

А чего пушка, если это одна строчка в htaccess?

А толку?
IP становится сильно токсичным,меняется IP и все продолжается по новой...
Если хостятся где-то в дата-центре Нидерландов то проще забанить все Нидерланды скопом,или будете в .htaccess перебирать все IP дата-центра?
Аренда IP стоит не так уж и дорого,IP становится сильно токсичным - сбрасывается этот IP и берется в аренду следующий.А все продолжается по кругу.Некоторые арендуют сразу целую сеть IP

[gorbi]

Я не думаю, что большинство владельцев интернет-ресурсов борются с парсерами. Скорее всего, покупают или увеличивают серверный ресурс.

Я думаю, что проблема больше у малышей. У меня, например, минимальный коммерческий тарифный план, который вполне позволяет легко обслужить 200-300 пользователей в сутки, а то и в час. Проблема парсинга, что они одномоментно с сотен айпи фактически дидосят сайт. Дешевле их отрубить, чем переезжать но более дорогой ТП.

Ещё одна проблема парсеров в том, что их заказчики присылают юридические претензии. Мол не так обошлись с их брендом. Удалите, а то пойдём в суд и так далее. И обнаруживают неудобный для них контент моментально. Значительно быстрее, чем поисковыми системами(ПС).

Кстати, по поводу ПС. Эти тоже растут, как грибы. Эппл, Нуавей добавились к старичкам. Но эти хоть прислушиваются к инструкциям в роботс. Парсерам все инструкции похер.

[Yarik]

https://www.finteza.com

Оценка трафика
Детектор ботов поможет найти грязный трафик, его тип и источник. Кроме того, определите присутствие на проекте скамеров, спамеров и хакеров.

[gorbi]

Да оно и без всякого детектора видно. Заходишь в кто онлайн, а там в разделе гости серия однотипных айпишников

[Yarik]

Да оно и без всякого детектора видно. Заходишь в кто онлайн, а там в разделе гости серия однотипных айпишников

Банить тогда по диапазону айпи...Но факт того что Вы забаните сейчас этот диапазон,они его через месяц скинут и перейдут в другое место.А диапазон забаненый так и останется висеть,уже бесполезно...
Плохо что самый дешевый тариф.Я так понимаю что никакой из файрволов не доступен?

[gorbi]

Файрвола вроде нет, но пока задача решена блокировками. Я не думаю, что им есть смысл менять айпи. Я в сети не видел статьи про борьбу с крибрумом и юсканом. Возможно они и не напрягают вебмастеров.

[Yarik]

Я не думаю, что им есть смысл менять айпи. Я в сети не видел статьи про борьбу с крибрумом и юсканом.

Смысл менять есть,и они и регулярно и меняют.Это уже было проверено лично несколько раз.Если вы сознательно блокируете работу их сканировщиков то они либо же начинают пробовать запускать к Вам ботов с других айпи.Либо же как мне было - писали гневные письма с требованием разблокировать их ботов и обеспечить им сканирование форума.

[gorbi]

Небольшому форуму вряд ли кто-то будет писать гневные письма, кроме адвокатов обиженных персон. Это реально тренд последнего года. Но это мы уходим в сторону.

Лично мне хотелось бы хотелось бы в этой ветке получить обсуждение не полезной нагрузки на форумы ))) И каких-то рецептов противостояния.

[Yarik]

Лично мне хотелось бы хотелось бы в этой ветке получить обсуждение не полезной нагрузки на форумы ))) И каких-то рецептов противостояния.

Рецепт противостояния файрвол,тот же Iptables,CSF и прочее.Что Вам увы не доступно.
Так что только .htaccess скорее всего.Все зависит от панели,в панели нигде нет защиты от DDOSa?

[gorbi]

В панели нет. Хостер говорит, что подключай внешний сервис по типу CloudFlare и там даже есть бесплатный ТП, но пока получается обходиться htaccess 

[Yarik]

Хостер говорит, что подключай внешний сервис по типу CloudFlare и там даже есть бесплатный ТП, но пока получается обходиться htaccess 

Не ясно по какому принципу их CF будет банить если они будут лазить с чистых айпи.

[gorbi]

Там, как минимум, должно быть удобнее в использовании правил. Сейчас нужно руками прописывать правила, кого-то по имени агента, кого-то по айпи. Как по мне, было бы удобнее указывать имена ботов и имена сервисов, которых ты не хочешь видеть.

[Yarik]

Сейчас нужно руками прописывать правила, кого-то по имени агента, кого-то по айпи. Как по мне, было бы удобнее указывать имена ботов и имена сервисов, которых ты не хочешь видеть.

Имя ботов это не то.User-Agent самое то если у бота он есть и у него много айпи.

[gorbi]

Я имя агента и имел ввиду. Но под него нужно писать правило. Однообразное для всех. А вместо этого можно было бы замутить чекбокс. Один раз выбрал и забыл

[Yarik]

А вместо этого можно было бы замутить чекбокс. Один раз выбрал и забыл

Угу.И мутить каждый раз когда они вздумают User-Agent сменить(при условии что он у них есть).И посмотреть кто быстрее заморится править User-Agent или чекбокс...

[gorbi]

Я полагаю, что специализированному сервису легче отслеживать подобные миграции, чем каждому отдельно взятому вебмастеру

[Yarik]

Я полагаю, что специализированному сервису легче отслеживать подобные миграции, чем каждому отдельно взятому вебмастеру

Учитываю количество развившегося сейчас дерьма отследить все просто не реально.
Как говорили мне еще во времена моего первого ДДОСа...От крупных реальных атак мы защитим.А вот с таким дерьмом вы должны бороться сами на уровне сервера...
Тут где-то были,выкладывал кто-то наработки как бороться с таким даже средствами самого движка.
Так же по моему и мод был,в котором можно было выставлять параметры защиты вот от таких наглых сканеров...Он их в бан посылает на определенное время при превышении количества запросов
Вот он кстати - https://www.simplemachines.ru/index.php?topic=13398.0

[gorbi]

Кстати, Крибрум компания Ашманова

[ksamochkin]

поставил Antibot.Cloud и не парюсь по всем сканерам, ботам и спамерам