Cообщество пользователей SMF

Вот список ботов и программ качающих ваш проект целиком и соответственно повышающих нагрузку. Столкнулся на проектах у двух пользователей( вплоть до писем счастья от хостера) и решил скинуть.
Если кто то из них ползает по вашим сайтам, стандартно запрещаем его в robots.txt ( конечно по желанию и необходимости)

Список естественно не я собирал, инфа с уважаемого ресурса http://www.webmasterworld.com/
Для параноиков, просто копируем в свой роботс

User-agent: OmniExplorer_Bot
Disallow: /

User-agent: FreeFind
Disallow: /

User-agent: BecomeBot
Disallow: /

User-agent: Nutch
Disallow: /

User-agent: Jetbot/1.0
Disallow: /

User-agent: Jetbot
Disallow: /

User-agent: WebVac
Disallow: /

User-agent: Stanford
Disallow: /

User-agent: naver
Disallow: /

User-agent: dumbot
Disallow: /

User-agent: Hatena Antenna
Disallow: /

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: Mozilla
Disallow: /

User-agent: mozilla
Disallow: /

User-agent: mozilla/3
Disallow: /

User-agent: mozilla/4
Disallow: /

User-agent: mozilla/5
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT)
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95)
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 98)
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows XP)
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 2000)
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Stanford Comp Sci
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: http://www.webmasterworld.com bot
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: http://www.searchengineworld.com bot
Disallow: /

User-agent: http://www.webmasterworld.com bot
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: WebmasterWorld Extractor
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: sootle
Disallow: /

User-agent: es
Disallow: /

User-agent: Enterprise_Search/1.0
Disallow: /

User-agent: Enterprise_Search
Disallow: /


Есть чем дополнить, велком.

Спасибо! Узнал много нового кто к нам ходит. роботс дополнил.

У меня аномалия!
Я добавил это в роботс и сразу на сайте резко увеличилось гостей с разных айпишников.
Они зашли с разницей в 1 секунду. Как будто все они наоборот налетели на сайт мой о_О
Так разве должно быть ??

просто совпадение

появилось сразу 23 гостя с разницей в 1 секунду. Это не могли быть люди

Второй день получаю от хостера мессагу о превышении нагрузки. Вчера дополнил роботс первым постом, сегодня утром опять письмо от хостера. Причем превышение второй раз происходит в одно и то же время с 02:00 до 02:50 в это время рунет и мой форум и сайт спят. Как мне определить кто хулиганит?

awilum У некоторых ПС напрмер яху, боты сканить могут сайт в 2000 потоков, это не говоря о разных скриптах и софте. И на сайте будет соответсвенно 2000 гостей(если не стоит ни чего определяющего) с разницей в 1 сек.

Beer, смотреть по логам апача. Если нет возможности смотреть самому, обратится к хостеру.

Уважаемые, пожалуйста, не нужно без особой необходимости добавлять весь список себе в файл. Смотрите по логам и тогда принимайте решение по определённым ботам/программам.

Посмотрел
194.176.118.19 - - [17/Aug/2009:02:02:45 +0400] "GET  HTTP/1.0" 200 46513 "-" "Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)"
194.176.118.19 - - [17/Aug/2009:02:02:51 +0400] "GET  HTTP/1.0" 200 23018 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Это яндекс или апорт?
Еще этого 92.39.71.56 мнооого в списке

Цитироватьinetnum:       194.176.118.0 - 194.176.118.255
netname:       LEADERHOST-NET
descr:       LeaderHost Ltd.

Эт хостер мой ... чота я не так делаю кажись ...


Запретить яше - нельзя ведь ... а как поступить? Все, что не нужно уже позапрещено в роботсе.

Запрещать не обязательно, а ограничить можно. В панели веб мастера(яндекс) посмотрите ман по роботс яндекса, там написано как его ограничить.

92.39.71.56 посмотрите может дело именно в этом товарище из Кирова, а не в ботах ПС и переходах с них.

 В это время хостер делает бекап. Там в логах 99% его IP, обращения к сайту каждую секунду, иногда даже 2 раза в секунду. Это же ддос атака блин! А потом мне письмо о превышении ....
Отписал ему, ...  у других клиентов такого не наблюдается, возможно одновременно + поисковики, тогда да.

Активного товарища 92.39.71.56 наверное типа так прописать?:

order Allow,Deny
Deny from 92.39.71.56
Allow from All

Смотрел тут: http://www.simplemachines.ru/index.php/topic,2442.0.html

Кажись по диапазону правильнее так:
Order Allow,Deny
Allow from all
Deny from 92.39.64.0 - 92.39.79.255

Хотел сегодня на ночь забанить хостера, но выявилось, что такой же IP 194.176.118.19 имеет пользователь на форуме.
Как это может быть?

На самом деле для меня загадка, как вы увидели айпи хостера делающего бекап на вашем сервер. Точнее я вообще не понял при чём тут бекап и запросы на ваш сервер.
Либо у вас есть информация какая то, о чем не написано.
В общем возможно это айпи сервера с вашего же хоста и от туда либо граббером, либо другим способом сливают инфу. Возможны конечно варианты.
Подумайте, посмотрите куда идут запросы. И забаньте нафиг навсегда.


Создайте отдельную темку по этой проблеме , тут только по теме.

Продолжение: http://www.simplemachines.ru/index.php/topic,7953.msg52077.html#msg52077

А про бота FollowSite что-нибудь известно? Надо его банить? Они даже предлагают кнопку свою поставить.
http://www.followsite.com/bot.html

Congratulations! Your website is important to one (or more) of our users and has been added to FollowSite. We now monitor your site and notify the user when it is updated.

As webmaster you can help visitors get notified when your website is updated by adding the FollowSite widget to your site. When added you will start getting more loyal visitors that will return every time your site is updated. The powerful widget can be implemented very easily (no account or signup required), simply add the following code to your website:

Да как хотите, насколько я понимаю, если ваш сайт не англоязычный, то толку от него нет.
Если не наглеет, то пусть будет. Начнёт наглеть, в баню. думаю там написано что он поддерживает.

А вы в курсе вообще, что некоторые боты могут попросту не учитывать этот роботс совсем? =) Все же зависит от криворукости програмеров, их писавших... ИМХО бред вообще такой здоровый роботс вешать, вы оптимизируйте форум лучше, чтоб нагрузка такая не создавалась или найдите другого хостера без заморочек

.htaccess вроде никто не отменял
роботс для вменяемых, .htaccess для невменяемых.
Каждой сестре по сережке.

Цитата: vladok от 02 ноября 2009, 09:47:38
.htaccess вроде никто не отменял
роботс для вменяемых, .htaccess для невменяемых.
Каждой сестре по сережке.

вот-вот, +1 =)

User-agent: Wget
Disallow: /

Запретила, толку ноль, все равно приходит, каждый раз с новым айпи. Баню их через хост.

Цитата: His Divine Shadow от 24 ноября 2009, 22:20:00
User-agent: Wget
Disallow: /

Запретила, толку ноль, все равно приходит, каждый раз с новым айпи. Баню их через хост.

Если бороться, то до победного. Что бы аж....
Сюды .htaccess

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

Цитата: vladok от 02 ноября 2009, 09:47:38
.htaccess вроде никто не отменял
роботс для вменяемых, .htaccess для невменяемых.

Цитата: His Divine Shadow от 24 ноября 2009, 22:20:00
User-agent: Wget
Disallow: /
Запретила, толку ноль, все равно приходит, каждый раз с новым айпи. Баню их через хост.

Чем отличается бан через хост и с помощью htaccess? Опять увидела Wget:
(192.100.130.8, Wget)    21:55:31    Просматривает тему События в игре, кратко и очень кратко.

Никак не уймется. А у меня лимит на нуле практически, ибо посещаемость выросла, увы, неожиданно)

тем что роботс это рекомендация необязательная к исполнению, а htaccess это явный запрет!

Вот эта дрянь приперлась и нафигячила 600 хитов в течении нескольких минут ))
MJ12bot
туточки живет: http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Cuil  (216.129.119.13)     23:46:39     Скрытый пользователь. Просмотр не доступен.

А вот такого знаете? Не поняла, кто такой.

http://ru.wikipedia.org/wiki/Cuil

А как их вписать правильно? Вот пример моего htaccess:

# beginning of directives for Apache Error Handling modification
RewriteEngine on

RewriteCond %{HTTP_HOST} !^(www.satmaster.org.ua) [NC]
RewriteRule ^.*$ http://www.satmaster.org.ua%{REQUEST_URI} [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule (.*)  /index.php?action=error;code=404

ErrorDocument 400 /index.php?action=error;code=400
ErrorDocument 401 /index.php?action=error;code=401
ErrorDocument 402 /index.php?action=error;code=402
ErrorDocument 403 /index.php?action=error;code=403
ErrorDocument 404 /index.php?action=error;code=404
ErrorDocument 405 /index.php?action=error;code=405
ErrorDocument 406 /index.php?action=error;code=406
ErrorDocument 407 /index.php?action=error;code=407
ErrorDocument 408 /index.php?action=error;code=408
ErrorDocument 409 /index.php?action=error;code=409
ErrorDocument 410 /index.php?action=error;code=410
ErrorDocument 411 /index.php?action=error;code=411
ErrorDocument 412 /index.php?action=error;code=412
ErrorDocument 413 /index.php?action=error;code=413
ErrorDocument 414 /index.php?action=error;code=414
ErrorDocument 415 /index.php?action=error;code=415
ErrorDocument 416 /index.php?action=error;code=416
ErrorDocument 417 /index.php?action=error;code=417
ErrorDocument 500 /index.php?action=error;code=500
ErrorDocument 501 /index.php?action=error;code=501
ErrorDocument 502 /index.php?action=error;code=502
ErrorDocument 503 /index.php?action=error;code=503
ErrorDocument 504 /index.php?action=error;code=504
ErrorDocument 505 /index.php?action=error;code=505
# end of directives for Apache Error Handling modification


<IfModule mod_security.c>
# Turn off mod_security filtering.  SMF is a big boy, it doesn't need its hands held.
SecFilterEngine Off

# The below probably isn't needed, but better safe than sorry.
SecFilterScanPOST Off
</IfModule>
## USER IP BANNING
<Limit GET POST>
order allow,deny
deny from 89.149.242.195
deny from 89.149.195.248
deny from 91.77.184.170
deny from 94.181.71.60
deny from 89.189.177.136
deny from 109.196.17.23
deny from 188.40.44.195
allow from all
</Limit>

Подскажите, как все таки забанить эти качалки?
Код в .htaccess
RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR] (тот, что выше), но тем не менее, юзерагент
"Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)" как то обходит этот запрет. Что я делаю не так?

upd. Проблема решена, надо удалить ^ со строки, тогда работает.