Отображение названий ботов поисковых и прочих систем в списке посетителей

[artvolt]

На форуме Gorbi "Читай и пиши" в блоке "Сейчас на форуме" присутствует информация о поисковых пауках "Bing". У меня за несколько месяцев отображаются только Яндекс и Гугл, присутствия других пауков ни разу не видел в этом разделе. Может у меня что-то не так настроено? Хотелось бы чтобы все поисковые боты отображались полноценно, с названиями. Можно ли что-то сделать с настройками по этому поводу?

[Yarik]

Можно ли что-то сделать с настройками по этому поводу?

Центр администрирования -> Поисковые системы -> Пауки
Прописать нового паука
Bing   
User Agent его bingbot/2.0

[gorbi]

Я вообще-то борюсь с бесполезным паучьём. Бинг, как по мне, из таких. Просто до этого не дошли руки. Кстати, под видом гостей обычно ходят пауки.

[ksamochkin]

Вам недоступны вложения в этом разделе.
Как раз Bing

[ksamochkin]

Я тоже на своих сайтах заблокировал большую часть ботов:

Код Выделить Развернуть

RewriteEngine On

Код Выделить Развернуть

RewriteCond %{HTTP_USER_AGENT} ^.*(bing|mail|Pinterestbot|magpie).*$ [NC]

Код Выделить Развернуть

RewriteRule .* - [F,L]

Код Выделить Развернуть

SetEnvIf Remote_Addr "^208\.86\.198\." CrazyBots

Код Выделить Развернуть

SetEnvIf Remote_Addr "^208\.93\.7\." CrazyBots

Код Выделить Развернуть

Order Allow,Deny

Код Выделить Развернуть

Allow from All

Код Выделить Развернуть

Deny from env=CrazyBots

Код Выделить Развернуть

SetEnvIf User-Agent MJ12bot MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Twiceler MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Baiduspider MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Slurp MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Java MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent CommentReader MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Dolphin MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Yeti MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent discobot MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent BTWebClient MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Tagoobot MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent Ezooms MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent igdeSpyder MustDie=1

Код Выделить Развернуть

SetEnvIf User-Agent AhrefsBot MustDie=1

Код Выделить Развернуть

Order allow,deny

Код Выделить Развернуть

Allow from all

Код Выделить Развернуть

Deny from env=MustDie

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Aboundex" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "80legs" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "360Spider" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Java" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Cogentbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Alexibot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^asterias" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^attach" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BackDoorBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BackWeb" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Bandit" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BatchFTP" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Bigfoot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Black.Hole" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BlackWidow" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BlowFish" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BotALot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Buddy" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BuiltBotTough" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Bullseye" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^BunnySlippers" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Cegbfeieh" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^CheeseBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^CherryPicker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^ChinaClaw" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Collector" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Copier" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^CopyRightCheck" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^cosmos" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Crescent" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Custo" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^AIBOT" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^DISCo" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^DIIbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^DittoSpyder" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Download\ Demon" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Download\ Devil" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Download\ Wonder" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^dragonfly" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Drip" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^eCatch" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EasyDL" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^ebingbong" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EirGrabber" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EmailCollector" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EmailSiphon" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EmailWolf" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EroCrawler" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Exabot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Express\ WebPictures" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Extractor" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^EyeNetIE" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Foobot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^flunky" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^FrontPage" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^gotit" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^GrabNet" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Grafula" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Harvest" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^hloader" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^HMView" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^HTTrack" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^humanlinks" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^IlseBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Image\ Stripper" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Image\ Sucker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Indy\ Library" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^InfoNavibot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^InfoTekies" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Intelliseek" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^InterGET" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Internet\ Ninja" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Iria" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Jakarta" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^JennyBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^JetCar" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^JOC" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^JustView" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Jyxobot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Kenjin.Spider" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Keyword.Density" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^larbin" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LexiBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^lftp" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^likse" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LinkextractorPro" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LNSpiderguy" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LinkWalker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^lwp-trivial" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^LWP::Simple" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Magnet" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mag-Net" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^MarkWatch" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mass\ Downloader" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mata.Hari" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Memo" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Microsoft.URL" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^MIDown\ tool" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^MIIxpc" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mirror" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Missigua\ Locator" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mister\ PiX" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^moget" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NAMEPROTECT" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Navroad" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NearSite" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NetAnts" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Netcraft" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NetMechanic" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NetSpider" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Net\ Vampire" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NetZIP" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NextGenSearchBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NG" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NICErsPRO" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^niki-bot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NimbleCrawler" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Ninja" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^NPbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Octopus" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Offline\ Explorer" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Offline\ Navigator" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Openfind" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^OutfoxBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^PageGrabber" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Papa\ Foto" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^pavuk" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^pcBrowser" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Pockey" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^ProWebWalker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^psbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Pump" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^RealDownload" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Reaper" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Recorder" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^ReGet" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^RepoMonkey" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^RMA" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Siphon" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SiteSnagger" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SlySearch" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SmartDownload" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Snake" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Snapbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Snoopy" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^sogou" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SpaceBison" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SpankBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^spanner" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Sqworm" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Stripper" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Sucker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SuperBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^SuperHTTP" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Surfbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^suzuran" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Szukacz/1.4" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^tAkeOut" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Teleport" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Telesoft" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^The.Intraformant" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^TheNomad" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^TightTwatBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Titan" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^True_bot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^turingos" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^TurnitinBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^URLy.Warning" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Vacuum" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^VCI" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^VoidEYE" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Web\ Sucker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebAuto" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebBandit" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Webclipping.com" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebCopier" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebEnhancer" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebFetch" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebGo\ IS" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Web.Image.Collector" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebLeacher" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebReaper" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebSauger" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Website\ eXtractor" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Website\ Quester" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Webster" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebStripper" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebWhacker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WebZIP" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "Whacker" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Widow" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WISENutbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WWWOFFLE" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^WWW-Collector-E" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Xaldon" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Xenu" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Zeus" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "ZmEu" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Zyborg" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "AhrefsBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "HubSpot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "BLEXBot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "archive.org_bot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "bingbot" bot

Код Выделить Развернуть

SetEnvIfNoCase User-Agent "^Wget" bot

Код Выделить Развернуть

Deny from env=botИ нагрузка на MySQL и просто на сервер упала в разы

[gorbi]

А вставить код одним куском?

[Yarik]

А вставить код одним куском?

Проще простого

Код Выделить Развернуть

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(bing|mail|Pinterestbot|magpie).*$ [NC]
RewriteRule .* - [F,L]
SetEnvIf Remote_Addr "^208\.86\.198\." CrazyBots
SetEnvIf Remote_Addr "^208\.93\.7\." CrazyBots
Order Allow,Deny
Allow from All
Deny from env=CrazyBots
SetEnvIf User-Agent MJ12bot MustDie=1
SetEnvIf User-Agent Twiceler MustDie=1
SetEnvIf User-Agent Baiduspider MustDie=1
SetEnvIf User-Agent Slurp MustDie=1
SetEnvIf User-Agent Java MustDie=1
SetEnvIf User-Agent CommentReader MustDie=1
SetEnvIf User-Agent Dolphin MustDie=1
SetEnvIf User-Agent Yeti MustDie=1
SetEnvIf User-Agent discobot MustDie=1
SetEnvIf User-Agent BTWebClient MustDie=1
SetEnvIf User-Agent Tagoobot MustDie=1
SetEnvIf User-Agent Ezooms MustDie=1
SetEnvIf User-Agent igdeSpyder MustDie=1
SetEnvIf User-Agent AhrefsBot MustDie=1
Order allow,deny
Allow from all
Deny from env=MustDie
SetEnvIfNoCase User-Agent "Aboundex" bot
SetEnvIfNoCase User-Agent "80legs" bot
SetEnvIfNoCase User-Agent "360Spider" bot
SetEnvIfNoCase User-Agent "^Java" bot
SetEnvIfNoCase User-Agent "^Cogentbot" bot
SetEnvIfNoCase User-Agent "^Alexibot" bot
SetEnvIfNoCase User-Agent "^asterias" bot
SetEnvIfNoCase User-Agent "^attach" bot
SetEnvIfNoCase User-Agent "^BackDoorBot" bot
SetEnvIfNoCase User-Agent "^BackWeb" bot
SetEnvIfNoCase User-Agent "Bandit" bot
SetEnvIfNoCase User-Agent "^BatchFTP" bot
SetEnvIfNoCase User-Agent "^Bigfoot" bot
SetEnvIfNoCase User-Agent "^Black.Hole" bot
SetEnvIfNoCase User-Agent "^BlackWidow" bot
SetEnvIfNoCase User-Agent "^BlowFish" bot
SetEnvIfNoCase User-Agent "^BotALot" bot
SetEnvIfNoCase User-Agent "Buddy" bot
SetEnvIfNoCase User-Agent "^BuiltBotTough" bot
SetEnvIfNoCase User-Agent "^Bullseye" bot
SetEnvIfNoCase User-Agent "^BunnySlippers" bot
SetEnvIfNoCase User-Agent "^Cegbfeieh" bot
SetEnvIfNoCase User-Agent "^CheeseBot" bot
SetEnvIfNoCase User-Agent "^CherryPicker" bot
SetEnvIfNoCase User-Agent "^ChinaClaw" bot
SetEnvIfNoCase User-Agent "Collector" bot
SetEnvIfNoCase User-Agent "Copier" bot
SetEnvIfNoCase User-Agent "^CopyRightCheck" bot
SetEnvIfNoCase User-Agent "^cosmos" bot
SetEnvIfNoCase User-Agent "^Crescent" bot
SetEnvIfNoCase User-Agent "^Custo" bot
SetEnvIfNoCase User-Agent "^AIBOT" bot
SetEnvIfNoCase User-Agent "^DISCo" bot
SetEnvIfNoCase User-Agent "^DIIbot" bot
SetEnvIfNoCase User-Agent "^DittoSpyder" bot
SetEnvIfNoCase User-Agent "^Download\ Demon" bot
SetEnvIfNoCase User-Agent "^Download\ Devil" bot
SetEnvIfNoCase User-Agent "^Download\ Wonder" bot
SetEnvIfNoCase User-Agent "^dragonfly" bot
SetEnvIfNoCase User-Agent "^Drip" bot
SetEnvIfNoCase User-Agent "^eCatch" bot
SetEnvIfNoCase User-Agent "^EasyDL" bot
SetEnvIfNoCase User-Agent "^ebingbong" bot
SetEnvIfNoCase User-Agent "^EirGrabber" bot
SetEnvIfNoCase User-Agent "^EmailCollector" bot
SetEnvIfNoCase User-Agent "^EmailSiphon" bot
SetEnvIfNoCase User-Agent "^EmailWolf" bot
SetEnvIfNoCase User-Agent "^EroCrawler" bot
SetEnvIfNoCase User-Agent "^Exabot" bot
SetEnvIfNoCase User-Agent "^Express\ WebPictures" bot
SetEnvIfNoCase User-Agent "Extractor" bot
SetEnvIfNoCase User-Agent "^EyeNetIE" bot
SetEnvIfNoCase User-Agent "^Foobot" bot
SetEnvIfNoCase User-Agent "^flunky" bot
SetEnvIfNoCase User-Agent "^FrontPage" bot
SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bot
SetEnvIfNoCase User-Agent "^gotit" bot
SetEnvIfNoCase User-Agent "^GrabNet" bot
SetEnvIfNoCase User-Agent "^Grafula" bot
SetEnvIfNoCase User-Agent "^Harvest" bot
SetEnvIfNoCase User-Agent "^hloader" bot
SetEnvIfNoCase User-Agent "^HMView" bot
SetEnvIfNoCase User-Agent "^HTTrack" bot
SetEnvIfNoCase User-Agent "^humanlinks" bot
SetEnvIfNoCase User-Agent "^IlseBot" bot
SetEnvIfNoCase User-Agent "^Image\ Stripper" bot
SetEnvIfNoCase User-Agent "^Image\ Sucker" bot
SetEnvIfNoCase User-Agent "Indy\ Library" bot
SetEnvIfNoCase User-Agent "^InfoNavibot" bot
SetEnvIfNoCase User-Agent "^InfoTekies" bot
SetEnvIfNoCase User-Agent "^Intelliseek" bot
SetEnvIfNoCase User-Agent "^InterGET" bot
SetEnvIfNoCase User-Agent "^Internet\ Ninja" bot
SetEnvIfNoCase User-Agent "^Iria" bot
SetEnvIfNoCase User-Agent "^Jakarta" bot
SetEnvIfNoCase User-Agent "^JennyBot" bot
SetEnvIfNoCase User-Agent "^JetCar" bot
SetEnvIfNoCase User-Agent "^JOC" bot
SetEnvIfNoCase User-Agent "^JustView" bot
SetEnvIfNoCase User-Agent "^Jyxobot" bot
SetEnvIfNoCase User-Agent "^Kenjin.Spider" bot
SetEnvIfNoCase User-Agent "^Keyword.Density" bot
SetEnvIfNoCase User-Agent "^larbin" bot
SetEnvIfNoCase User-Agent "^LexiBot" bot
SetEnvIfNoCase User-Agent "^lftp" bot
SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bot
SetEnvIfNoCase User-Agent "^likse" bot
SetEnvIfNoCase User-Agent "^LinkextractorPro" bot
SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bot
SetEnvIfNoCase User-Agent "^LNSpiderguy" bot
SetEnvIfNoCase User-Agent "^LinkWalker" bot
SetEnvIfNoCase User-Agent "^lwp-trivial" bot
SetEnvIfNoCase User-Agent "^LWP::Simple" bot
SetEnvIfNoCase User-Agent "^Magnet" bot
SetEnvIfNoCase User-Agent "^Mag-Net" bot
SetEnvIfNoCase User-Agent "^MarkWatch" bot
SetEnvIfNoCase User-Agent "^Mass\ Downloader" bot
SetEnvIfNoCase User-Agent "^Mata.Hari" bot
SetEnvIfNoCase User-Agent "^Memo" bot
SetEnvIfNoCase User-Agent "^Microsoft.URL" bot
SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot
SetEnvIfNoCase User-Agent "^MIDown\ tool" bot
SetEnvIfNoCase User-Agent "^MIIxpc" bot
SetEnvIfNoCase User-Agent "^Mirror" bot
SetEnvIfNoCase User-Agent "^Missigua\ Locator" bot
SetEnvIfNoCase User-Agent "^Mister\ PiX" bot
SetEnvIfNoCase User-Agent "^moget" bot
SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bot
SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bot
SetEnvIfNoCase User-Agent "^NAMEPROTECT" bot
SetEnvIfNoCase User-Agent "^Navroad" bot
SetEnvIfNoCase User-Agent "^NearSite" bot
SetEnvIfNoCase User-Agent "^NetAnts" bot
SetEnvIfNoCase User-Agent "^Netcraft" bot
SetEnvIfNoCase User-Agent "^NetMechanic" bot
SetEnvIfNoCase User-Agent "^NetSpider" bot
SetEnvIfNoCase User-Agent "^Net\ Vampire" bot
SetEnvIfNoCase User-Agent "^NetZIP" bot
SetEnvIfNoCase User-Agent "^NextGenSearchBot" bot
SetEnvIfNoCase User-Agent "^NG" bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bot
SetEnvIfNoCase User-Agent "^niki-bot" bot
SetEnvIfNoCase User-Agent "^NimbleCrawler" bot
SetEnvIfNoCase User-Agent "^Ninja" bot
SetEnvIfNoCase User-Agent "^NPbot" bot
SetEnvIfNoCase User-Agent "^Octopus" bot
SetEnvIfNoCase User-Agent "^Offline\ Explorer" bot
SetEnvIfNoCase User-Agent "^Offline\ Navigator" bot
SetEnvIfNoCase User-Agent "^Openfind" bot
SetEnvIfNoCase User-Agent "^OutfoxBot" bot
SetEnvIfNoCase User-Agent "^PageGrabber" bot
SetEnvIfNoCase User-Agent "^Papa\ Foto" bot
SetEnvIfNoCase User-Agent "^pavuk" bot
SetEnvIfNoCase User-Agent "^pcBrowser" bot
SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bot
SetEnvIfNoCase User-Agent "^Pockey" bot
SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bot
SetEnvIfNoCase User-Agent "^ProWebWalker" bot
SetEnvIfNoCase User-Agent "^psbot" bot
SetEnvIfNoCase User-Agent "^Pump" bot
SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bot
SetEnvIfNoCase User-Agent "^RealDownload" bot
SetEnvIfNoCase User-Agent "Reaper" bot
SetEnvIfNoCase User-Agent "Recorder" bot
SetEnvIfNoCase User-Agent "^ReGet" bot
SetEnvIfNoCase User-Agent "^RepoMonkey" bot
SetEnvIfNoCase User-Agent "^RMA" bot
SetEnvIfNoCase User-Agent "Siphon" bot
SetEnvIfNoCase User-Agent "^SiteSnagger" bot
SetEnvIfNoCase User-Agent "^SlySearch" bot
SetEnvIfNoCase User-Agent "^SmartDownload" bot
SetEnvIfNoCase User-Agent "^Snake" bot
SetEnvIfNoCase User-Agent "^Snapbot" bot
SetEnvIfNoCase User-Agent "^Snoopy" bot
SetEnvIfNoCase User-Agent "^sogou" bot
SetEnvIfNoCase User-Agent "^SpaceBison" bot
SetEnvIfNoCase User-Agent "^SpankBot" bot
SetEnvIfNoCase User-Agent "^spanner" bot
SetEnvIfNoCase User-Agent "^Sqworm" bot
SetEnvIfNoCase User-Agent "Stripper" bot
SetEnvIfNoCase User-Agent "Sucker" bot
SetEnvIfNoCase User-Agent "^SuperBot" bot
SetEnvIfNoCase User-Agent "^SuperHTTP" bot
SetEnvIfNoCase User-Agent "^Surfbot" bot
SetEnvIfNoCase User-Agent "^suzuran" bot
SetEnvIfNoCase User-Agent "^Szukacz/1.4" bot
SetEnvIfNoCase User-Agent "^tAkeOut" bot
SetEnvIfNoCase User-Agent "^Teleport" bot
SetEnvIfNoCase User-Agent "^Telesoft" bot
SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bot
SetEnvIfNoCase User-Agent "^The.Intraformant" bot
SetEnvIfNoCase User-Agent "^TheNomad" bot
SetEnvIfNoCase User-Agent "^TightTwatBot" bot
SetEnvIfNoCase User-Agent "^Titan" bot
SetEnvIfNoCase User-Agent "^True_bot" bot
SetEnvIfNoCase User-Agent "^turingos" bot
SetEnvIfNoCase User-Agent "^TurnitinBot" bot
SetEnvIfNoCase User-Agent "^URLy.Warning" bot
SetEnvIfNoCase User-Agent "^Vacuum" bot
SetEnvIfNoCase User-Agent "^VCI" bot
SetEnvIfNoCase User-Agent "^VoidEYE" bot
SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bot
SetEnvIfNoCase User-Agent "^Web\ Sucker" bot
SetEnvIfNoCase User-Agent "^WebAuto" bot
SetEnvIfNoCase User-Agent "^WebBandit" bot
SetEnvIfNoCase User-Agent "^Webclipping.com" bot
SetEnvIfNoCase User-Agent "^WebCopier" bot
SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bot
SetEnvIfNoCase User-Agent "^WebEnhancer" bot
SetEnvIfNoCase User-Agent "^WebFetch" bot
SetEnvIfNoCase User-Agent "^WebGo\ IS" bot
SetEnvIfNoCase User-Agent "^Web.Image.Collector" bot
SetEnvIfNoCase User-Agent "^WebLeacher" bot
SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bot
SetEnvIfNoCase User-Agent "^WebReaper" bot
SetEnvIfNoCase User-Agent "^WebSauger" bot
SetEnvIfNoCase User-Agent "^Website\ eXtractor" bot
SetEnvIfNoCase User-Agent "^Website\ Quester" bot
SetEnvIfNoCase User-Agent "^Webster" bot
SetEnvIfNoCase User-Agent "^WebStripper" bot
SetEnvIfNoCase User-Agent "^WebWhacker" bot
SetEnvIfNoCase User-Agent "^WebZIP" bot
SetEnvIfNoCase User-Agent "Whacker" bot
SetEnvIfNoCase User-Agent "^Widow" bot
SetEnvIfNoCase User-Agent "^WISENutbot" bot
SetEnvIfNoCase User-Agent "^WWWOFFLE" bot
SetEnvIfNoCase User-Agent "^WWW-Collector-E" bot
SetEnvIfNoCase User-Agent "^Xaldon" bot
SetEnvIfNoCase User-Agent "^Xenu" bot
SetEnvIfNoCase User-Agent "^Zeus" bot
SetEnvIfNoCase User-Agent "ZmEu" bot
SetEnvIfNoCase User-Agent "^Zyborg" bot
SetEnvIfNoCase User-Agent "AhrefsBot" bot
SetEnvIfNoCase User-Agent "HubSpot" bot
SetEnvIfNoCase User-Agent "BLEXBot" bot
SetEnvIfNoCase User-Agent "archive.org_bot" bot
SetEnvIfNoCase User-Agent "bingbot" bot
SetEnvIfNoCase User-Agent "^Wget" bot
Deny from env=bot

[ksamochkin]

А вставить код одним куском?
Самому интересно почему так вышло