Ip адреса User Agent поисковых систем

Автор Mavn, 23 октября 2007, 00:10:09

« назад - далее »

0 Пользователи и 3 гостей просматривают эту тему.

Mavn

В Версии smf 2.0.1.1 добавили новую функцию для работы с поисковиками. Типа определение поисковиков в какую нибудь группу пользователей и поисковики буду индексировать форум согласно прав данной группы на форуме.
Соответствено если у кого есть возможность составьте пожалуйста список поисковиков по следующим параметрам:
1. Название поисковика
2. User Agent поисковика
3. Блок ip адресов с которых заходить будет поисковик.
(3. Пункт не обязателен но желателен с учетом того что User Agent можно подделать)
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Polar Bear

 66.249.64.0 - 66.249.95.255 – Google 

список буду дополнять )
на этом месте могла быть моя подпись

Kab


KapaBG

array ('agent' => 'Yandex/1.01.001 (compatible; Win16; I)', 'spidername' => 'Yandex основной индексирующий робот', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; P)', 'spidername' => 'Yandex индексатор картинок', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; H)', 'spidername' => 'Yandex робот, определяющий зеркала сайтов', 'spider' => true,),
array ('agent' => 'Yandex/1.02.000 (compatible; Win16; F)', 'spidername' => 'Yandex робот, индексирующий favicons', 'spider' => true,),
array ('agent' => 'Yandex/1.03.003 (compatible; Win16; D)', 'spidername' => 'Yandex робот, <Добавить URL>', 'spider' => true,),
array ('agent' => 'Yandex/1.03.000 (compatible; Win16; M)', 'spidername' => 'Yandex робот, <Найденные слова>', 'spider' => true,),
array ('agent' => 'YaDirectBot/1.0 (compatible; Win16; I)', 'spidername' => 'робот Рекламной сети Яндекса', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; C)', 'spidername' => '<простукивалка> Яндекс.Каталога', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; Z) <простукивалка> Яндекс.Закладок', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; D) <простукивалка> Яндекс.Директа', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; N)', 'spidername' => '<простукивалка> Яндекс.Новостей', 'spider' => true,),

KapaBG

Цитата: http://www.rambler.ru/doc/faq.shtml#1111 Что прописывает робот в строке HTTP_USER_AGENT? Сообщите IP-адрес робота, чтобы я мог найти его в логах.

Наш HTTP_USER_AGENT - "StackRambler". IP-адреса могут меняться произвольным образом.
Цитата: http://turtle.ru/faq.html#44. Как отличить роботов системы Turtle?
Наши роботы при посещении сайтов выставляют заголовок:
User-Agent: TurtleScanner/version_number
Кроме того, роботы устанавливают поле "From:", в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.

HTTP_USER_AGENT = 'Mail.Ru/1.0'
HTTP_USER_AGENT = 'WebAlta Crawler'



Святой Исидор


Святой Исидор

Описания роботов, зарегистрированные в системе
тут

Moonlight

Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper

Святой Исидор

Цитата: Moonlight от 26 апреля 2008, 13:57:26
Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper
регся и у тебя каждый час будет 45 пауков здесь

Controller

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь
Офигеть, рекорд по статистике сразу перекрыло  O0
Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?
"НанЭл" - форум под напряжением

Galina_

Цитата: Controller от 19 февраля 2009, 16:37:04
Офигеть, рекорд по статистике сразу перекрыло  O0
Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?

А ничего с форумом не станет, страшно как то??

Святой Исидор

Цитата: Galina_ от 22 февраля 2009, 22:23:53
А ничего с форумом не станет, страшно как то??

Я 3 года пользуюсь и не чего!!!

Galina_


Гад

Для 1.1.8 подобный плагин существует? Гугл явно не любит эти сессии, о чём говорит выдача уже на протяжении года :) 2 версию пока ставить неохота, жду финал..

Alexthelight

Помогите как внести ip адреса?

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 00:28:43
Помогите как внести ip адреса?


при помощи мода Yandex More Spiders

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 10:43:02
при помощи мода Yandex More Spiders
Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 13:56:15
Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал
А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 14:16:05
А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится

Этот мод для 1.1.9 версии

BIOHAZARD

Цитата: Alexthelight от 17 июля 2009, 14:56:06
На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится
Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Alexthelight

Цитата: BIOHAZARD от 17 июля 2009, 15:29:11
Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?

Пусть смотрят кеш если им хочется. На форуме много переводов, просто читателей не хочется иметь...пусть со стороны посетителей будут хоть какие-то действия :)
ps сори за флуд...поисковики приравниваются к гостям и не могу понять почему...

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 17:15:25
поисковики приравниваются к гостям и не могу понять почему...
Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 17:19:40
Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2
Я это понимаю и знаю, смотрите выше, я уже писал об этом
Цитата: Alexthelight от 17 июля 2009, 14:56:06
Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится
Дело в том, что они дальше гостей не ползают по сайту, хотя доступ у группы имеется!

Святой Исидор

у меня не гость -Обычный пользователь

kamar

Нашел в инете список ботов, адаптировал для sql запроса типа
INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', '');
весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.

FladeX

Название бота - ForumMap [Crawler]
Соответствие агенту - ForumMap Crawler
Подробнее о боте на этом форуме или на сайте.

alado

А для версии 1.1.10 нету случаем такой вещи?

valday666

Есть пару глупых вопросов, с SEO только начинаю разбираться.
а месяц у меня 60 гигов исходящего траффика ушло, яндекс и гугл с форума не уходят. Это нормально?
Прогнал свой сайт тестом, тот что выше _____http://__host-tracker.com выдал такую ошибку:
Kiev Failure("Domain lookup failure:www.serpentes.ru Exception:Not_found") UnixHost.com.ua

Как решить эту проблему? Первичные DNS у меня расположены на моем сервере, вторичные на nic.ru и пришлось отключить домены третьего уровня, т.к. со многих хостов не попасть на них.
Использую моды: Custom Board Icons, Users Online Today, Aeva Media, Auto Email Inactive Users, Thank-O-Matic, Karma Description Mod, Global Headers Footers, Sitemap, Add Favicon.ico Support, Watermark.light, Watermark.light for AEVA

valday666

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь
Почему то появляются не пауки, а просто гости, которые даже не влияют на посещаемость сайта (рейтинг майл.ру, спайлог и т.п.) Какой смысл в том, что висит куча гостей?
Использую моды: Custom Board Icons, Users Online Today, Aeva Media, Auto Email Inactive Users, Thank-O-Matic, Karma Description Mod, Global Headers Footers, Sitemap, Add Favicon.ico Support, Watermark.light, Watermark.light for AEVA

Beer

Вот этот гад сегодня 2 раза перегрел сервак:
65.55.3.173 - - [13/Apr/2010:22:03:05 +0400] "GET /forum/index.php?board=2.0 HTTP/1.0" 200 61945 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:08 +0400] "GET /forum/index.php?board=1.0 HTTP/1.0" 200 61311 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:11 +0400] "GET /forum/index.php?board=9.0 HTTP/1.0" 200 61998 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:13 +0400] "GET /forum/index.php?board=8.0 HTTP/1.0" 200 59593 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"


User-agent: msnbot/2.0b
Crawl-delay: 10

НЕПОНИМАЕТ или я неправильно прописал, т.к. на сайте его инструукций найти не смог.

Yworld_garry

Так правильно
User-agent: msnbot
Crawl-delay: 120

Либо так с запретом не нужного
User-agent: msnbot
Crawl-delay: 120
Disallow: /заперт/

Не помогло, пишем в тех по http://g.live.com/0HE_TRACKSTAR_RURU9/91006

Beer

Было прописано так:

User-agent: MSNbot
Crawl-delay: 10

Он не понимал это.

Beer

Прописал ему:

User-agent: msnbot
Crawl-delay: 10

Пофик - опять получил от хостера письмо счастья.

Mavn

так вы значение посмотрите что вы пишите и что вам предлагают!!!!
и правила форума соблюдай а то у меня кнопка большая есть зеленым ходить будешь
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

Так он ежесекундно по запросу бомбит, а нормальные боты - как им предписано в Crawl-delay. 120 это равносильно запрету, хотя если ему 10 не указ, то хоть 240 поставь...
гугль Crawl-delay тоже не воспринимает (для справки).

Зеленую кнобку прибереги для спамеров.

Mavn

120 это оптимальное значение(сами тестировали на этом форуме) для сильно шустрых ботов на крайняк вообще запрети его и мозг не парь.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

Вот такой сегодня нагрел сервак:

195.42.102.21 - - [10/Jun/2010:12:42:04 +0400] "GET /forum/index.php?PHPSESSID=1lmju1hnsj53m9m2jqc7pjdka7&topic=946.msg26576 HTTP/1.0" 200 55328 "-" "Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/)"

Причем на сайте у него вообще про бота я чота не увидел ни слова - как с ним общаться.

karavan

Ко мне оно тоже приходило, но хостер у меня блокирует IP которые берут больше 3% загрузки процессора.

Beer

Вот это правильное решение, а мой - отрубает аккаунты  :'(

karavan

Цитата: Beer от 10 июня 2010, 23:58:22
Вот это правильное решение, а мой - отрубает аккаунты  :'(

У меня есть в меню хостера настройки этого всего. Что хочу, то ставлю, из опыта. Минусы - дорогой тарифный план. Но качеством доволен.

sb

Цитата: kamar от 06 августа 2009, 21:52:20
Нашел в инете список ботов, адаптировал для sql запроса типа
INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', '');
весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.
Спасибо, дружище, выручил! Теперь паучков отлично видно.  O0
Причем накатывал на измененную базу с двумя вручную добавленными пауками - но все прошло гладко, после только убрал дубликаты.

Serifa

Тоже нужны адреса пауков. Где живут и как зовут. А то приходится вычислять таким извращенным способом: у меня на форуме есть странная тема, называется "Люк Скайуокер собирает...", в ней пытаются отвечать только пауки. Как они ее находят - непонятно, но если кто-то отправляет ответ или пишет его - почти наверняка паук. Просто смотришь, кто там онлайн: а там опять два-три "явно-не-человека" пишут ответ в эту тему.
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Bugo

Прописаны они в разных странах, живут где придется. Зовут всех по-разному (но есть приметы). С большинством из них можно никогда в жизни не столкнуться, с другими — типа Гоши и Яши — почти каждый день встречи. Регистрируются пауки по адресу: Админка » Пользователи » Поисковые системы...

Serifa

Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило)) У меня скромно три странички. Значит, есть к чему стремиться?))
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

digger®

Цитата: Serifa от 16 ноября 2010, 16:24:24
Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило))

C третьей страницы этой темы взять готовый дамп таблицы с пауками и загрузить в базу, не?

Avalon

Есть у кого свежий дамп поисковиков? Если что пришлите на мыло, Avalon@avalonium.ru? Буду очень благодарен!!!

karavan

Для Украинских пользователей, Название паука - Meta (bot),  User Agent - MetaSpider, регистрация в системе Мета Паспорт тут: https://passport.meta.ua/

Bugo

Добавить его в общий список ботов?

karavan

Bugo если Вам не трудно, то идея хорошая добавить O0  Правда после регистрации прошло окого месяца, пока пришел бот, но вот он у меня как раз сидит:


Bugo

#49
А можно скрин без цензуры? Для коллекции :)

Вернее, хотелось бы увидеть на скрине побольше пауков (10+), одновременно.

karavan

У меня только максимум 3 одновременно :-[

AdmbVlad

Помогите. только что установил smf 2.0.1 . Где там в админке ботов поисковиков добавлять?

GeorG

Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

AdmbVlad

Цитата: GeorG от 28 октября 2011, 16:10:44
Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.
Ну нету у меня там пауков(. или это мод нужно ставить?

karavan

Во первых, желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего, при возможности. Тогда админка будет приятнее.

Во вторых, чтобы в Админке появилось меню настроек "Поисковые системы", нужно в меню админки - Конфигурация -  "Основные настройки" включить функцию "Поисковые системы"

GeorG

Цитата: karavan от 28 октября 2011, 16:27:38желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего
Ну это относительно конечно, мне например так неудобно вообще.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

AdmbVlad

спасибо огромное. насчет бокового и горизонтального колеблюсь. боковое с предыдущих версий, а горизонтальное вроде прикольней

karavan


Bugo

Небольшая база пауков и иконки для них на данный момент добавляются модом Spider Images.

gorbi

Ребята, а кто-то может вразумительно описать перечень роботов "эсэнгешных" и их айпишники для добавления в таблицу?

GeorG

Тему читали? Почему вы предлагаете это делать другим, к тому же тем, кто её уже делал?
http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

gorbi

Цитата: GeorG от 27 декабря 2011, 20:38:31http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131
Тему читал, там всего то 6 листов. Меня интересуют локальные пауки типа Яндексовых, по ссылки ничего вразумительного не нашёл (

Vadimru

Блин, весь вечер просидел так и не разобрался. Никогда толком не сталкивался с sql, phpAdmin. Как добавить в БД информацию о пауках? Добавляю в phpAdmin содержимое текстового документа выложенного на 2 странице kamar'ом. Ошибка. Хотя таблица та где уже есть несколько пауков. Объясните пожалуйста, как добавить?
Отвлекитесь от работы и подумайте о своей душе! Эзотерический форум http://astrallife.ru создан, чтобы помогать

poliglot

Скажите, IP-адреса обязательны, или достаточно User-Agent?

karavan


karavan

Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   

Сергей Д.

Цитата: karavan от 22 февраля 2013, 12:28:07
Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   
Как правильно добавлять пауков в админке?
Нужно полностью писать? Вот так - Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)  ?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

karavan

Да но лучше поставьте мод он сам все пропишет.

Сергей Д.

А если уже прописал короткие названия агентов (Googlebot/2.1, YandexAntivirus/2.0, YandexDirect/3.0 и т.д.), то лучше всё переделать? Корректно воспринимаются только длинные строчки?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

karavan

Да у меня до мода вроде и короткие воспринимались тоже. Пробуйте разные варианты, жизнь покажет как лучше.

Сергей Д.

Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.
И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

digger®

Цитата: SergeyDY от 11 октября 2013, 14:58:56Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.
Зачем вам 200 ботов?
Нагрузку повышает.

karavan

Цитата: SergeyDY от 11 октября 2013, 14:58:56И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?
http://dragomano.ru/page/spider-images
должен подойти. с нагрузкой проблем не замечал.

Сергей Д.

Цитата: digger® от 11 октября 2013, 15:10:55Зачем вам 200 ботов?
Нагрузку повышает.
Я думал для информативности... Чтобы знать кто именно на форуме находится.... Но раз нагрузку повышает - не буду заморачиваться. Ещё такой вопрос: тот же Яндекс можно ведь как один юзер агент оформить? т.е. yandex или как то наподобии должно вроде писаться...
Не расписывать Yandex Antivirus, Yandex Favicons, Yandex Direct  и т.д.
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

karavan

Ставьте мод не волнуйтесь за нагрузку это капля в море.

Сергей Д.

Цитата: karavan от 11 октября 2013, 16:07:26
Ставьте мод не волнуйтесь за нагрузку это капля в море.
Спасибо, мод находит добавляет в базу пауков? А то из описания не ясно.
Форум za40.org - знакомства и общение тех, кому за 40.  :)
TheHost - надёжный, быстрый и недорогой хостинг с отличной техподдержкой 24/7. Выбор потребителя 2020!  O0  Форум za40.org размещён именно на этом хостинге.

digger®

Цитата: karavan от 11 октября 2013, 15:42:47должен подойти. с нагрузкой проблем не замечал.
На скольки сотнях онлайна не замечали?
На 500 юзерах на глаз видно снижение скорости генерации страниц при большой таблице пауков.

karavan

Ок не спорю, у вас опыта больше, да и форум у меня поменьше, столько онлайн нет конечно.

Alex32

Цитата: karavan от 11 октября 2013, 14:26:48Да но лучше поставьте мод он сам все пропишет.

Просто установить мод и он сам пропишет пауков?

karavan


ksamochkin

Кто знает какой User-Agent у Facebook а то закрыл доступ некоторым ботам а теперь при нажатии лайка в facebook пишет
Цитировать403 Forbidden

Yarik

Цитата: overyata от 10 августа 2014, 08:39:37User-Agent у Facebook
69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO

ksamochkin

Цитата: Yarik от 10 августа 2014, 08:58:47
69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO
спасибо... сам разобрался

Xvost

Как узнать юзер-агент паука, шарящегося по сайту?

Вот, например, этого: http://whois.arin.net/rest/ip/157.55.39.170

permskii


Yarik

Цитата: permskii от 11 мая 2015, 11:14:40
Подскажите User-agent AppleBot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

permskii