Ip адреса User Agent поисковых систем

Автор Mavn, 23 октября 2007, 00:10:09

« назад - далее »

0 Пользователи и 1 гость просматривают эту тему.

Mavn

В Версии smf 2.0.1.1 добавили новую функцию для работы с поисковиками. Типа определение поисковиков в какую нибудь группу пользователей и поисковики буду индексировать форум согласно прав данной группы на форуме.
Соответствено если у кого есть возможность составьте пожалуйста список поисковиков по следующим параметрам:
1. Название поисковика
2. User Agent поисковика
3. Блок ip адресов с которых заходить будет поисковик.
(3. Пункт не обязателен но желателен с учетом того что User Agent можно подделать)
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Polar Bear

 66.249.64.0 - 66.249.95.255 – Google 

список буду дополнять )
на этом месте могла быть моя подпись

Kab


KapaBG

array ('agent' => 'Yandex/1.01.001 (compatible; Win16; I)', 'spidername' => 'Yandex основной индексирующий робот', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; P)', 'spidername' => 'Yandex индексатор картинок', 'spider' => true,),
array ('agent' => 'Yandex/1.01.001 (compatible; Win16; H)', 'spidername' => 'Yandex робот, определяющий зеркала сайтов', 'spider' => true,),
array ('agent' => 'Yandex/1.02.000 (compatible; Win16; F)', 'spidername' => 'Yandex робот, индексирующий favicons', 'spider' => true,),
array ('agent' => 'Yandex/1.03.003 (compatible; Win16; D)', 'spidername' => 'Yandex робот, <Добавить URL>', 'spider' => true,),
array ('agent' => 'Yandex/1.03.000 (compatible; Win16; M)', 'spidername' => 'Yandex робот, <Найденные слова>', 'spider' => true,),
array ('agent' => 'YaDirectBot/1.0 (compatible; Win16; I)', 'spidername' => 'робот Рекламной сети Яндекса', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; C)', 'spidername' => '<простукивалка> Яндекс.Каталога', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; Z) <простукивалка> Яндекс.Закладок', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; D) <простукивалка> Яндекс.Директа', 'spider' => true,),
array ('agent' => 'Yandex/2.01.000 (compatible; Win16; Dyatel; N)', 'spidername' => '<простукивалка> Яндекс.Новостей', 'spider' => true,),

KapaBG

Цитата: http://www.rambler.ru/doc/faq.shtml#1111 Что прописывает робот в строке HTTP_USER_AGENT? Сообщите IP-адрес робота, чтобы я мог найти его в логах.

Наш HTTP_USER_AGENT - "StackRambler". IP-адреса могут меняться произвольным образом.
Цитата: http://turtle.ru/faq.html#44. Как отличить роботов системы Turtle?
Наши роботы при посещении сайтов выставляют заголовок:
User-Agent: TurtleScanner/version_number
Кроме того, роботы устанавливают поле "From:", в которое помещают адрес электронной почты контактного лица. В случае необходимости, можно всегда обратиться по этому адресу с вашей проблемой, связанной с деятельностью роботов Turtle.

HTTP_USER_AGENT = 'Mail.Ru/1.0'
HTTP_USER_AGENT = 'WebAlta Crawler'



Святой Исидор


Святой Исидор

Описания роботов, зарегистрированные в системе
тут

Moonlight

Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper

Святой Исидор

Цитата: Moonlight от 26 апреля 2008, 13:57:26
Полный список User Agent поисковиков, найденный мной за последний час.
Более 90 значений. Но, к сожалению без IP адресов..

В прилагаемом архиве SQL файл созданный скриптом "Sypex Dumper".
Пожалуйста, измените в этом файле значения "XX_spiders" на Свой_префикс_spiders базы данных!

После этого:
Очистить прежний список пауков в админ панели.
Сделать восстановление БД из резервной копии с помощью Sypex Dumper
регся и у тебя каждый час будет 45 пауков здесь

Controller

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь
Офигеть, рекорд по статистике сразу перекрыло  O0
Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?
"НанЭл" - форум под напряжением

Galina_

Цитата: Controller от 19 февраля 2009, 16:37:04
Офигеть, рекорд по статистике сразу перекрыло  O0
Это типа замануха? Шоб реальные гости думали о серьёзной посещаемости форума?

А ничего с форумом не станет, страшно как то??

Святой Исидор

Цитата: Galina_ от 22 февраля 2009, 22:23:53
А ничего с форумом не станет, страшно как то??

Я 3 года пользуюсь и не чего!!!

Galina_


Гад

Для 1.1.8 подобный плагин существует? Гугл явно не любит эти сессии, о чём говорит выдача уже на протяжении года :) 2 версию пока ставить неохота, жду финал..

Alexthelight

Помогите как внести ip адреса?

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 00:28:43
Помогите как внести ip адреса?


при помощи мода Yandex More Spiders

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 10:43:02
при помощи мода Yandex More Spiders
Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 13:56:15
Немного не правильно поставил вопрос - как внести список ip адресов.

Версия 2.0 RC-1

Про мод где можно почитать? поиск мне рузультатов не дал
А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 14:16:05
А вопрос зачем тебе ip адреса поисковиков?

а про моды здесь http://www.simplemachines.ru/index.php?topic=1418.15

На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится

Этот мод для 1.1.9 версии

BIOHAZARD

Цитата: Alexthelight от 17 июля 2009, 14:56:06
На форуме большинство скрыто от гостей. Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится
Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?
Мои моды:
  • RedirectPage
  • Counters
  • CustomSearch
  • SypexDumper
   адаптирую темы    1.1.хx<=>2.0задавая вопросы, старайтесь сразу указывать конечную цель, предполагаемый Вами путь не обязательно окажется самым коротким

Любые моды на заказ

Alexthelight

Цитата: BIOHAZARD от 17 июля 2009, 15:29:11
Странный ты какой то.
Информацию поисковикам даёшь, а людям нет.
Но если они захотят, то могут посмотреть кэш в поисковике и не регистрироваться на сайте.
Зачем так издеваться над своими посетителями?

Пусть смотрят кеш если им хочется. На форуме много переводов, просто читателей не хочется иметь...пусть со стороны посетителей будут хоть какие-то действия :)
ps сори за флуд...поисковики приравниваются к гостям и не могу понять почему...

Святой Исидор

Цитата: Alexthelight от 17 июля 2009, 17:15:25
поисковики приравниваются к гостям и не могу понять почему...
Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2

Alexthelight

Цитата: Святой Исидор от 17 июля 2009, 17:19:40
Админка -Поисковые системы -Настройки -Назначить группу для пауков
Позволит Вам настроить доступ для пауков.
Это у версии форума SMF 2.0 RC1.2
Я это понимаю и знаю, смотрите выше, я уже писал об этом
Цитата: Alexthelight от 17 июля 2009, 14:56:06
Создал группу для пауков с правами, а они не ползают по сайту - видимо нет доступа, думаю может айпи прописать - тогда доступ появится
Дело в том, что они дальше гостей не ползают по сайту, хотя доступ у группы имеется!

Святой Исидор

у меня не гость -Обычный пользователь

kamar

Нашел в инете список ботов, адаптировал для sql запроса типа
INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', '');
весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.

FladeX

Название бота - ForumMap [Crawler]
Соответствие агенту - ForumMap Crawler
Подробнее о боте на этом форуме или на сайте.

alado

А для версии 1.1.10 нету случаем такой вещи?

valday666

Есть пару глупых вопросов, с SEO только начинаю разбираться.
а месяц у меня 60 гигов исходящего траффика ушло, яндекс и гугл с форума не уходят. Это нормально?
Прогнал свой сайт тестом, тот что выше _____http://__host-tracker.com выдал такую ошибку:
Kiev Failure("Domain lookup failure:www.serpentes.ru Exception:Not_found") UnixHost.com.ua

Как решить эту проблему? Первичные DNS у меня расположены на моем сервере, вторичные на nic.ru и пришлось отключить домены третьего уровня, т.к. со многих хостов не попасть на них.
Использую моды: Custom Board Icons, Users Online Today, Aeva Media, Auto Email Inactive Users, Thank-O-Matic, Karma Description Mod, Global Headers Footers, Sitemap, Add Favicon.ico Support, Watermark.light, Watermark.light for AEVA

valday666

Цитата: Святой Исидор от 27 апреля 2008, 13:44:20
регся и у тебя каждый час будет 45 пауков здесь
Почему то появляются не пауки, а просто гости, которые даже не влияют на посещаемость сайта (рейтинг майл.ру, спайлог и т.п.) Какой смысл в том, что висит куча гостей?
Использую моды: Custom Board Icons, Users Online Today, Aeva Media, Auto Email Inactive Users, Thank-O-Matic, Karma Description Mod, Global Headers Footers, Sitemap, Add Favicon.ico Support, Watermark.light, Watermark.light for AEVA

Beer

Вот этот гад сегодня 2 раза перегрел сервак:
65.55.3.173 - - [13/Apr/2010:22:03:05 +0400] "GET /forum/index.php?board=2.0 HTTP/1.0" 200 61945 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:08 +0400] "GET /forum/index.php?board=1.0 HTTP/1.0" 200 61311 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:11 +0400] "GET /forum/index.php?board=9.0 HTTP/1.0" 200 61998 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"
65.55.3.173 - - [13/Apr/2010:22:03:13 +0400] "GET /forum/index.php?board=8.0 HTTP/1.0" 200 59593 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)._"


User-agent: msnbot/2.0b
Crawl-delay: 10

НЕПОНИМАЕТ или я неправильно прописал, т.к. на сайте его инструукций найти не смог.

Yworld_garry

Так правильно
User-agent: msnbot
Crawl-delay: 120

Либо так с запретом не нужного
User-agent: msnbot
Crawl-delay: 120
Disallow: /заперт/

Не помогло, пишем в тех по http://g.live.com/0HE_TRACKSTAR_RURU9/91006

Beer

Было прописано так:

User-agent: MSNbot
Crawl-delay: 10

Он не понимал это.

Beer

Прописал ему:

User-agent: msnbot
Crawl-delay: 10

Пофик - опять получил от хостера письмо счастья.

Mavn

так вы значение посмотрите что вы пишите и что вам предлагают!!!!
и правила форума соблюдай а то у меня кнопка большая есть зеленым ходить будешь
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

Так он ежесекундно по запросу бомбит, а нормальные боты - как им предписано в Crawl-delay. 120 это равносильно запрету, хотя если ему 10 не указ, то хоть 240 поставь...
гугль Crawl-delay тоже не воспринимает (для справки).

Зеленую кнобку прибереги для спамеров.

Mavn

120 это оптимальное значение(сами тестировали на этом форуме) для сильно шустрых ботов на крайняк вообще запрети его и мозг не парь.
SimpleMachines Russian Community Team
п.1 Пройду курсы гадалок для определения исходного кода по скриншоту.

п.2 У вас нет желания читать правила раздела, у меня нет желания одобрять темы, которые не соответствуют этим правилам.

Beer

Вот такой сегодня нагрел сервак:

195.42.102.21 - - [10/Jun/2010:12:42:04 +0400] "GET /forum/index.php?PHPSESSID=1lmju1hnsj53m9m2jqc7pjdka7&topic=946.msg26576 HTTP/1.0" 200 55328 "-" "Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/)"

Причем на сайте у него вообще про бота я чота не увидел ни слова - как с ним общаться.

karavan

Ко мне оно тоже приходило, но хостер у меня блокирует IP которые берут больше 3% загрузки процессора.

Beer

Вот это правильное решение, а мой - отрубает аккаунты  :'(

karavan

Цитата: Beer от 10 июня 2010, 23:58:22
Вот это правильное решение, а мой - отрубает аккаунты  :'(

У меня есть в меню хостера настройки этого всего. Что хочу, то ставлю, из опыта. Минусы - дорогой тарифный план. Но качеством доволен.

sb

Цитата: kamar от 06 августа 2009, 21:52:20
Нашел в инете список ботов, адаптировал для sql запроса типа
INSERT INTO `smf_spiders` (`id_spider`, `spider_name`, `user_agent`, `ip_info`) VALUES (22, 'Crawler.de', 'AbachoBOT (Mozilla compatible)', '');
весь список в аттаче, больше 700 пауков.
p.s. рассчитан для запроса на форумах со стандартным не измененным списком пауков.
Спасибо, дружище, выручил! Теперь паучков отлично видно.  O0
Причем накатывал на измененную базу с двумя вручную добавленными пауками - но все прошло гладко, после только убрал дубликаты.

Serifa

Тоже нужны адреса пауков. Где живут и как зовут. А то приходится вычислять таким извращенным способом: у меня на форуме есть странная тема, называется "Люк Скайуокер собирает...", в ней пытаются отвечать только пауки. Как они ее находят - непонятно, но если кто-то отправляет ответ или пишет его - почти наверняка паук. Просто смотришь, кто там онлайн: а там опять два-три "явно-не-человека" пишут ответ в эту тему.
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

Bugo

Прописаны они в разных странах, живут где придется. Зовут всех по-разному (но есть приметы). С большинством из них можно никогда в жизни не столкнуться, с другими — типа Гоши и Яши — почти каждый день встречи. Регистрируются пауки по адресу: Админка » Пользователи » Поисковые системы...

Serifa

Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило)) У меня скромно три странички. Значит, есть к чему стремиться?))
«- Помощник капитана Бакстер, - заявил Лумис, - безбожно врет. Все отнюдь не под контролем, вернее, не под его контролем. Корабль захвачен представителями небелковой формы разумной жизни, которые маскируются под обслуживающих роботов, а некоторые даже не делают и этого...»
«То, что у тебя есть, лечится антибиотиками» (nowhere man, 1995)
В телеге срочно нужны читатели!

digger®

Цитата: Serifa от 16 ноября 2010, 16:24:24
Ты, конечно, умница, Буго, но мне их туда вручную забивать надо, да? Тридцать восемь страниц - нехило))

C третьей страницы этой темы взять готовый дамп таблицы с пауками и загрузить в базу, не?

Avalon

Есть у кого свежий дамп поисковиков? Если что пришлите на мыло, Avalon@avalonium.ru? Буду очень благодарен!!!

karavan

Для Украинских пользователей, Название паука - Meta (bot),  User Agent - MetaSpider, регистрация в системе Мета Паспорт тут: https://passport.meta.ua/

Bugo

Добавить его в общий список ботов?

karavan

Bugo если Вам не трудно, то идея хорошая добавить O0  Правда после регистрации прошло окого месяца, пока пришел бот, но вот он у меня как раз сидит:


Bugo

#49
А можно скрин без цензуры? Для коллекции :)

Вернее, хотелось бы увидеть на скрине побольше пауков (10+), одновременно.