Ip адреса User Agent поисковых систем

[karavan]

У меня только максимум 3 одновременно

[AdmbVlad]

Помогите. только что установил smf 2.0.1 . Где там в админке ботов поисковиков добавлять?

[GeorG]

Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.

[AdmbVlad]

Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.

Ну нету у меня там пауков(. или это мод нужно ставить?

[karavan]

Во первых, желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего, при возможности. Тогда админка будет приятнее.

Во вторых, чтобы в Админке появилось меню настроек "Поисковые системы", нужно в меню админки - Конфигурация -  "Основные настройки" включить функцию "Поисковые системы"

[GeorG]

желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего

Ну это относительно конечно, мне например так неудобно вообще.

[AdmbVlad]

спасибо огромное. насчет бокового и горизонтального колеблюсь. боковое с предыдущих версий, а горизонтальное вроде прикольней

[karavan]

Ну то да, дело вкуса )

[Bugo]

Небольшая база пауков и иконки для них на данный момент добавляются модом Spider Images.

[gorbi]

Ребята, а кто-то может вразумительно описать перечень роботов "эсэнгешных" и их айпишники для добавления в таблицу?

[GeorG]

Тему читали? Почему вы предлагаете это делать другим, к тому же тем, кто её уже делал?
http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

[gorbi]

http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

Тему читал, там всего то 6 листов. Меня интересуют локальные пауки типа Яндексовых, по ссылки ничего вразумительного не нашёл (

[Vadimru]

Блин, весь вечер просидел так и не разобрался. Никогда толком не сталкивался с sql, phpAdmin. Как добавить в БД информацию о пауках? Добавляю в phpAdmin содержимое текстового документа выложенного на 2 странице kamar'ом. Ошибка. Хотя таблица та где уже есть несколько пауков. Объясните пожалуйста, как добавить?

[poliglot]

Скажите, IP-адреса обязательны, или достаточно User-Agent?

[karavan]

достаточно User-Agent?

Да, достаточно.

[karavan]

Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   

[Сергей Д.]

Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   

Как правильно добавлять пауков в админке?
Нужно полностью писать? Вот так - Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)  ?

[karavan]

Да но лучше поставьте мод он сам все пропишет.

[Сергей Д.]

А если уже прописал короткие названия агентов (Googlebot/2.1, YandexAntivirus/2.0, YandexDirect/3.0 и т.д.), то лучше всё переделать? Корректно воспринимаются только длинные строчки?

[karavan]

Да у меня до мода вроде и короткие воспринимались тоже. Пробуйте разные варианты, жизнь покажет как лучше.

[Сергей Д.]

Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.
И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?

[digger®]

Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.

Зачем вам 200 ботов?
Нагрузку повышает.

[karavan]

И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?

http://dragomano.ru/page/spider-images
должен подойти. с нагрузкой проблем не замечал.

[Сергей Д.]

Зачем вам 200 ботов?
Нагрузку повышает.

Я думал для информативности... Чтобы знать кто именно на форуме находится.... Но раз нагрузку повышает - не буду заморачиваться. Ещё такой вопрос: тот же Яндекс можно ведь как один юзер агент оформить? т.е. yandex или как то наподобии должно вроде писаться...
Не расписывать Yandex Antivirus, Yandex Favicons, Yandex Direct  и т.д.

[karavan]

Ставьте мод не волнуйтесь за нагрузку это капля в море.

[Сергей Д.]

Ставьте мод не волнуйтесь за нагрузку это капля в море.

Спасибо, мод находит добавляет в базу пауков? А то из описания не ясно.

[digger®]

должен подойти. с нагрузкой проблем не замечал.

На скольки сотнях онлайна не замечали?
На 500 юзерах на глаз видно снижение скорости генерации страниц при большой таблице пауков.

[karavan]

Ок не спорю, у вас опыта больше, да и форум у меня поменьше, столько онлайн нет конечно.

[Alex32]

Да но лучше поставьте мод он сам все пропишет.

Просто установить мод и он сам пропишет пауков?

[karavan]

Да, сам пропишет.

[ksamochkin]

Кто знает какой User-Agent у Facebook а то закрыл доступ некоторым ботам а теперь при нажатии лайка в facebook пишет

403 Forbidden

[Yarik]

User-Agent у Facebook

69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO

[ksamochkin]

69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO

спасибо... сам разобрался

[Xvost]

Как узнать юзер-агент паука, шарящегося по сайту?

Вот, например, этого: http://whois.arin.net/rest/ip/157.55.39.170

[permskii]

Подскажите User-agent AppleBot

[Yarik]

Подскажите User-agent AppleBot

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

[permskii]

спасибо