Ip адреса User Agent поисковых систем

Автор Mavn, 23 октября 2007, 00:10:09

« предыдущая - следующая »

0 Пользователей и 1 гость просматривают эту тему.

karavan

У меня только максимум 3 одновременно :-[

AdmbVlad

Помогите. только что установил smf 2.0.1 . Где там в админке ботов поисковиков добавлять?

GeorG

Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

AdmbVlad

Цитата: GeorG от 28 октября 2011, 16:10:44
Админка->Пользователи->Поисковые системы->Пауки.

Но их много, лучше sql запрос сделать (если б вы прочитали это тему, то сами всё нашли) - http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

У Буго, кажется даже мод был, он сам добавляет пауков.

Ну нету у меня там пауков(. или это мод нужно ставить?

karavan

Во первых, желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего, при возможности. Тогда админка будет приятнее.

Во вторых, чтобы в Админке появилось меню настроек "Поисковые системы", нужно в меню админки - Конфигурация -  "Основные настройки" включить функцию "Поисковые системы"

GeorG

Цитата: karavan от 28 октября 2011, 16:27:38желательно поставить себе в профиле галочку в подменю - Внешний вид форума - Использовать боковое меню вместо выпадающего
Ну это относительно конечно, мне например так неудобно вообще.
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

AdmbVlad

спасибо огромное. насчет бокового и горизонтального колеблюсь. боковое с предыдущих версий, а горизонтальное вроде прикольней

karavan


Bugo

Небольшая база пауков и иконки для них на данный момент добавляются модом Spider Images.

gorbi

Ребята, а кто-то может вразумительно описать перечень роботов "эсэнгешных" и их айпишники для добавления в таблицу?

GeorG

Тему читали? Почему вы предлагаете это делать другим, к тому же тем, кто её уже делал?
http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131
Верстка тем по шаблону, их доработка/переработка, переделка тем с версии smf 1.1 на smf 2.0. Примеры работ - insidestyle.ru
Установка модов (заточка под ваш форум); Моды под заказ; Обновление форума; Правильный перенос; Удаление/лечение вирусов; Устранения ошибок.
Обращаться в ЛС
Мой форум
Модуль анти-спама CleanTalk, сам пользуюсь
Сервера которыми сам пользуюсь - cadedic.ru

gorbi

Цитата: GeorG от 27 декабря 2011, 20:38:31http://www.simplemachines.ru/index.php?topic=2857.msg51131#msg51131

Тему читал, там всего то 6 листов. Меня интересуют локальные пауки типа Яндексовых, по ссылки ничего вразумительного не нашёл (

Vadimru

Блин, весь вечер просидел так и не разобрался. Никогда толком не сталкивался с sql, phpAdmin. Как добавить в БД информацию о пауках? Добавляю в phpAdmin содержимое текстового документа выложенного на 2 странице kamar'ом. Ошибка. Хотя таблица та где уже есть несколько пауков. Объясните пожалуйста, как добавить?
Отвлекитесь от работы и подумайте о своей душе! Эзотерический форум http://astrallife.ru создан, чтобы помогать

poliglot

Скажите, IP-адреса обязательны, или достаточно User-Agent?

karavan


karavan

Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   

Сергей Д.

Цитата: karavan от 22 февраля 2013, 12:28:07
Самый простой вариант поставить мод http://dragomano.ru/page/spider-images пауки будут в виде картинок - логотипов поисковых систем. Или вручную прописываете User Agent и желаемое название паука, например Google (bot). Вот названия и User Agent основных в наших краях пауков (IP вводить не нужно):

Alexa (bot)    ia_archiver
Baidu    Baiduspider
Google (AdSense)    Mediapartners-Google
Google (Adwords)       AdsBot-Google
Google (bot)        Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google (Mobile)        Googlebot-Mobile
Google (Image)        Googlebot-Image
Meta (bot)        MetaSpider
MSN (bot)        msnbot
MSN (Media)       msnbot-media
Rambler        rambler
W3C Validator        W3C_Validator
Yahoo! (bot) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Yandex (bot)        Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Yandex Antivirus        Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)
Yandex Direct       Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
Yandex Favicons        Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
Yandex Mirror Detector        Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)   

Как правильно добавлять пауков в админке?
Нужно полностью писать? Вот так - Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)  ?
Форум za40.org в Твиттере: @za40org.

karavan

Да но лучше поставьте мод он сам все пропишет.

Сергей Д.

А если уже прописал короткие названия агентов (Googlebot/2.1, YandexAntivirus/2.0, YandexDirect/3.0 и т.д.), то лучше всё переделать? Корректно воспринимаются только длинные строчки?
Форум za40.org в Твиттере: @za40org.

karavan

Да у меня до мода вроде и короткие воспринимались тоже. Пробуйте разные варианты, жизнь покажет как лучше.

Сергей Д.

Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.
И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?
Форум za40.org в Твиттере: @za40org.

digger®

Цитата: SergeyDY от 11 октября 2013, 14:58:56Спасибо. Нагрузка на сайт, насколько понимаю, одинаковая? И ещё вопрос: нашёл список примерно на 200 ботов... если смысл их всех вбивать? Опять же волнует нагрузка на сайт, сервер.

Зачем вам 200 ботов?
Нагрузку повышает.

karavan

Цитата: SergeyDY от 11 октября 2013, 14:58:56И ещё: а что у вас за мод? Он подойдёт к версии 2,0,5 ?

http://dragomano.ru/page/spider-images
должен подойти. с нагрузкой проблем не замечал.

Сергей Д.

Цитата: digger® от 11 октября 2013, 15:10:55Зачем вам 200 ботов?
Нагрузку повышает.

Я думал для информативности... Чтобы знать кто именно на форуме находится.... Но раз нагрузку повышает - не буду заморачиваться. Ещё такой вопрос: тот же Яндекс можно ведь как один юзер агент оформить? т.е. yandex или как то наподобии должно вроде писаться...
Не расписывать Yandex Antivirus, Yandex Favicons, Yandex Direct  и т.д.
Форум za40.org в Твиттере: @za40org.

karavan

Ставьте мод не волнуйтесь за нагрузку это капля в море.

Сергей Д.

Цитата: karavan от 11 октября 2013, 16:07:26
Ставьте мод не волнуйтесь за нагрузку это капля в море.

Спасибо, мод находит добавляет в базу пауков? А то из описания не ясно.
Форум za40.org в Твиттере: @za40org.


karavan

Ок не спорю, у вас опыта больше, да и форум у меня поменьше, столько онлайн нет конечно.

Alex32

Цитата: karavan от 11 октября 2013, 14:26:48Да но лучше поставьте мод он сам все пропишет.


Просто установить мод и он сам пропишет пауков?

karavan


ksamochkin

Кто знает какой User-Agent у Facebook а то закрыл доступ некоторым ботам а теперь при нажатии лайка в facebook пишет
Цитировать403 Forbidden

S.T.A.L.K.E.R.

Цитата: overyata от 10 августа 2014, 08:39:37User-Agent у Facebook

69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO

ksamochkin

Цитата: Yarik от 10 августа 2014, 08:58:47
69.171.229.246
facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

out-sw248.tfbnw.net
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
robots.txt? NO

69.171.228.245
facebookplatform/1.0 (+http://developers.facebook.com)
robots.txt? NO

-- but totally cloaked bot-running is:

69.171.240.249
AsyncHttpClient 1.0
10/0n 08:14:47

69.171.240.245
AsyncHttpClient 1.0
10/0n 08:14:46

robots.txt? NO

спасибо... сам разобрался

Xvost

Как узнать юзер-агент паука, шарящегося по сайту?

Вот, например, этого: http://whois.arin.net/rest/ip/157.55.39.170

permskii


S.T.A.L.K.E.R.

Цитата: permskii от 11 мая 2015, 11:14:40
Подскажите User-agent AppleBot

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)

permskii