Поисковые и прочие боты (пауки)

Автор Xvost, 24 сентября 2015, 21:30:22

« предыдущая - следующая »

0 Пользователей и 1 гость просматривают эту тему.

Xvost

Фейсбук, ВКонтакте, Одноклассники при публикации на них ссылок на сайт, прут по ссылкам. Юзер-агент бота ФБ я нашёл. А кто знает юзер-агенты ботов Остальных соцсетей? И вообще, кого из ботов в дефолтном списке не хватает? Кто и кого добавил?

Xvost

Подниму тему вновь. Есть ли на данный момент более подробный список поисковиков, чем базовый?

Xvost

Опять я о том же. Часть роющихся на форуме роботов не прописана в движке. Вот, например: http://wq.apnic.net/apnic-bin/whois.pl?searchtext=118.27.11.99 Как его добавить? Как узнать юзер-агент?

Delysid

Цитата: Xvost от 26 декабря 2018, 00:31:26Опять я о том же. Часть роющихся на форуме роботов не прописана в движке. Вот, например: http://wq.apnic.net/apnic-bin/whois.pl?searchtext=118.27.11.99 Как его добавить? Как узнать юзер-агент?
У него вот такой: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36  :)